فلش‌کارت‌های آموزشی COMA: از مفاهیم پایه تا پیاده‌سازی‌های پیشرفته در یادگیری تقویتی چندعامله

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب COMA: از مفاهیم پایه تا پیاده‌سازی‌های پیشرفته در یادگیری تقویتی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: COMA (Counterfactual Multi-Agent Policy Gradient)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به یادگیری تقویتی چندعامله (MARL)
• 2. چالش‌های کلیدی در MARL
• 3. مزایای MARL نسبت به یادگیری تقویتی تک عامله
• 4. کاربردهای MARL در دنیای واقعی
• 5. مروری بر مفاهیم پایه یادگیری تقویتی (RL)
• 6. عامل، محیط، حالت، عمل، پاداش
• 7. تابع ارزش (Value Function)
• 8. تابع سیاست (Policy Function)
• 9. معادله بلمن (Bellman Equation)
• 10. الگوریتم‌های یادگیری RL پایه (Q-Learning, SARSA)
• 11. مفاهیم پیشرفته RL (Approximation توابع ارزش، Cross-Entropy Method)
• 12. مقدمه به سیستم‌های چندعامله (Multi-Agent Systems)
• 13. انواع تعاملات بین عامل‌ها (همکاری، رقابت، مختلط)
• 14. مدل‌های عامل‌ها (عامل‌های کاملاً آگاه، عامل‌های با آگاهی محدود)
• 15. محیط‌های MARL
• 16. مفهوم فضای حالت مشترک (Joint State Space)
• 17. مفهوم فضای عمل مشترک (Joint Action Space)
• 18. فضای مشاهده عامل (Agent Observation Space)
• 19. مفهوم اطلاعات ناقص (Partial Observability)
• 20. تفاوت بین Partial Observability و Non-stationarity
• 21. Non-stationarity در MARL
• 22. منشأ Non-stationarity (تغییر سیاست عامل‌های دیگر)
• 23. پیامدهای Non-stationarity بر الگوریتم‌های RL تک عامله
• 24. راهکارهای مقابله با Non-stationarity
• 25. تکنیک‌های مدل‌سازی عامل‌های دیگر (Theory of Mind)
• 26. مدل‌های پیش‌بینی رفتار عامل‌های دیگر
• 27. یادگیری سیاست‌های مقاوم (Robust Policies)
• 28. یادگیری سیاست‌های تکاملی (Evolutionary Strategies)
• 29. مفاهیم هماهنگی (Coordination) در MARL
• 30. انواع هماهنگی (صریح، ضمنی)
• 31. الگوریتم‌های یادگیری مبتنی بر هماهنگی
• 32. یادگیری سیاست مشترک (Joint Policy Learning)
• 33. یادگیری سیاست‌های توزیع‌شده (Decentralized Policies)
• 34. مفهوم عامل مرکزی (Centralized Agent)
• 35. مفهوم عامل ناظر (Observer Agent)
• 36. مفهوم عامل کنترل‌کننده (Controller Agent)
• 37. یادگیری مبتنی بر عامل مرکزی (Centralized Training)
• 38. یادگیری مبتنی بر عامل ناظر (Centralized Execution)
• 39. یادگیری مبتنی بر عامل توزیع‌شده (Decentralized Execution)
• 40. یادگیری مبتنی بر عامل مرکزی و توزیع‌شده (CTDE)
• 41. الگوریتم‌های CTDE پایه
• 42. MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 43. VDN (Value Decomposition Networks)
• 44. QMIX (Q-value Mixing)
• 45. IQL (Independent Q-Learning)
• 46. DDPG (Deep Deterministic Policy Gradient) برای تک عامل
• 47. A3C (Asynchronous Advantage Actor-Critic) برای تک عامل
• 48. PPO (Proximal Policy Optimization) برای تک عامل
• 49. TRPO (Trust Region Policy Optimization) برای تک عامل
• 50. الگوریتم‌های یادگیری مبتنی بر شبکه‌های عصبی عمیق در MARL
• 51. شبکه‌های کانولوشنال (CNN) در MARL
• 52. شبکه‌های بازگشتی (RNN) و LSTM در MARL
• 53. مکانیزم توجه (Attention Mechanism) در MARL
• 54. پیاده‌سازی شبکه‌های عصبی در چارچوب‌های MARL
• 55. استفاده از تنسورفلو (TensorFlow) و پای‌تورچ (PyTorch)
• 56. فریم‌ورک‌های تخصصی MARL (مانند PettingZoo, RLlib-MARL)
• 57. محیط‌های شبیه‌سازی MARL (مانند StarCraft II, Multi-Agent Particle Environments)
• 58. مفهوم تعادل نش (Nash Equilibrium) در بازی‌های رقابتی
• 59. یافتن تعادل نش در بازی‌های با فضای حالت-عمل بزرگ
• 60. الگوریتم‌های مبتنی بر یافتن تعادل نش
• 61. یادگیری مبتنی بر بازی‌های صفر و یک (Zero-Sum Games)
• 62. یادگیری مبتنی بر بازی‌های مجموع غیرصفر (Non-Zero-Sum Games)
• 63. مفهوم همکاری در بازی‌های مشترک
• 64. یادگیری سیاست‌های همکاری بهینه
• 65. پاداش‌دهی مشترک (Joint Reward)
• 66. پاداش‌دهی تفکیک‌شده (Individual Rewards)
• 67. طراحی تابع پاداش برای سناریوهای MARL
• 68. چالش‌های طراحی پاداش (Reward Shaping, Reward Sparsity)
• 69. یادگیری از طریق تقلید (Imitation Learning) در MARL
• 70. یادگیری از طریق تقویت (Reinforcement Learning) در MARL
• 71. یادگیری ترکیبی (Hybrid Learning) در MARL
• 72. یادگیری تقویتی با استفاده از مدل (Model-Based RL) در MARL
• 73. یادگیری تقویتی بدون استفاده از مدل (Model-Free RL) در MARL
• 74. اهمیت اکتشاف (Exploration) در MARL
• 75. استراتژی‌های اکتشاف در MARL
• 76. اکتشاف تصادفی (Random Exploration)
• 77. اکتشاف مبتنی بر آنتروپی (Entropy-Based Exploration)
• 78. اکتشاف مبتنی بر پاداش (Reward-Based Exploration)
• 79. اکتشاف مبتنی بر عدم قطعیت (Uncertainty-Based Exploration)
• 80. مقیاس‌پذیری الگوریتم‌های MARL
• 81. چالش‌های مقیاس‌پذیری با افزایش تعداد عامل‌ها
• 82. تکنیک‌های بهبود مقیاس‌پذیری
• 83. یادگیری سیاست‌های قابل ترکیب (Compositional Policies)
• 84. یادگیری سیاست‌های سلسله مراتبی (Hierarchical Policies)
• 85. یادگیری سیاست‌های ماژولار (Modular Policies)
• 86. کاربرد MARL در رباتیک
• 87. ربات‌های خودمختار در محیط‌های مشترک
• 88. هماهنگی ربات‌های متحرک
• 89. کنترل ناوگان ربات‌ها
• 90. کاربرد MARL در بازی‌های کامپیوتری
• 91. استراتژی‌های هوش مصنوعی در بازی‌های چندنفره
• 92. توسعه شخصیت‌های هوشمند در بازی‌ها
• 93. کاربرد MARL در سیستم‌های توصیه‌گر
• 94. توصیه‌گرهای شخصی‌سازی شده برای گروه‌ها
• 95. توصیه‌گرهای پویا در محیط‌های مشترک
• 96. کاربرد MARL در شبکه‌های مخابراتی
• 97. مدیریت منابع در شبکه‌های بی‌سیم
• 98. بهینه‌سازی ترافیک شبکه
• 99. کاربرد MARL در اقتصاد
• 100. مدل‌سازی بازارهای مالی