فلش‌کارت‌های آموزشی کارایی نظری الگوریتم‌های یادگیری تقویتی در محیط‌های چندعامله

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کارایی نظری الگوریتم‌های یادگیری تقویتی در محیط‌های چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: جنبه‌های نظری MARL

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به یادگیری تقویتی
• 2. مبانی یادگیری تقویتی
• 3. عناصر کلیدی یادگیری تقویتی (عامل، محیط، حالت، عمل، پاداش)
• 4. فرآیند تصمیم‌گیری مارکوف (MDP)
• 5. معادلات بلمن
• 6. ارزش حالت (V-value)
• 7. ارزش عمل-حالت (Q-value)
• 8. سیاست (Policy)
• 9. اپیزودها و چرخه یادگیری
• 10. هدف یادگیری تقویتی (بیشینه‌سازی پاداش تجمعی)
• 11. یادگیری تقویتی تک‌عامله
• 12. روش‌های مبتنی بر ارزش (Value-based methods)
• 13. یادگیری Q (Q-Learning)
• 14. یادگیری Sarsa
• 15. یادگیری Deep Q-Networks (DQN)
• 16. پیشرفت‌های DQN (Double DQN, Dueling DQN, Prioritized Experience Replay)
• 17. روش‌های مبتنی بر سیاست (Policy-based methods)
• 18. گرادیان سیاست (Policy Gradient)
• 19. REINFORCE
• 20. یادگیری Actor-Critic
• 21. روش‌های ترکیبی (Actor-Critic)
• 22. یادگیری تقویتی در محیط‌های چندعامله (MARL)
• 23. مقدمه به محیط‌های چندعامله
• 24. تفاوت‌های MARL با یادگیری تقویتی تک‌عامله
• 25. چالش‌های کلیدی در MARL
• 26. عدم ایستایی (Non-stationarity) محیط
• 27. مشکل تعمیم‌پذیری (Scalability)
• 28. مشکل هماهنگی (Coordination)
• 29. مشکل رقابت (Competition)
• 30. مشکل کشف (Exploration)
• 31. مشکل پاداش‌دهی (Reward shaping)
• 32. انواع محیط‌های چندعامله
• 33. محیط‌های با مجموع صفر (Zero-sum environments)
• 34. محیط‌های با مجموع غیرصفر (Non-zero-sum environments)
• 35. محیط‌های همکاری (Cooperative environments)
• 36. محیط‌های رقابتی (Competitive environments)
• 37. محیط‌های مختلط (Mixed environments)
• 38. محیط‌های با عامل‌های همگن (Homogeneous agents)
• 39. محیط‌های با عامل‌های ناهمگن (Heterogeneous agents)
• 40. محیط‌های با ارتباطات (Communication)
• 41. محیط‌های بدون ارتباطات (No communication)
• 42. مدل‌های نظری MARL
• 43. مدل‌های عامل‌های منطقی (Rational agents)
• 44. مدل‌های عامل‌های متقابل (Interactive agents)
• 45. مدل‌های مبتنی بر بازی (Game-theoretic approaches)
• 46. مفاهیم نظریه بازی‌ها در MARL
• 47. تعادل نش (Nash Equilibrium)
• 48. تعادل نش تقریبی (Approximate Nash Equilibrium)
• 49. تعادل پرفکت ساب‌گیم (Subgame Perfect Equilibrium)
• 50. تعادل بیزین نش (Bayesian Nash Equilibrium)
• 51. کاربرد نظریه بازی‌ها در طراحی سیاست‌های MARL
• 52. روش‌های یادگیری در MARL
• 53. روش‌های مبتنی بر ارزش در MARL
• 54. Q-Learning در MARL (VDN, QMIX, QTRAN)
• 55. توسعه VDN (Value Decomposition Networks)
• 56. توسعه QMIX
• 57. توسعه QTRAN
• 58. روش‌های مبتنی بر سیاست در MARL
• 59. گرادیان سیاست در MARL (MADDPG, COMA)
• 60. توسعه MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 61. توسعه COMA (Counterfactual Multi-Agent Policy Gradients)
• 62. روش‌های مبتنی بر بازی در MARL
• 63. تطبیق با نظریه بازی‌ها
• 64. یادگیری سیاست‌های مبتنی بر تعادل
• 65. استراتژی‌های یادگیری در محیط‌های رقابتی
• 66. استراتژی‌های یادگیری در محیط‌های همکاری
• 67. استراتژی‌های یادگیری در محیط‌های مختلط
• 68. چالش‌های کارایی الگوریتم‌های MARL
• 69. پیچیدگی محاسباتی
• 70. نیاز به داده‌های زیاد
• 71. حساسیت به پارامترها
• 72. مشکل همگرایی
• 73. راهکارهای نظری برای بهبود کارایی
• 74. تجزیه مشکل به زیرمسائل کوچکتر
• 75. استفاده از ساختار محیط
• 76. استفاده از ارتباطات بین عامل‌ها
• 77. یادگیری سیاست‌های مشترک
• 78. یادگیری سیاست‌های توزیع شده
• 79. یادگیری با پاداش‌های پراکنده (Sparse rewards)
• 80. یادگیری با پاداش‌های منفی
• 81. یادگیری با پاداش‌های تشویقی (Shaped rewards)
• 82. یادگیری با انتقال دانش (Transfer learning)
• 83. یادگیری با فراگیری (Meta-learning)
• 84. کاربردها و مطالعات موردی MARL
• 85. بازی‌های استراتژیک (مانند Go, StarCraft)
• 86. رباتیک چندرباته
• 87. سیستم‌های توزیع شده
• 88. مدیریت منابع
• 89. شبکه‌های مخابراتی
• 90. سیستم‌های حمل و نقل هوشمند
• 91. بازارهای مالی
• 92. ارزیابی و سنجش کارایی الگوریتم‌های MARL
• 93. معیارهای ارزیابی (پاداش تجمعی، نرخ برد، دقت)
• 94. مقایسه با خط مبنا (Baselines)
• 95. تحلیل حساسیت به پارامترها
• 96. تحلیل پیچیدگی زمانی و مکانی
• 97. مسائل باز و پژوهش‌های آینده در MARL
• 98. طراحی الگوریتم‌های مقیاس‌پذیرتر
• 99. بهبود هماهنگی و همکاری
• 100. مدیریت عامل‌های پویا و ناهمگن