فلش‌کارت‌های آموزشی شناخت موانع همگرایی در مدل‌های یادگیری تقویتی چندعامله

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب شناخت موانع همگرایی در مدل‌های یادگیری تقویتی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: آنالیز همگرایی (Convergence Analysis)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به یادگیری تقویتی چندعامله (MARL)
• 2. مبانی یادگیری تقویتی (RL)
• 3. عامل‌ها و محیط
• 4. حالت، عمل، پاداش
• 5. تابع ارزش و سیاست
• 6. تفاوت‌های کلیدی MARL با RL تک عامله
• 7. چالش‌های اصلی در MARL
• 8. مفهوم همگرایی در MARL
• 9. تعریف همگرایی در سیاستی بهینه
• 10. تعریف همگرایی به تعادل نش
• 11. تعریف همگرایی به تعادل نش مختلط
• 12. موانع همگرایی
• 13. موانع مرتبط با دینامیک محیط
• 14. غیر ایستا بودن محیط (Non-stationarity)
• 15. تغییر سیاست سایر عامل‌ها
• 16. تغییر سیاست خود عامل در طول زمان
• 17. تغییر توزیع داده‌ها (Covariate Shift)
• 18. موانع مرتبط با فضای حالت-عمل
• 19. فضای حالت-عمل بزرگ (Curse of Dimensionality)
• 20. فضای حالت-عمل مشترک
• 21. فضای حالت-عمل مستقل
• 22. فضای حالت-عمل ناقص
• 23. موانع مرتبط با تعاملات عامل‌ها
• 24. همکاری (Cooperation)
• 25. رقابت (Competition)
• 26. مختلط (Mixed)
• 27. تعادل نش (Nash Equilibrium)
• 28. تعادل نش مختلط (Mixed Nash Equilibrium)
• 29. تکامل تعادل نش
• 30. عدم وجود تعادل نش منحصر به فرد
• 31. وجود تعادل نش متعدد
• 32. بی‌ثباتی تعادل نش
• 33. موانع مرتبط با پاداش‌ها
• 34. پاداش‌های پراکنده (Sparse Rewards)
• 35. پاداش‌های متناقض (Conflicting Rewards)
• 36. پاداش‌های مشترک (Shared Rewards)
• 37. پاداش‌های محلی (Local Rewards)
• 38. عدم شفافیت در توزیع پاداش
• 39. موانع مرتبط با عدم قطعیت
• 40. عدم قطعیت در اقدامات سایر عامل‌ها
• 41. عدم قطعیت در پاداش‌ها
• 42. عدم قطعیت در دینامیک محیط
• 43. عدم قطعیت در مشاهدات
• 44. موانع مرتبط با ارتباطات
• 45. عدم وجود ارتباط بین عامل‌ها
• 46. ارتباطات محدود (Limited Communication)
• 47. ارتباطات پر سر و صدا (Noisy Communication)
• 48. ارتباطات نامتقارن (Asymmetric Communication)
• 49. موانع مرتبط با یادگیری سیاست
• 50. خطای تخمین سیاست (Policy Estimation Error)
• 51. واگرایی در الگوریتم‌های یادگیری سیاست
• 52. مشکل کوواریانس (Covariance Problem)
• 53. مشکل گرادیان ناپایدار (Unstable Gradients)
• 54. موانع مرتبط با یادگیری ارزش
• 55. خطای تخمین ارزش (Value Estimation Error)
• 56. واگرایی در الگوریتم‌های یادگیری ارزش
• 57. مشکل بوت استرپینگ (Bootstrapping Problem)
• 58. مشکل انحراف (Bias Problem)
• 59. موانع مرتبط با مدل‌های یادگیری تقویتی
• 60. مدل‌های مبتنی بر ارزش (Value-based Models)
• 61. مدل‌های مبتنی بر سیاست (Policy-based Models)
• 62. مدل‌های ترکیبی (Actor-Critic Models)
• 63. مدل‌های مبتنی بر مدل (Model-based Models)
• 64. مدل‌های بدون مدل (Model-free Models)
• 65. موانع در مدل‌های مبتنی بر ارزش
• 66. تخمین نادرست Q-value
• 67. مشکل تابع حداکثر (Maximization Problem)
• 68. موانع در مدل‌های مبتنی بر سیاست
• 69. گرادیان سیاست غیرقابل اعتماد
• 70. مشکل واریانس بالا
• 71. موانع در مدل‌های Actor-Critic
• 72. ناسازگاری گرادیان Actor و Critic
• 73. مشکل خطای تزریق شده (Injecting Error)
• 74. موانع در مدل‌های مبتنی بر مدل
• 75. مدل‌سازی نادرست محیط
• 76. تخمین نادرست دینامیک آینده
• 77. موانع در مدل‌های بدون مدل
• 78. عدم توانایی در تعمیم به حالات جدید
• 79. مشکل کاوش (Exploration Problem)
• 80. موانع مرتبط با مقیاس‌پذیری
• 81. تعداد زیاد عامل‌ها
• 82. تعداد زیاد حالات و اعمال
• 83. موانع مرتبط با تعمیم‌پذیری
• 84. توانایی عامل‌ها در تعمیم به محیط‌های جدید
• 85. توانایی عامل‌ها در تعمیم به وظایف جدید
• 86. توانایی عامل‌ها در تعمیم به تعداد عامل‌های جدید
• 87. موانع مرتبط با الگوریتم‌های خاص MARL
• 88. موانع در MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 89. موانع در COMA (Counterfactual Multi-Agent Policy Gradients)
• 90. موانع در QMIX (Q-Learning for Multi-Agent Systems)
• 91. موانع در VDN (Value Decomposition Networks)
• 92. موانع در MAPPO (Multi-Agent Proximal Policy Optimization)
• 93. موانع در IQL (Independent Q-Learning)
• 94. موانع در CTDE (Centralized Training, Decentralized Execution)
• 95. موانع در روش‌های مبتنی بر بازی (Game Theory based approaches)
• 96. موانع در روش‌های مبتنی بر یادگیری جمعی (Collective Learning approaches)
• 97. موانع در روش‌های مبتنی بر شبکه‌های عصبی عمیق (Deep Neural Network based approaches)
• 98. موانع در روش‌های مبتنی بر یادگیری تکراری (Iterative Learning approaches)
• 99. موانع در روش‌های مبتنی بر یادگیری تطبیقی (Adaptive Learning approaches)
• 100. موانع در روش‌های مبتنی بر یادگیری تقویتی با نظارت (Supervised RL approaches)