فلش‌کارت‌های آموزشی پیاده‌سازی MARL برای مسائل با نیاز به استراتژی‌های از پیش تعیین شده

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب پیاده‌سازی MARL برای مسائل با نیاز به استراتژی‌های از پیش تعیین شده

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: نکات و ترفندهای پیاده‌سازی

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر یادگیری تقویتی چند عامله (MARL)
• 2. مبانی یادگیری تقویتی (RL)
• 3. مفاهیم عامل، محیط، حالت، عمل، پاداش
• 4. فرایند تصمیم گیری مارکوف (MDP)
• 5. نیاز به عاملان متعدد
• 6. چالش های MARL
• 7. ناپایداری محیطی
• 8. عدم قطعیت در مشاهده
• 9. پیچیدگی محاسباتی
• 10. مقیاس پذیری
• 11. همکاری و رقابت
• 12. هدف: پیاده سازی MARL برای مسائل با استراتژی های از پیش تعیین شده
• 13. تعریف "استراتژی از پیش تعیین شده" در زمینه MARL
• 14. انواع استراتژی های از پیش تعیین شده
• 15. مثال هایی از مسائل با استراتژی های از پیش تعیین شده
• 16. مراحل کلیدی در پیاده سازی MARL با استراتژی های از پیش تعیین شده
• 17. مرور الگوریتم های پایه MARL
• 18. Q-learning در محیط های تک عامله
• 19. Deep Q-Networks (DQN)
• 20. Policy Gradients
• 21. Actor-Critic Methods
• 22. الگوریتم های MARL اولیه
• 23. Decentralized execution, centralized training (DECT)
• 24. Independent Q-Learning (IQL)
• 25. Multi-Agent Deep Deterministic Policy Gradient (MADDPG)
• 26. Value Decomposition Networks (VDN)
• 27. QMIX
• 28. CommNet
• 29. COMA
• 30. انتخاب معماری مناسب برای MARL
• 31. شبکه های عصبی برای عاملان
• 32. شبکه های عصبی کانولوشنال (CNN)
• 33. شبکه های عصبی بازگشتی (RNN)
• 34. شبکه های عصبی ترانسفورمر
• 35. معماری های مشترک یا مجزا
• 36. نحوه ادغام استراتژی های از پیش تعیین شده در معماری
• 37. طراحی تابع پاداش برای MARL
• 38. اهمیت طراحی تابع پاداش
• 39. پاداش های جمعی (Global Rewards)
• 40. پاداش های محلی (Local Rewards)
• 41. پاداش های ترکیبی
• 42. طراحی تابع پاداش برای تشویق استراتژی های خاص
• 43. نحوه ارزیابی استراتژی های از پیش تعیین شده
• 44. معیارهای ارزیابی در MARL
• 45. نرخ موفقیت
• 46. کارایی (Efficiency)
• 47. انصاف (Fairness)
• 48. پایداری
• 49. پیاده سازی الگوریتم های MARL انتخاب شده
• 50. محیط های شبیه سازی برای MARL
• 51. OpenAI Gym, PettingZoo, StarCraft II Learning Environment (SC2LE)
• 52. PyMARL, RLlib
• 53. تنظیم پارامترهای الگوریتم
• 54. آموزش عاملان
• 55. تکنیک های اکتشاف (Exploration)
• 56. نویز گوسی، اپسیلون-گرادی
• 57. تکنیک های بهره برداری (Exploitation)
• 58. برنامه ریزی اپسیلون
• 59. مدیریت داده های آموزشی
• 60. حافظه تجربه (Experience Replay)
• 61. اولویت بندی حافظه تجربه
• 62. نحوه ادغام استراتژی های از پیش تعیین شده در فرآیند آموزش
• 63. استراتژی های از پیش تعیین شده به عنوان ورودی اولیه
• 64. استراتژی های از پیش تعیین شده به عنوان راهنما برای تابع پاداش
• 65. استراتژی های از پیش تعیین شده به عنوان محدودیت در فضای عمل
• 66. استراتژی های از پیش تعیین شده به عنوان هدف میانی
• 67. استراتژی های از پیش تعیین شده به عنوان داده های کمکی
• 68. مثال های عملی پیاده سازی
• 69. بازی های تیمی (مانند فوتبال، بسکتبال)
• 70. مدیریت ترافیک
• 71. رباتیک همکاری کننده
• 72. شبکه های توزیع شده
• 73. سیستم های توصیه چند عامله
• 74. یادگیری استراتژی های تیمی با محدودیت های ارتباطی
• 75. یادگیری استراتژی های رقابتی با اهداف از پیش تعیین شده
• 76. پیاده سازی MARL برای مسائل با نیاز به استراتژی های ثابت
• 77. پیاده سازی MARL برای مسائل با نیاز به استراتژی های پویا
• 78. تکنیک های پیشرفته در MARL
• 79. Multi-Agent Reinforcement Learning with Opponent Modeling
• 80. Counterfactual Multi-Agent Policy Gradients (COMA)
• 81. Multi-Agent Actor-Critic (MAAC)
• 82. MADDPG در جزئیات
• 83. QMIX در جزئیات
• 84. VDN در جزئیات
• 85. مروری بر ابزارها و کتابخانه های MARL
• 86. PyMARL
• 87. RLlib
• 88. OpenSpiel
• 89. TensorForce
• 90. TensorFlow Agents
• 91. PyTorch
• 92. PyTorch Lightning
• 93. ملاحظات پیاده سازی
• 94. منابع محاسباتی
• 95. زمان آموزش
• 96. توازن بین پیچیدگی و کارایی
• 97. نکات عیب یابی در MARL
• 98. تشخیص ناپایداری آموزش
• 99. مدیریت واگرایی
• 100. رفع مشکلات مربوط به توزیع داده ها