فلش‌کارت‌های آموزشی راهنمای عملی پیاده‌سازی MARL در پروژه‌های واقعی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب راهنمای عملی پیاده‌سازی MARL در پروژه‌های واقعی

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای بهینه‌سازی فرآیندهای مدیریت برنامه

📋 سرفصل‌های کتاب (100 موضوع)

• 1. اصول اولیه یادگیری تقویتی چند عاملی
• 2. مبانی یادگیری تقویتی
• 3. مفهوم عامل
• 4. مفهوم محیط
• 5. حالت، عمل، پاداش
• 6. فرایند مارکوف تصمیم‌گیری (MDP)
• 7. توابع ارزش
• 8. سیاست‌ها
• 9. یادگیری آفلاین در مقابل آنلاین
• 10. یادگیری با تقلید
• 11. مفاهیم یادگیری تقویتی چند عاملی (MARL)
• 12. تفاوت MARL با RL تک عامله
• 13. چالش‌های MARL
• 14. مشاهده‌پذیری محدود
• 15. غیر ایستا بودن محیط
• 16. هماهنگی و رقابت
• 17. مقیاس‌پذیری
• 18. انواع سناریوهای MARL
• 19. همکاری کامل
• 20. رقابت کامل
• 21. ترکیبی از همکاری و رقابت
• 22. توابع هدف در MARL
• 23. مجموع پاداش‌ها
• 24. حداقل‌سازی بدترین حالت
• 25. پاداش‌های فردی و مشترک
• 26. انتخاب الگوریتم مناسب MARL
• 27. دسته‌بندی الگوریتم‌های MARL
• 28. الگوریتم‌های مبتنی بر ارزش
• 29. الگوریتم‌های مبتنی بر سیاست
• 30. الگوریتم‌های ترکیبی
• 31. ملاحظات پیاده‌سازی
• 32. پیاده‌سازی در پروژه‌های واقعی
• 33. انتخاب پلتفرم و ابزارها
• 34. فریم‌ورک‌های محبوب MARL
• 35. Ray RLlib
• 36. OpenSpiel
• 37. PettingZoo
• 38. PyMARL
• 39. انتخاب زبان برنامه‌نویسی
• 40. پایتون
• 41. سایر زبان‌ها
• 42. تنظیم محیط شبیه‌سازی
• 43. اهمیت شبیه‌سازی
• 44. طراحی شبیه‌ساز
• 45. ادغام با محیط واقعی
• 46. جمع‌آوری داده
• 47. استراتژی‌های جمع‌آوری داده
• 48. داده‌های شبیه‌سازی شده
• 49. داده‌های واقعی
• 50. پیش‌پردازش داده‌ها
• 51. پاکسازی داده‌ها
• 52. نرمال‌سازی داده‌ها
• 53. مهندسی ویژگی
• 54. تعریف معماری شبکه عصبی
• 55. شبکه‌های عصبی عمیق
• 56. شبکه‌های کانولوشنی (CNN)
• 57. شبکه‌های بازگشتی (RNN)
• 58. شبکه‌های ترنسفورمر
• 59. معماری‌های خاص MARL
• 60. شبکه‌های مبتنی بر ارتباط (Communication-based networks)
• 61. شبکه‌های مبتنی بر توجه (Attention-based networks)
• 62. پیاده‌سازی الگوریتم‌های پایه MARL
• 63. یادگیری Q-learning چند عاملی (Multi-Agent Q-Learning)
• 64. یادگیری Actor-Critic چند عاملی (Multi-Agent Actor-Critic)
• 65. MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 66. QMIX
• 67. VDN (Value Decomposition Networks)
• 68. COMA (Counterfactual Multi-Agent Policy Gradients)
• 69. تجربه و دانش در MARL
• 70. مدیریت تجربه (Experience Replay)
• 71. حافظه تجربی مشترک در مقابل حافظه تجربی مجزا
• 72. تنظیم پارامترها (Hyperparameter Tuning)
• 73. نرخ یادگیری
• 74. فاکتور تخفیف
• 75. اندازه دسته (Batch Size)
• 76. استراتژی‌های اکتشاف (Exploration Strategies)
• 77. اپسیلون-گرادی (Epsilon-Greedy)
• 78. نویز گوسی
• 79. آنتروپی
• 80. مدیریت پاداش‌ها در MARL
• 81. طراحی توابع پاداش
• 82. پاداش‌های پراکنده (Sparse Rewards)
• 83. پاداش‌های متراکم (Dense Rewards)
• 84. پاداش‌دهی مبتنی بر سیگنال (Reward Shaping)
• 85. پیاده‌سازی ارتباطات بین عامل‌ها
• 86. روش‌های ارتباطی
• 87. ارتباط مستقیم
• 88. ارتباط غیرمستقیم (از طریق محیط)
• 89. پروتکل‌های ارتباطی
• 90. یادگیری پروتکل‌های ارتباطی
• 91. ملاحظات امنیتی در ارتباطات
• 92. استراتژی‌های هماهنگی
• 93. هماهنگی مبتنی بر مرکز (Centralized Coordination)
• 94. هماهنگی غیرمتمرکز (Decentralized Coordination)
• 95. هماهنگی مبتنی بر مذاکره (Negotiation-based Coordination)
• 96. هماهنگی مبتنی بر بازار (Market-based Coordination)
• 97. استراتژی‌های رقابت
• 98. رقابت مستقیم
• 99. رقابت غیرمستقیم
• 100. رقابت مبتنی بر منابع