کتاب صوتی تسلط بر PyMARL: ایجاد و مدیریت عامل‌های هوشمند در سناریوهای مختلف

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر PyMARL: ایجاد و مدیریت عامل‌های هوشمند در سناریوهای مختلف

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PyMARL

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چند عامله (MARL)
• 2. مفاهیم پایه یادگیری تقویتی
• 3. عناصر اصلی یک عامل یادگیری تقویتی
• 4. تابع پاداش و اهمیت آن در MARL
• 5. مدل‌های عاملان مستقل در MARL
• 6. چالش‌های هماهنگی در عاملان مستقل
• 7. مفهوم بازی‌ها در MARL
• 8. انواع بازی‌های همکارانه و رقابتی
• 9. مقدمه‌ای بر PyMARL
• 10. نصب و راه‌اندازی PyMARL
• 11. ساختار کلی یک پروژه PyMARL
• 12. تعریف محیط‌های ساده برای MARL
• 13. پیاده‌سازی عاملان پایه در PyMARL
• 14. استفاده از الگوریتم‌های ساده یادگیری تقویتی
• 15. یادگیری Q-Learning برای عاملان مستقل
• 16. تکامل عاملان با Q-Learning
• 17. معرفی الگوریتم‌های Policy Gradient
• 18. تفاوت Policy Gradient با Q-Learning
• 19. پیاده‌سازی Policy Gradient در PyMARL
• 20. مفهوم شبکه عصبی در عاملان هوشمند
• 21. استفاده از شبکه‌های عصبی برای تخمین تابع ارزش
• 22. شبکه‌های عصبی کانولوشنی (CNN) در MARL
• 23. شبکه‌های عصبی بازگشتی (RNN) در MARL
• 24. معرفی الگوریتم‌های Actor-Critic
• 25. مزایای رویکرد Actor-Critic
• 26. پیاده‌سازی Actor-Critic در PyMARL
• 27. الگوریتم‌های یادگیری تقویتی عمیق (Deep RL)
• 28. Deep Q-Networks (DQN)
• 29. Double DQN و Dueling DQN
• 30. پیاده‌سازی DQN در PyMARL
• 31. مقدمه ای بر عاملان مرکزی و محیطی (Centralized Training, Decentralized Execution - CTDE)
• 32. چرا CTDE مهم است؟
• 33. الگوریتم‌های مبتنی بر CTDE
• 34. MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 35. پیاده‌سازی MADDPG در PyMARL
• 36. معرفی QMIX
• 37. نحوه کارکرد QMIX
• 38. مزایای QMIX برای هماهنگی
• 39. پیاده‌سازی QMIX در PyMARL
• 40. مفهوم یادگیری تقویتی مبتنی بر عامل (Agent-based RL)
• 41. ساختار محیط‌های پیچیده‌تر برای MARL
• 42. مدل‌سازی تعاملات بین عاملان
• 43. استراتژی‌های همکاری بین عاملان
• 44. استراتژی‌های رقابت بین عاملان
• 45. معرفی محیط‌های استاندارد MARL (مانند SMAC)
• 46. کار با محیط StarCraft II (SMAC) در PyMARL
• 47. تنظیم پارامترهای محیط SMAC
• 48. پیاده‌سازی عاملان در سناریوهای SMAC
• 49. ارزیابی عملکرد عاملان در SMAC
• 50. مفهوم یادگیری تقویتی ترجیحی (Preference-based RL)
• 51. کاربرد ترجیحات در هدایت عاملان
• 52. تکنیک‌های یادگیری تقویتی ترجیحی
• 53. مقدمه‌ای بر یادگیری تقویتی ناظر (Imitation Learning)
• 54. یادگیری از طریق نمایش (Demonstration)
• 55. کاربرد Imitation Learning در MARL
• 56. معرفی الگوریتم‌های یادگیری تقویتی مبتنی بر مدل (Model-based RL)
• 57. یادگیری مدل محیط
• 58. استفاده از مدل برای برنامه‌ریزی
• 59. مزایای یادگیری مبتنی بر مدل
• 60. مقدمه‌ای بر یادگیری تقویتی عمیق با پاداش‌های پراکنده
• 61. روش‌های افزایش پاداش
• 62. یادگیری تقویتی مبتنی بر هنجار (Norm-based RL)
• 63. معرفی الگوریتم‌های Multi-Agent Proximal Policy Optimization (MAPPO)
• 64. پیاده‌سازی MAPPO در PyMARL
• 65. کاربرد MARL در سیستم‌های رباتیک
• 66. کنترل ربات‌های خودمختار با MARL
• 67. هماهنگی بین چندین ربات
• 68. کاربرد MARL در مدیریت منابع
• 69. بهینه‌سازی تخصیص منابع با عاملان هوشمند
• 70. مدیریت ترافیک با MARL
• 71. کاربرد MARL در بازی‌های استراتژیک
• 72. طراحی عاملان هوشمند برای بازی‌ها
• 73. یادگیری استراتژی‌های پیچیده
• 74. کاربرد MARL در سیستم‌های توزیع‌شده
• 75. هماهنگی در شبکه‌های کامپیوتری
• 76. مدیریت داده‌ها با عاملان هوشمند
• 77. معرفی تکنیک‌های اکتشاف در MARL
• 78. اهمیت اکتشاف برای عاملان
• 79. روش‌های نوین اکتشاف
• 80. مفهوم Generalization در MARL
• 81. قابلیت تعمیم عاملان به محیط‌های جدید
• 82. چالش‌های Generalization
• 83. معرفی تکنیک‌های Robustness در MARL
• 84. ایجاد عاملان مقاوم در برابر تغییرات محیط
• 85. روش‌های افزایش پایداری عاملان
• 86. کاربرد MARL در شبکه‌های حسگر
• 87. هماهنگی حسگرها برای جمع‌آوری داده
• 88. بهینه‌سازی مصرف انرژی در شبکه‌های حسگر
• 89. کاربرد MARL در بازارهای مالی
• 90. مدیریت سبد سهام با عاملان هوشمند
• 91. پیش‌بینی روند بازار
• 92. معرفی تکنیک‌های Multi-Task Learning در MARL
• 93. یادگیری همزمان چند وظیفه
• 94. بهبود کارایی با اشتراک دانش
• 95. کاربرد MARL در سیستم‌های توصیه گر
• 96. توصیه محتوا به کاربران
• 97. شخصی‌سازی تجربه کاربری
• 98. معرفی تکنیک‌های Continual Learning در MARL
• 99. یادگیری مداوم بدون فراموشی
• 100. سازگاری با محیط‌های پویا