دوره مقدمه‌ای بر PettingZoo برای پژوهشگران MARL همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر PettingZoo برای پژوهشگران MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PettingZoo

📋 سرفصل‌های دوره

• 1. مبانی PettingZoo و محیط‌های یادگیری تقویتی چند عاملی
• 2. نصب و پیکربندی PettingZoo
• 3. آشنایی با ساختار محیط‌های PettingZoo
• 4. انواع محیط‌های موجود در PettingZoo
• 5. مفاهیم پایه در یادگیری تقویتی چند عاملی (MARL)
• 6. تفاوت MARL با یادگیری تقویتی تک عاملی
• 7. چالش‌های کلیدی در MARL: هماهنگی و رقابت
• 8. معرفی الگوریتم‌های پایه در MARL
• 9. الگوریتم‌های مبتنی بر عامل مرکزی (Centralized Training)
• 10. الگوریتم‌های مبتنی بر عامل غیرمتمرکز (Decentralized Execution)
• 11. الگوریتم‌های مبتنی بر عامل مرکزی و غیرمتمرکز (CTDE)
• 12. تابع پاداش در محیط‌های MARL
• 13. طراحی تابع پاداش برای هماهنگی
• 14. طراحی تابع پاداش برای رقابت
• 15. مفهوم مشاهده‌پذیری در MARL
• 16. مشاهده‌پذیری کامل (Fully Observable)
• 17. مشاهده‌پذیری جزئی (Partially Observable)
• 18. معرفی محیط‌های بازی دو نفره در PettingZoo
• 19. بازی‌های مجموع صفر (Zero-Sum Games)
• 20. بازی‌های مجموع غیر صفر (Non-Zero-Sum Games)
• 21. بازی‌های هماهنگی (Coordination Games)
• 22. بازی‌های رقابتی (Competitive Games)
• 23. مثال: محیط Go-N-in-a-Line
• 24. مثال: محیط Tic-Tac-Toe
• 25. مثال: محیط Connect Four
• 26. مثال: محیط Chess
• 27. مثال: محیط Go
• 28. معرفی محیط‌های تیمی در PettingZoo
• 29. محیط‌های همکاری (Cooperative Environments)
• 30. محیط‌های نیمه‌همکاری (Mixed Cooperative-Competitive)
• 31. مثال: محیط Hanabi
• 32. مثال: محیط Multiagent-Pong
• 33. مثال: محیط Multiagent-Soccer
• 34. مثال: محیط Multiagent-Traffic
• 35. مثال: محیط Multiagent-Hide-and-Seek
• 36. معرفی الگوریتم‌های یادگیری عمیق برای MARL
• 37. شبکه‌های عصبی عمیق در MARL
• 38. شبکه‌های عصبی کانولوشنی (CNN) برای داده‌های بصری
• 39. شبکه‌های عصبی بازگشتی (RNN) برای داده‌های ترتیبی
• 40. شبکه‌های عصبی ترنسفورمر (Transformer) در MARL
• 41. پیاده‌سازی الگوریتم‌های ساده MARL
• 42. الگوریتم Q-learning برای یک عامل
• 43. توسعه Q-learning برای چند عامل (Independent Q-learning)
• 44. محدودیت‌های Independent Q-learning
• 45. معرفی الگوریتم MADDPG
• 46. ساختار MADDPG: عامل مرکزی و عامل‌های محیطی
• 47. آموزش MADDPG در PettingZoo
• 48. پیاده‌سازی MADDPG برای محیط‌های رقابتی
• 49. پیاده‌سازی MADDPG برای محیط‌های همکاری
• 50. معرفی الگوریتم COMA
• 51. ساختار COMA: عامل مرکزی و منتقد
• 52. استفاده از تابع مزیت در COMA
• 53. آموزش COMA در PettingZoo
• 54. پیاده‌سازی COMA برای محیط‌های تیمی
• 55. معرفی الگوریتم QMIX
• 56. ساختار QMIX: ترکیب توابع Q
• 57. شبکه‌های عصبی برای عامل‌های QMIX
• 58. آموزش QMIX در PettingZoo
• 59. پیاده‌سازی QMIX برای محیط‌های همکاری
• 60. معرفی الگوریتم VDN
• 61. ساختار VDN: جمع توابع Q
• 62. پیاده‌سازی VDN برای محیط‌های همکاری
• 63. مقایسه QMIX و VDN
• 64. معرفی محیط‌های شبیه‌سازی پیشرفته
• 65. محیط‌های رباتیک و کنترل
• 66. محیط‌های حمل و نقل هوشمند
• 67. محیط‌های شبکه‌های انرژی
• 68. محیط‌های مدیریت منابع
• 69. محیط‌های بازی‌های استراتژیک پیچیده
• 70. ارزیابی عملکرد عامل‌های MARL
• 71. سنجه‌های ارزیابی در محیط‌های رقابتی
• 72. سنجه‌های ارزیابی در محیط‌های همکاری
• 73. سنجه‌های ارزیابی در محیط‌های ترکیبی
• 74. تجزیه و تحلیل پایداری عامل‌های MARL
• 75. رفتار عامل‌ها در طول زمان
• 76. تأثیر پارامترهای الگوریتم بر پایداری
• 77. مطالعه موردی: بهینه‌سازی ترافیک با MARL
• 78. مدل‌سازی مسئله ترافیک با PettingZoo
• 79. پیاده‌سازی عامل‌های یادگیرنده برای کنترل چراغ‌های راهنمایی
• 80. ارزیابی نتایج شبیه‌سازی
• 81. مطالعه موردی: بازی‌های تیمی با MARL
• 82. مدل‌سازی بازی فوتبال با PettingZoo
• 83. پیاده‌سازی تیم‌های عامل‌های یادگیرنده
• 84. تحلیل هماهنگی و استراتژی تیمی
• 85. مطالعه موردی: مدیریت منابع مشترک با MARL
• 86. مدل‌سازی مسئله مدیریت منابع آبی
• 87. پیاده‌سازی عامل‌های یادگیرنده برای تخصیص منابع
• 88. تحلیل کارایی و عدالت
• 89. مباحث پیشرفته در MARL
• 90. یادگیری فدرال در MARL
• 91. یادگیری تقویتی با ارتباطات بین عامل‌ها
• 92. یادگیری تقویتی با انتقال دانش (Transfer Learning)
• 93. یادگیری تقویتی با عامل‌های انسان‌نما (Human-in-the-loop)
• 94. چالش‌های پیاده‌سازی در دنیای واقعی
• 95. مقیاس‌پذیری الگوریتم‌های MARL
• 96. تفسیرپذیری (Interpretability) در MARL
• 97. امنیت در سیستم‌های MARL
• 98. آینده پژوهش در MARL و PettingZoo