فلش‌کارت‌های آموزشی مبانی و ساختارهای MADDPG: گامی فراتر در هوش مصنوعی چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی و ساختارهای MADDPG: گامی فراتر در هوش مصنوعی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: MADDPG (Multi-Agent Deep Deterministic Policy Gradient)

📋 سرفصل‌های دوره

• 1. آشنایی با هوش مصنوعی چندعامله (Multi-Agent AI)
• 2. مفاهیم کلیدی در سیستم‌های چندعامله
• 3. چالش‌های اصلی در هوش مصنوعی چندعامله
• 4. مقدمه‌ای بر یادگیری تقویتی (Reinforcement Learning)
• 5. مبانی یادگیری تقویتی عمیق (Deep Reinforcement Learning)
• 6. عوامل یادگیرنده و محیط‌های یادگیری
• 7. تابع پاداش و طراحی آن
• 8. روش‌های یادگیری مبتنی بر ارزش (Value-Based Methods)
• 9. روش‌های یادگیری مبتنی بر سیاست (Policy-Based Methods)
• 10. یادگیری ترکیبی ارزش و سیاست
• 11. مقدمه‌ای بر الگوریتم‌های Actor-Critic
• 12. معماری‌های شبکه‌های عصبی در یادگیری تقویتی
• 13. شبکه‌های عصبی کانولوشنال (CNN) برای یادگیری تقویتی
• 14. شبکه‌های عصبی بازگشتی (RNN) برای یادگیری تقویتی
• 15. شبکه‌های عصبی ترنسفورمر (Transformer) در یادگیری تقویتی
• 16. مقدمه‌ای بر یادگیری تقویتی چندعامله (Multi-Agent Reinforcement Learning - MARL)
• 17. تفاوت‌های MARL با RL تک‌عامله
• 18. چالش‌های خاص در MARL: عدم ایستایی (Non-stationarity)
• 19. چالش‌های خاص در MARL: هماهنگی (Coordination)
• 20. چالش‌های خاص در MARL: رقابت (Competition)
• 21. چالش‌های خاص در MARL: همکاری (Cooperation)
• 22. مقدمه‌ای بر الگوریتم MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 23. مبانی الگوریتم DDPG (Deep Deterministic Policy Gradient)
• 24. ساختار Actor-Critic در DDPG
• 25. نحوه به‌روزرسانی Actor و Critic در DDPG
• 26. معرفی MADDPG: گسترش DDPG برای محیط‌های چندعامله
• 27. معماری MADDPG: Actorها و Criticهای مجزا
• 28. نقش Critic مرکزی در MADDPG
• 29. نقش Actorهای محلی در MADDPG
• 30. فرآیند یادگیری در MADDPG
• 31. تجربه بازپخش (Experience Replay) در MADDPG
• 32. نمونه‌برداری تصادفی از تجربیات
• 33. استفاده از مینی‌بچ‌ها (Mini-batches)
• 34. تابع هدف برای به‌روزرسانی Critic
• 35. تابع هدف برای به‌روزرسانی Actor
• 36. نرم‌سازی گرادیان (Gradient Smoothing)
• 37. تنظیم ابرپارامترها در MADDPG
• 38. محیط‌های استاندارد برای ارزیابی MARL
• 39. محیط‌های بازی‌های ساده (مانند ساده‌ترین بازی‌های شطرنج)
• 40. محیط‌های شبیه‌سازی رباتیک
• 41. محیط‌های شبیه‌سازی ترافیک
• 42. محیط‌های شبیه‌سازی اقتصادی
• 43. مثال‌های کاربردی MADDPG: ربات‌های فوتبالیست
• 44. مثال‌های کاربردی MADDPG: کنترل ناوگان پهپادها
• 45. مثال‌های کاربردی MADDPG: سیستم‌های توزیع منابع
• 46. مثال‌های کاربردی MADDPG: بازی‌های استراتژیک
• 47. ملاحظات پیاده‌سازی MADDPG
• 48. استفاده از کتابخانه‌های یادگیری عمیق (مانند TensorFlow یا PyTorch)
• 49. ساخت و آموزش مدل‌های Actor و Critic
• 50. مدیریت حافظه تجربه بازپخش
• 51. تنظیم نرخ یادگیری و پارامترهای بهینه‌ساز
• 52. ارزیابی عملکرد عامل‌ها
• 53. مقایسه MADDPG با الگوریتم‌های دیگر MARL
• 54. الگوریتم‌های مبتنی بر ارزش در MARL (مانند VDN, QMIX)
• 55. الگوریتم‌های مبتنی بر سیاست در MARL (مانند COMA)
• 56. مقایسه MADDPG با روش‌های مبتنی بر مدل
• 57. مزایای MADDPG در محیط‌های پیوسته
• 58. محدودیت‌های MADDPG
• 59. حساسیت به تنظیم ابرپارامترها
• 60. نیاز به منابع محاسباتی بالا
• 61. چالش‌های هماهنگی پیچیده
• 62. توسعه‌های MADDPG
• 63. MADDPG با شبکه‌های ارتباطی
• 64. MADDPG با ساختارهای سلسله‌مراتبی
• 65. MADDPG با مکانیزم‌های توجه (Attention Mechanisms)
• 66. MADDPG با یادگیری مبتنی بر مدل
• 67. کاربرد MADDPG در سیستم‌های توزیع‌شده
• 68. استفاده از MADDPG در مدیریت انرژی
• 69. استفاده از MADDPG در رباتیک صنعتی
• 70. استفاده از MADDPG در سیستم‌های حمل‌ونقل هوشمند
• 71. استفاده از MADDPG در شبکه‌های مخابراتی
• 72. مبانی نظری MADDPG
• 73. اثبات همگرایی (در شرایط خاص)
• 74. تحلیل پایداری الگوریتم
• 75. ارتباط MADDPG با نظریه بازی‌ها
• 76. مفاهیم تعادل نش (Nash Equilibrium)
• 77. مفاهیم تعادل کورنو (Cournot Equilibrium)
• 78. مفاهیم تعادل استاکلبرگ (Stackelberg Equilibrium)
• 79. بررسی معماری‌های مختلف Critic مرکزی
• 80. Critic متمرکز بر مشاهده (Observation-based Centralized Critic)
• 81. Critic متمرکز بر عمل (Action-based Centralized Critic)
• 82. Critic ترکیبی
• 83. استراتژی‌های مختلف برای Actorهای محلی
• 84. Actorهای مستقل (Independent Actors)
• 85. Actorهای هماهنگ‌کننده
• 86. طراحی تابع پاداش در محیط‌های چندعامله
• 87. پاداش‌های محلی و جهانی
• 88. پاداش‌های تفکیک‌شده (Shaped Rewards)
• 89. روش‌های مقابله با عدم ایستایی
• 90. تکنیک‌های نرمال‌سازی مشاهدات و اقدامات
• 91. استفاده از تاریخچه مشاهدات
• 92. آموزش عامل‌ها در محیط‌های پویا
• 93. بهینه‌سازی پارامترهای عامل‌ها
• 94. ارزیابی کمی عملکرد سیستم چندعامله
• 95. سنجه‌های ارزیابی در محیط‌های همکاری
• 96. سنجه‌های ارزیابی در محیط‌های رقابتی
• 97. سنجه‌های ارزیابی در محیط‌های مختلط
• 98. مباحث پیشرفته در MADDPG
• 99. یادگیری تقویتی چندعامله با پاداش‌های پراکنده
• 100. یادگیری تقویتی چندعامله با مشاهدات محدود