کتاب صوتی فهم پویایی‌های ناخواسته: تحلیل و رفع مشکل قفل شدن در MARL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره فهم پویایی‌های ناخواسته: تحلیل و رفع مشکل قفل شدن در MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: مشکل قفل شدن (Locking Problem)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چند عاملی (MARL)
• 2. مفاهیم اساسی در MARL: عامل، محیط، پاداش
• 3. انواع محیط‌ها در MARL: همکارانه، رقابتی، مختلط
• 4. مدل‌های عامل در MARL: مستقل، متمرکز، نیمه‌متمرکز
• 5. تعریف قفل شدن (Locking) در MARL
• 6. انواع رایج قفل شدن: قفل شدن در نقاط بهینه محلی
• 7. قفل شدن ناشی از هماهنگی نامناسب
• 8. قفل شدن ناشی از تعارض منافع
• 9. قفل شدن ناشی از عدم قطعیت محیط
• 10. قفل شدن ناشی از پیچیدگی فضای حالت-عمل
• 11. تشخیص قفل شدن: معیارهای مشاهده‌ای و تحلیلی
• 12. پیامدهای منفی قفل شدن برای عملکرد عامل‌ها
• 13. چالش‌های یادگیری در حضور قفل شدگی
• 14. بررسی ادبیات موجود در زمینه قفل شدن در MARL
• 15. روش‌های مبتنی بر پاداش برای جلوگیری از قفل شدن
• 16. اصلاح تابع پاداش برای تشویق به همکاری
• 17. استفاده از پاداش‌های داخلی (Intrinsic Rewards)
• 18. پاداش‌های مبتنی بر کنجکاوی و اکتشاف
• 19. پاداش‌های مبتنی بر تنوع رفتار
• 20. روش‌های مبتنی بر مدل برای جلوگیری از قفل شدن
• 21. یادگیری مدل محیطی مشترک
• 22. استفاده از مدل برای پیش‌بینی رفتار سایر عامل‌ها
• 23. روش‌های مبتنی بر هماهنگی برای جلوگیری از قفل شدن
• 24. ارتباطات بین عامل‌ها (Communication)
• 25. روش‌های یادگیری ارتباطات
• 26. تأثیر پروتکل‌های ارتباطی بر قفل شدگی
• 27. استفاده از روش‌های مبتنی بر بازی (Game Theory)
• 28. تحلیل بازی‌های تکراری در MARL
• 29. مفهوم تعادل نش (Nash Equilibrium) و قفل شدگی
• 30. نظریه بازی‌های تکاملی (Evolutionary Game Theory)
• 31. روش‌های مبتنی بر معماری شبکه‌های عصبی
• 32. معماری‌های متمرکز-غیرمتمرکز (Centralized-Decentralized)
• 33. معماری‌های مبتنی بر توجه (Attention Mechanisms)
• 34. معماری‌های مبتنی بر عامل‌های مختصص (Mixture-of-Experts)
• 35. روش‌های مبتنی بر بهینه‌سازی سراسری
• 36. استفاده از بهینه‌سازی سراسری برای هدایت یادگیری
• 37. چالش‌های مقیاس‌پذیری بهینه‌سازی سراسری
• 38. روش‌های مبتنی بر یادگیری مبتنی بر مدل (Model-Based Learning)
• 39. استفاده از مدل‌های پیش‌بین (Predictive Models)
• 40. یادگیری مدل‌های پویا برای پیش‌بینی تغییرات محیط
• 41. روش‌های مبتنی بر یادگیری تقویتی عمیق (Deep RL)
• 42. استفاده از شبکه‌های عمیق در MARL
• 43. یادگیری عمیق تقویتی نقشه‌برداری شده (DDPG) در MARL
• 44. یادگیری عمیق تقویتی مبتنی بر عامل‌های مجزا (MADDPG)
• 45. کاربرد MADDPG در سناریوهای رقابتی
• 46. کاربرد MADDPG در سناریوهای همکارانه
• 47. روش‌های مبتنی بر یادگیری با تقلید (Imitation Learning)
• 48. یادگیری از عامل‌های خبره
• 49. تطبیق رفتار عامل‌های یادگیرنده با رفتار خبره
• 50. روش‌های مبتنی بر یادگیری تقویتی غیرفعال (Offline RL)
• 51. استفاده از داده‌های از پیش جمع‌آوری شده
• 52. چالش‌های یادگیری از داده‌های ثابت
• 53. روش‌های مبتنی بر یادگیری مبتنی بر عامل‌های یادگیرنده (Learning from Learners)
• 54. یادگیری از عامل‌های در حال یادگیری
• 55. تطبیق با تغییرات رفتار سایر عامل‌ها
• 56. روش‌های مبتنی بر یادگیری مبتنی بر عامل‌های خودآموز (Self-Play)
• 57. آموزش عامل‌ها با بازی کردن با خودشان
• 58. توسعه استراتژی‌های پیچیده از طریق خود-بازی
• 59. روش‌های مبتنی بر یادگیری تقویتی توزیع شده
• 60. استفاده از تکنیک‌های یادگیری توزیع شده
• 61. هماهنگی در محیط‌های توزیع شده
• 62. روش‌های مبتنی بر تحلیل پایداری (Stability Analysis)
• 63. تحلیل پایداری نقاط تعادل در MARL
• 64. تضمین پایداری یادگیری عامل‌ها
• 65. روش‌های مبتنی بر تحلیل ساختار بازی
• 66. شناسایی ساختار بازی برای پیش‌بینی قفل شدگی
• 67. استفاده از ساختار بازی برای طراحی الگوریتم‌ها
• 68. روش‌های مبتنی بر بهینه‌سازی عامل‌های خودخواه (Selfish Agents)
• 69. طراحی الگوریتم‌هایی که منافع عامل‌ها را در نظر می‌گیرند
• 70. تعدیل رفتار عامل‌های خودخواه برای جلوگیری از قفل شدگی
• 71. روش‌های مبتنی بر یادگیری تقویتی با پاداش‌های اجتماعی
• 72. تشویق به رفتارهای مفید برای کل گروه
• 73. طراحی پاداش‌های اجتماعی مبتنی بر رفاه گروهی
• 74. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر هدف (Goal-Oriented RL)
• 75. تعریف اهداف مشخص برای عامل‌ها
• 76. هدایت یادگیری به سمت دستیابی به اهداف
• 77. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر محیط (Environment-Oriented RL)
• 78. طراحی محیط‌های یادگیری که قفل شدگی را کاهش می‌دهند
• 79. تأثیر طراحی محیط بر رفتار عامل‌ها
• 80. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر عامل (Agent-Oriented RL)
• 81. طراحی عامل‌هایی که از قفل شدگی آگاه هستند
• 82. یادگیری استراتژی‌های گریز از قفل شدگی
• 83. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر عامل‌های یادگیرنده (Learner-Agent Based RL)
• 84. تلفیق یادگیری عامل‌ها با یادگیری از قفل شدگی
• 85. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر مدل‌های پیش‌بین (Predictive Model Based RL)
• 86. استفاده از مدل‌های پیش‌بین برای تشخیص زودهنگام قفل شدگی
• 87. پیش‌بینی پیامدهای احتمالی اقدامات
• 88. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر شبکه‌های ارتباطی
• 89. طراحی شبکه‌های ارتباطی کارآمد برای جلوگیری از قفل شدگی
• 90. یادگیری دینامیک شبکه‌های ارتباطی
• 91. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر بهینه‌سازی جامعه (Societal Optimization RL)
• 92. بهینه‌سازی رفاه کل جامعه عامل‌ها
• 93. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر تئوری بازی‌های پیشرفته
• 94. کاربرد مفاهیم پیشرفته تئوری بازی در MARL
• 95. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر تحلیل ناپایداری
• 96. شناسایی و رفع منابع ناپایداری در MARL
• 97. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر یادگیری مبتنی بر عامل (Agent-Learner RL)
• 98. تلفیق یادگیری از عامل‌ها و یادگیری خود عامل
• 99. روش‌های مبتنی بر یادگیری تقویتی مبتنی بر یادگیری تیمی (Team Learning RL)
• 100. یادگیری همکاری تیمی برای جلوگیری از قفل شدگی