کتاب صوتی یادگیری تقویتی چندعامله: از ایده تا پیاده‌سازی ناظر مرکزی عامل مستقل

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری تقویتی چندعامله: از ایده تا پیاده‌سازی ناظر مرکزی عامل مستقل

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: روش‌های مبتنی بر ناظر مرکزی/عامل مستقل (Centralized Critic/Independent Actor)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله
• 2. مفاهیم پایه یادگیری تقویتی
• 3. فضاهای حالت و عمل
• 4. تابع پاداش و فرایند تصمیم‌گیری مارکوف
• 5. مدل‌های یادگیری تقویتی: مدل‌بندی شده و بدون مدل
• 6. الگوریتم‌های یادگیری تقویتی بدون مدل
• 7. یادگیری ق-مقدار (Q-Learning)
• 8. یادگیری ق-مقدار عمیق (Deep Q-Learning)
• 9. الگوریتم‌های سیاست گرادیان (Policy Gradient)
• 10. تفاوت الگوریتم‌های ارزش‌محور و سیاست‌محور
• 11. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL)
• 12. چالش‌های یادگیری تقویتی چندعامله
• 13. ناهمگنی عامل‌ها و محیط
• 14. عدم قطعیت ناشی از عامل‌های دیگر
• 15. فضای حالت و عمل بزرگتر
• 16. وابستگی زمانی پاداش‌ها
• 17. نظریه بازی‌ها و ارتباط آن با MARL
• 18. مفاهیم اساسی نظریه بازی‌ها
• 19. تعادل نش (Nash Equilibrium)
• 20. بازی‌های با مجموع صفر و غیر صفر
• 21. کاربرد نظریه بازی‌ها در MARL
• 22. رویکردهای اصلی در MARL
• 23. رویکردهای متمرکز (Centralized)
• 24. رویکردهای غیرمتمرکز (Decentralized)
• 25. رویکردهای نیمه‌متمرکز (Semi-Centralized)
• 26. معماری ناظر مرکزی عامل مستقل (CTDE)
• 27. مفهوم ناظر مرکزی عامل مستقل
• 28. مزایای معماری CTDE
• 29. معماری‌های رایج CTDE
• 30. استفاده از شبکه‌های عصبی در CTDE
• 31. شبکه‌های عصبی کانولوشنی (CNN) در CTDE
• 32. شبکه‌های عصبی بازگشتی (RNN) در CTDE
• 33. شبکه‌های عصبی ترنسفورمر (Transformer) در CTDE
• 34. الگوریتم‌های CTDE
• 35. MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 36. COMA (Counterfactual Multi-Agent Policy Gradients)
• 37. QMIX (Q-learning for Multi-Agent Coordination)
• 38. VDN (Value Decomposition Networks)
• 39. IQL (Independent Q-Learning)
• 40. مقایسه الگوریتم‌های CTDE
• 41. کاربرد CTDE در سناریوهای مختلف
• 42. رباتیک چندعامله
• 43. سیستم‌های خودمختار
• 44. مدیریت ترافیک
• 45. بازی‌های استراتژیک
• 46. شبیه‌سازی‌های اقتصادی
• 47. ملاحظات پیاده‌سازی CTDE
• 48. انتخاب معماری مناسب
• 49. تنظیم ابرپارامترها
• 50. مدیریت حافظه تجربه (Experience Replay)
• 51. جمع‌آوری و پیش‌پردازش داده‌ها
• 52. ارزیابی عملکرد عامل‌ها
• 53. معیارهای ارزیابی در MARL
• 54. پایداری یادگیری
• 55. کارایی و سرعت همگرایی
• 56. قابلیت تعمیم‌پذیری
• 57. ارزیابی در محیط‌های شبیه‌سازی شده
• 58. ارزیابی در دنیای واقعی
• 59. موضوعات پیشرفته در MARL
• 60. یادگیری تقویتی با ارتباطات عامل‌ها (Communication in MARL)
• 61. یادگیری تقویتی با همکاری (Cooperative MARL)
• 62. یادگیری تقویتی با رقابت (Competitive MARL)
• 63. یادگیری تقویتی با ترکیبی از همکاری و رقابت
• 64. یادگیری تقویتی با عامل‌های ناهمگن
• 65. یادگیری تقویتی با محدودیت منابع
• 66. یادگیری تقویتی با عدم قطعیت در مدل محیط
• 67. یادگیری تقویتی با پاداش‌های پراکنده
• 68. یادگیری تقویتی با پاداش‌های چندهدفه
• 69. یادگیری تقویتی با انتقال یادگیری (Transfer Learning)
• 70. یادگیری تقویتی با یادگیری فدرال (Federated Learning)
• 71. یادگیری تقویتی با تفسیرپذیری (Explainable MARL)
• 72. روش‌های تفسیرپذیری در MARL
• 73. کاربرد تفسیرپذیری در اطمینان از انطباق با قوانین
• 74. تکنیک‌های افزایش پایداری در MARL
• 75. نرمال‌سازی پاداش‌ها
• 76. تکنیک‌های جلوگیری از واگرایی
• 77. استفاده از شبکه‌های عصبی با ساختار مناسب
• 78. روش‌های تنظیم گرادیان
• 79. بررسی تأثیر عدم قطعیت در عامل‌های همسایه
• 80. مدل‌سازی رفتار عامل‌های همسایه
• 81. روش‌های پیش‌بینی رفتار عامل‌های دیگر
• 82. تکنیک‌های مدیریت فضای حالت و عمل بزرگ
• 83. تجزیه حالت (State Abstraction)
• 84. تجزیه عمل (Action Abstraction)
• 85. یادگیری نمایش (Representation Learning)
• 86. کاربرد یادگیری نمایش در MARL
• 87. یادگیری تقویتی برای سیستم‌های توزیع شده
• 88. مدل‌سازی هماهنگی در سیستم‌های توزیع شده
• 89. روش‌های توزیع وظایف بین عامل‌ها
• 90. یادگیری تقویتی برای بهینه‌سازی سیستم‌های پیچیده
• 91. کاربرد در بهینه‌سازی شبکه‌های انرژی
• 92. کاربرد در مدیریت زنجیره تأمین
• 93. کاربرد در سیستم‌های حمل و نقل هوشمند
• 94. چالش‌های اخلاقی و امنیتی در MARL
• 95. تضمین رفتار ایمن عامل‌ها
• 96. جلوگیری از سوءاستفاده از عامل‌های هوشمند
• 97. بررسی انطباق با قوانین شرعی و مقررات ملی
• 98. روش‌های اطمینان از عدم ترویج موضوعات ممنوع
• 99. تضمین عدم ترویج ربا، قمار و مواد مخدر
• 100. تضمین رعایت چارچوب خانواده و پوشش اسلامی