فلش‌کارت‌های آموزشی رویکردهای پیشرفته مبتنی بر سیاست در یادگیری تقویتی چندعامله

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب رویکردهای پیشرفته مبتنی بر سیاست در یادگیری تقویتی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: الگوریتم‌های مبتنی بر سیاست (Policy-based Algorithms)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر یادگیری تقویتی چند عامله (MARL)
• 2. مبانی یادگیری تقویتی (RL)
• 3. مفاهیم کلیدی RL: عامل، محیط، حالت، عمل، پاداش
• 4. یادگیری مبتنی بر ارزش
• 5. یادگیری مبتنی بر سیاست
• 6. تفاوت های بین RL تک عامله و چند عامله
• 7. چالش های کلیدی در MARL: عدم سکون، عدم تطابق، ارتباطات
• 8. مقدمه ای بر رویکردهای مبتنی بر سیاست در MARL
• 9. مزایای رویکردهای مبتنی بر سیاست برای MARL
• 10. انواع رویکردهای مبتنی بر سیاست: سیاست گرادیان، الگوریتم های مبتنی بر بازی
• 11. سیاست گرادیان مستقیم (DGP)
• 12. مفهوم گرادیان سیاست
• 13. فرمول گرادیان سیاست
• 14. روش های تقریبی گرادیان سیاست
• 15. روش های مبتنی بر مونت کارلو
• 16. روش های مبتنی بر خطای زمانی (TD)
• 17. ALGORITHMS OF POLICY GRADIENT: REINFORCE
• 18. ALGORITHMS OF POLICY GRADIENT: ACTOR-CRITIC
• 19. مقدمه ای بر Actor-Critic
• 20. ساختار Actor-Critic
• 21. مزایای Actor-Critic
• 22. معایب Actor-Critic
• 23. ALGORITHMS OF POLICY GRADIENT: ADVANTAGE ACTOR-CRITIC (A2C)
• 24. ALGORITHMS OF POLICY GRADIENT: ASYNCHRONOUS ADVANTAGE ACTOR-CRITIC (A3C)
• 25. ALGORITHMS OF POLICY GRADIENT: TRUST REGION POLICY OPTIMIZATION (TRPO)
• 26. ALGORITHMS OF POLICY GRADIENT: PROXIMAL POLICY OPTIMIZATION (PPO)
• 27. رویکردهای مبتنی بر بازی در MARL
• 28. مقدمه ای بر نظریه بازی ها
• 29. مفاهیم کلیدی نظریه بازی ها: استراتژی، پاداش، تعادل نش
• 30. انواع بازی ها: بازی های همزمان، بازی های متوالی
• 31. مفهوم تعادل نش در بازی های پویا
• 32. چالش های تعادل نش در محیط های پویا
• 33. رویکردهای مبتنی بر بازی برای حل MARL
• 34. رویکردهای مبتنی بر بازی برای شناسایی تعادل نش
• 35. ALGORITHMS OF GAME-BASED APPROACHES: FICTITIOUS PLAY
• 36. ALGORITHMS OF GAME-BASED APPROACHES: REGRET MINIMIZATION
• 37. ALGORITHMS OF GAME-BASED APPROACHES: BEST RESPONSE DYNAMIC
• 38. ALGORITHMS OF GAME-BASED APPROACHES: POLICY MIRROR DESCENT
• 39. ALGORITHMS OF GAME-BASED APPROACHES: CONCURRENT POLICY OPTIMIZATION
• 40. ALGORITHMS OF GAME-BASED APPROACHES: MEAN FIELD THEORY
• 41. رویکردهای مبتنی بر سیاست با عوامل متعدد
• 42. مدل های عامل مرکزی و عامل غیر متمرکز
• 43. مدل عامل مرکزی (Centralized Training, Decentralized Execution - CTDE)
• 44. مزایای CTDE
• 45. معایب CTDE
• 46. ALGORITHMS OF CTDE: MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 47. ALGORITHMS OF CTDE: QMIX
• 48. ALGORITHMS OF CTDE: VDN (Value Decomposition Networks)
• 49. ALGORITHMS OF CTDE: COMA (Counterfactual Multi-Agent Policy Gradients)
• 50. مدل عامل غیر متمرکز (Decentralized Training, Decentralized Execution - DTDE)
• 51. چالش های DTDE
• 52. ALGORITHMS OF DTDE: IQL (Independent Q-Learning)
• 53. ALGORITHMS OF DTDE: DRQN (Deep Recurrent Q-Network)
• 54. ALGORITHMS OF DTDE: DDPG (Deep Deterministic Policy Gradient)
• 55. ALGORITHMS OF DTDE: PPO (Proximal Policy Optimization)
• 56. ALGORITHMS OF DTDE: TRPO (Trust Region Policy Optimization)
• 57. رویکردهای سیاست گرادیان پیشرفته برای MARL
• 58. استفاده از شبکه های عصبی عمیق در گرادیان سیاست
• 59. شبکه های عصبی کانولوشنال (CNN) در MARL
• 60. شبکه های عصبی بازگشتی (RNN) در MARL
• 61. شبکه های عصبی ترنسفورمر (Transformer) در MARL
• 62. استفاده از یادگیری تقویتی با تقلید (Imitation Learning) در MARL
• 63. یادگیری مبتنی بر مشاهده (Observation-based Learning)
• 64. یادگیری مبتنی بر مشاهده و پاداش (Observation-Reward based Learning)
• 65. یادگیری مبتنی بر مشاهده و اقدام (Observation-Action based Learning)
• 66. استفاده از یادگیری تقویتی با تقلید در رویکردهای مبتنی بر سیاست
• 67. ALGORITHMS OF IMITATION LEARNING IN MARL: GAIL (Generative Adversarial Imitation Learning)
• 68. ALGORITHMS OF IMITATION LEARNING IN MARL: DAGGER (Dataset Aggregation)
• 69. ALGORITHMS OF IMITATION LEARNING IN MARL: BEHAVIORAL CLONING
• 70. ALGORITHMS OF IMITATION LEARNING IN MARL: Inverse Reinforcement Learning (IRL)
• 71. رویکردهای سیاست گرادیان با ارتباطات
• 72. اهمیت ارتباطات در MARL
• 73. انواع ارتباطات: صریح، ضمنی
• 74. روش های ارتباط صریح: پیام رسانی، تبادل بردار
• 75. روش های ارتباط ضمنی: یادگیری از رفتار دیگران، یادگیری از پاداش های مشترک
• 76. ALGORITHMS OF COMMUNICATION IN MARL: COMMNET
• 77. ALGORITHMS OF COMMUNICATION IN MARL: DIAL (Differentiable Inter-Agent Learning)
• 78. ALGORITHMS OF COMMUNICATION IN MARL: TARCOM (Targeted Communication)
• 79. ALGORITHMS OF COMMUNICATION IN MARL: GROUPS
• 80. ALGORITHMS OF COMMUNICATION IN MARL: DEEP COMMUNICATION LEARNING
• 81. رویکردهای سیاست گرادیان با یادگیری مبتنی بر مدل
• 82. اهمیت یادگیری مبتنی بر مدل در MARL
• 83. انواع مدل های محیط: مدل های احتمالی، مدل های قطعی
• 84. استفاده از مدل های محیط برای بهبود سیاست گرادیان
• 85. ALGORITHMS OF MODEL-BASED APPROACHES IN MARL: MODEL-PREDICTIVE CONTROL (MPC)
• 86. ALGORITHMS OF MODEL-BASED APPROACHES IN MARL: DYNMLP (Dynamic Neural Network Learning Model)
• 87. ALGORITHMS OF MODEL-BASED APPROACHES IN MARL: PLANNET
• 88. ALGORITHMS OF MODEL-BASED APPROACHES IN MARL: WORLD MODELS
• 89. ALGORITHMS OF MODEL-BASED APPROACHES IN MARL: DREAM (Deep Reinforcement Evolutional Algorithm)
• 90. کاربردها و مطالعات موردی
• 91. رباتیک چندعامله
• 92. بازی های ویدئویی چندعامله
• 93. سیستم های کنترل ترافیک
• 94. مدیریت منابع
• 95. شبکه های ارتباطی
• 96. تحلیل و ارزیابی رویکردهای مبتنی بر سیاست
• 97. معیارهای ارزیابی: همگرایی، کارایی، مقیاس پذیری
• 98. مقایسه رویکردهای مختلف
• 99. چالش های تحقیقاتی آینده
• 100. نتیجه گیری و چشم انداز آینده