کتاب صوتی COMA: درک عمیق‌تر مفهوم پادفکت و کاربرد آن در یادگیری تقویتی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره COMA: درک عمیق‌تر مفهوم پادفکت و کاربرد آن در یادگیری تقویتی

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: COMA (Counterfactual Multi-Agent Policy Gradient)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی و مفاهیم پایه
• 2. تعریف پادفکت و اهمیت آن در علوم کامپیوتر
• 3. تاریخچه و سیر تحول مفهوم پادفکت
• 4. مفاهیم کلیدی در یادگیری تقویتی: عامل، محیط، حالت، عمل
• 5. تابع پاداش و نقش آن در هدایت عامل
• 6. مدل‌های مارکوف تصمیم‌گیری (MDP)
• 7. فضای حالت و فضای عمل
• 8. تابع انتقال حالت
• 9. حل MDP با روش‌های برنامه‌ریزی
• 10. مقدمه‌ای بر یادگیری تقویتی بدون مدل
• 11. یادگیری تقویتی مبتنی بر ارزش (Value-Based RL)
• 12. تابع ارزش حالت (V-function)
• 13. تابع ارزش عمل-حالت (Q-function)
• 14. تفاوت V-function و Q-function
• 15. یادگیری Q-learning
• 16. الگوریتم Q-learning
• 17. ملاحظات عملی در Q-learning
• 18. یادگیری SARSA
• 19. الگوریتم SARSA
• 20. مقایسه Q-learning و SARSA
• 21. یادگیری تقویتی مبتنی بر سیاست (Policy-Based RL)
• 22. تابع سیاست (Policy Function)
• 23. انواع سیاست‌ها: قطعی و احتمالی
• 24. گرادیان سیاست (Policy Gradient)
• 25. الگوریتم REINFORCE
• 26. پیاده‌سازی REINFORCE
• 27. یادگیری Actor-Critic
• 28. معماری Actor-Critic
• 29. الگوریتم A2C (Advantage Actor-Critic)
• 30. الگوریتم A3C (Asynchronous Advantage Actor-Critic)
• 31. یادگیری عمیق در یادگیری تقویتی (Deep RL)
• 32. شبکه‌های عصبی عمیق به عنوان تقریب‌کننده
• 33. Deep Q-Networks (DQN)
• 34. معماری DQN
• 35. تکنیک‌های بهبود DQN: Replay Buffer و Target Network
• 36. Double DQN
• 37. Dueling DQN
• 38. Prioritized Experience Replay
• 39. یادگیری تقویتی عمیق مبتنی بر سیاست
• 40. Policy Gradient پیشرفته
• 41. Proximal Policy Optimization (PPO)
• 42. الگوریتم PPO
• 43. مزایای PPO
• 44. Trust Region Policy Optimization (TRPO)
• 45. الگوریتم TRPO
• 46. مقایسه PPO و TRPO
• 47. مفاهیم پیشرفته در Deep RL
• 48. Exploration vs. Exploitation
• 49. روش‌های اکتشاف: اپسیلون-حریصانه، اکتشاف تصادفی
• 50. روش‌های اکتشاف مبتنی بر عدم قطعیت
• 51. Entropy Regularization
• 52. یادگیری تقویتی چند عاملی (Multi-Agent RL)
• 53. محیط‌های چند عاملی
• 54. چالش‌های MARL
• 55. مدل‌های همکاری در MARL
• 56. مدل‌های رقابتی در MARL
• 57. یادگیری تقویتی در رباتیک
• 58. کنترل ربات با یادگیری تقویتی
• 59. یادگیری حرکات و ناوبری
• 60. کاربرد در ربات‌های صنعتی
• 61. یادگیری تقویتی در بازی‌ها
• 62. حل بازی‌های ساده با RL
• 63. حل بازی‌های پیچیده با Deep RL
• 64. AlphaGo و دستاوردهای آن
• 65. یادگیری تقویتی در سیستم‌های توصیه‌گر
• 66. توصیه محتوا با RL
• 67. شخصی‌سازی توصیه‌ها
• 68. کاربرد در فروشگاه‌های آنلاین
• 69. یادگیری تقویتی در امور مالی
• 70. معاملات الگوریتمی با RL
• 71. مدیریت پورتفولیو
• 72. پیش‌بینی بازار
• 73. یادگیری تقویتی در بهینه‌سازی
• 74. بهینه‌سازی منابع
• 75. زمان‌بندی وظایف
• 76. مدیریت زنجیره تأمین
• 77. ملاحظات ایمنی و اخلاقی در یادگیری تقویتی
• 78. تضمین رفتار ایمن عامل
• 79. اجتناب از رفتارهای ناخواسته
• 80. نظارت بر عملکرد عامل
• 81. اصول اخلاقی در طراحی سیستم‌های RL
• 82. چارچوب‌های ارزیابی و اعتبارسنجی مدل‌های RL
• 83. متریک‌های عملکرد
• 84. تست و اعتبارسنجی در محیط‌های شبیه‌سازی شده
• 85. انتقال یادگیری (Transfer Learning) در RL
• 86. کاربرد یادگیری تقویتی در حل مسائل پیچیده
• 87. پروژه‌های عملی و کاربردی یادگیری تقویتی
• 88. مفاهیم پادفکت در کاربردهای پیشرفته یادگیری تقویتی
• 89. تفسیرپذیری مدل‌های پادفکت در RL
• 90. نقش پادفکت در کاهش ابعاد در RL
• 91. پادفکت و یادگیری تقویتی از مشاهدات محدود
• 92. پادفکت برای یادگیری سیاست‌های قابل اعتماد
• 93. پادفکت در یادگیری تقویتی با پاداش پراکنده
• 94. کاربرد پادفکت در یادگیری تقویتی برای ربات‌های خودمختار
• 95. پادفکت و یادگیری تقویتی در سیستم‌های توصیه‌گر پیشرفته
• 96. پادفکت در یادگیری تقویتی برای بهینه‌سازی مالی
• 97. پادفکت و مسائل ایمنی در یادگیری تقویتی پیشرفته
• 98. آینده تحقیقات در پادفکت و یادگیری تقویتی