فلش‌کارت‌های آموزشی طراحی معماری‌های شبکه‌های عصبی سفارشی برای MARL

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب طراحی معماری‌های شبکه‌های عصبی سفارشی برای MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: شبکه‌های عصبی (Neural Networks)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به یادگیری تقویتی چند عامله
• 2. مبانی یادگیری تقویتی
• 3. مفاهیم عامل، محیط، حالت، عمل، پاداش
• 4. یادگیری تقویتی تک عامله
• 5. روش‌های مبتنی بر ارزش (Q-learning, DQN)
• 6. روش‌های مبتنی بر سیاست (REINFORCE, Actor-Critic)
• 7. مقدمه به یادگیری تقویتی چند عامله (MARL)
• 8. چالش‌های MARL (عدم ایستا بودن محیط، همگرایی، هماهنگی)
• 9. انواع سناریوهای MARL (همکارانه، رقابتی، مختلط)
• 10. معماری‌های شبکه‌های عصبی در یادگیری تقویتی
• 11. شبکه‌های عصبی کانولوشنی (CNN)
• 12. شبکه‌های عصبی بازگشتی (RNN)
• 13. شبکه‌های عصبی ترنسفورمر
• 14. معماری‌های سفارشی برای MARL
• 15. نیاز به معماری‌های سفارشی در MARL
• 16. اصول طراحی معماری‌های سفارشی
• 17. انتخاب لایه‌های مناسب شبکه عصبی
• 18. تنظیم ابعاد و پارامترهای لایه‌ها
• 19. استفاده از توابع فعال‌سازی مناسب
• 20. بهینه‌سازی ساختار کلی شبکه
• 21. معماری‌های متمرکز (Centralized)
• 22. شبکه‌های عصبی متمرکز برای MARL
• 23. مزایا و معایب معماری‌های متمرکز
• 24. پیاده‌سازی شبکه‌های متمرکز
• 25. محدودیت‌های مقیاس‌پذیری معماری‌های متمرکز
• 26. معماری‌های غیرمتمرکز (Decentralized)
• 27. شبکه‌های عصبی غیرمتمرکز برای MARL
• 28. مزایا و معایب معماری‌های غیرمتمرکز
• 29. پیاده‌سازی شبکه‌های غیرمتمرکز
• 30. چالش‌های ارتباط بین عامل‌ها در معماری‌های غیرمتمرکز
• 31. معماری‌های نیمه متمرکز (Semi-Centralized)
• 32. معماری‌های Actor-Critic متمرکز (CTDE)
• 33. اتصال‌دهنده مرکزی (Centralized Critic)
• 34. منتقد مشترک (Shared Critic)
• 35. مجموعه‌ساز (Aggregator)
• 36. استفاده از اتصالات‌دهنده مرکزی در معماری‌های CTDE
• 37. مثال‌های عملی از معماری‌های CTDE
• 38. معماری‌های مبتنی بر ارتباط (Communication-based Architectures)
• 39. یادگیری ارتباط بین عامل‌ها
• 40. روش‌های ارتباط صریح (Explicit Communication)
• 41. روش‌های ارتباط ضمنی (Implicit Communication)
• 42. شبکه‌های عصبی برای یادگیری ارتباط
• 43. مکانیسم‌های توجه (Attention Mechanisms) در ارتباط
• 44. مثال‌های عملی از معماری‌های مبتنی بر ارتباط
• 45. معماری‌های مبتنی بر حافظه (Memory-based Architectures)
• 46. حافظه بلندمدت برای عامل‌ها
• 47. حافظه کوتاه‌مدت برای عامل‌ها
• 48. استفاده از شبکه‌های عصبی حافظه‌دار (LSTM, GRU)
• 49. حافظه خارجی (External Memory)
• 50. معماری‌های مبتنی بر حافظه مشترک (Shared Memory)
• 51. مثال‌های عملی از معماری‌های مبتنی بر حافظه
• 52. معماری‌های مبتنی بر مدل (Model-based Architectures)
• 53. یادگیری مدل محیطی
• 54. استفاده از مدل محیطی برای برنامه‌ریزی
• 55. معماری‌های یادگیری مدل و سیاست (Model-based RL)
• 56. ترکیب مدل محیطی با شبکه‌های عصبی
• 57. مثال‌های عملی از معماری‌های مبتنی بر مدل
• 58. معماری‌های مبتنی بر ساختار (Structure-based Architectures)
• 59. استفاده از اطلاعات ساختاری محیط
• 60. استفاده از گراف‌ها و شبکه‌های عصبی گراف (GNN)
• 61. معماری‌های مبتنی بر درخت (Tree-based Architectures)
• 62. معماری‌های مبتنی بر سلسله‌مراتب (Hierarchical Architectures)
• 63. مثال‌های عملی از معماری‌های مبتنی بر ساختار
• 64. بهینه‌سازی معماری‌های شبکه‌های عصبی برای MARL
• 65. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 66. جستجوی شبکه عصبی (Neural Architecture Search - NAS) برای MARL
• 67. روش‌های NAS متمرکز و غیرمتمرکز
• 68. الگوریتم‌های بهینه‌سازی در NAS
• 69. ارزیابی و اعتبارسنجی معماری‌های سفارشی
• 70. معیارهای ارزیابی در MARL
• 71. مجموعه داده‌ها و محیط‌های بنچمارک MARL
• 72. روش‌های اعتبارسنجی متقابل (Cross-validation)
• 73. تحلیل حساسیت معماری‌ها
• 74. پیاده‌سازی و ابزارهای توسعه MARL
• 75. فریم‌ورک‌های یادگیری عمیق (TensorFlow, PyTorch)
• 76. کتابخانه‌های MARL (OpenSpiel, PettingZoo, RLLib)
• 77. نکات عملی برای پیاده‌سازی معماری‌های سفارشی
• 78. اشکال‌زدایی (Debugging) شبکه‌های عصبی در MARL
• 79. مقیاس‌پذیری معماری‌های سفارشی
• 80. تکنیک‌های افزایش مقیاس‌پذیری
• 81. پردازش موازی و توزیع‌شده
• 82. معماری‌های عصبی برای سناریوهای خاص MARL
• 83. سناریوهای رباتیک چند عامله
• 84. سناریوهای بازی‌های ویدئویی چند عامله
• 85. سناریوهای مدیریت منابع چند عامله
• 86. سناریوهای حمل و نقل چند عامله
• 87. سناریوهای شبکه‌های ارتباطی چند عامله
• 88. مطالعات موردی پیشرفته در MARL
• 89. معماری‌های عصبی برای هماهنگی پیچیده
• 90. معماری‌های عصبی برای استراتژی‌های فریب (Deception)
• 91. معماری‌های عصبی برای یادگیری مشارکتی
• 92. معماری‌های عصبی برای یادگیری رقابتی پویا
• 93. تحولات آینده و روندهای تحقیقاتی در معماری‌های MARL
• 94. یادگیری عصبی عمیق قابل تفسیر (XAI) در MARL
• 95. یادگیری تقویتی با نظارت (Imitation Learning) در MARL
• 96. یادگیری تقویتی با پاداش‌های اکتشافی (Curiosity-driven) در MARL
• 97. یادگیری تقویتی با مفاهیم (Concept-based RL) در MARL
• 98. جمع‌بندی و نتیجه‌گیری