کتاب صوتی دستیابی به همکاری مؤثر ربات‌ها در انبار با استفاده از MARL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره دستیابی به همکاری مؤثر ربات‌ها در انبار با استفاده از MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای ربات‌های انبار هوشمند

📋 سرفصل‌های دوره

• 1. مبانی هوش مصنوعی در رباتیک صنعتی
• 2. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL)
• 3. اصول پایه یادگیری تقویتی
• 4. عناصر اصلی محیط‌های یادگیری تقویتی
• 5. انواع یادگیری تقویتی: مدل‌بخش و بدون مدل
• 6. روش‌های یادگیری تقویتی بدون مدل
• 7. یادگیری تقویتی مبتنی بر ارزش (Value-Based RL)
• 8. الگوریتم Q-Learning
• 9. الگوریتم Deep Q-Networks (DQN)
• 10. توسعه‌های DQN: Double DQN, Dueling DQN
• 11. یادگیری تقویتی مبتنی بر سیاست (Policy-Based RL)
• 12. الگوریتم REINFORCE
• 13. روش‌های Actor-Critic
• 14. الگوریتم A2C
• 15. الگوریتم A3C
• 16. یادگیری تقویتی اکتشافی (Exploration in RL)
• 17. استراتژی‌های اکتشاف: اپسیلون-حریصانه، نمونه‌برداری تصادفی
• 18. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL)
• 19. تفاوت‌های MARL با RL تک‌عامله
• 20. چالش‌های اصلی در MARL: غیر ایستا بودن محیط
• 21. چالش‌های اصلی در MARL: هماهنگی و رقابت
• 22. چالش‌های اصلی در MARL: انفجار فضای حالت-عمل
• 23. طبقه‌بندی روش‌های MARL
• 24. روش‌های مبتنی بر عامل مرکزی (Centralized Training)
• 25. روش‌های مبتنی بر عامل توزیع‌شده (Decentralized Execution)
• 26. روش‌های مبتنی بر بازی (Game Theory)
• 27. مفاهیم پایه نظریه بازی‌ها
• 28. بازی‌های جمعی (Team Games)
• 29. بازی‌های رقابتی (Competitive Games)
• 30. تعادل نش (Nash Equilibrium) در MARL
• 31. کاربرد نظریه بازی‌ها در هماهنگی ربات‌ها
• 32. روش‌های مبتنی بر عامل مرکزی با اجرای توزیع‌شده
• 33. الگوریتم MADDPG (Multi-Agent Deep Deterministic Policy Gradient)
• 34. پیاده‌سازی MADDPG برای ربات‌های انبار
• 35. سیاست‌های یادگیری شده برای ربات‌های انبار
• 36. مدل‌سازی محیط انبار برای MARL
• 37. تعریف حالات (States) برای ربات‌های انبار
• 38. تعریف اعمال (Actions) برای ربات‌های انبار
• 39. تعریف پاداش (Rewards) برای ربات‌های انبار
• 40. طراحی تابع پاداش برای دستیابی به همکاری
• 41. بهینه‌سازی مسیر حرکت ربات‌ها
• 42. مدیریت تداخل و برخورد ربات‌ها
• 43. هماهنگی ربات‌ها برای جابجایی اشیاء
• 44. تشکیل صفوف پویا برای ربات‌ها
• 45. تخصیص وظایف به ربات‌ها در MARL
• 46. یادگیری سیاست‌های توزیع وظایف
• 47. مدیریت منابع مشترک در انبار
• 48. بهینه‌سازی مصرف انرژی ربات‌ها
• 49. استفاده از شبیه‌سازها برای آموزش MARL
• 50. شبیه‌سازهای رایج رباتیک انبار
• 51. PyBullet برای شبیه‌سازی ربات‌ها
• 52. Gazebo برای شبیه‌سازی ربات‌ها
• 53. پیاده‌سازی محیط انبار در شبیه‌ساز
• 54. تولید داده‌های آموزشی از شبیه‌ساز
• 55. ارزیابی عملکرد ربات‌ها در شبیه‌ساز
• 56. سناریوهای پیچیده انبارداری
• 57. سناریوهای شلوغ و پر ترافیک
• 58. سناریوهای با اشیاء با اندازه‌ها و اشکال متفاوت
• 59. سناریوهای با محدودیت‌های زمانی
• 60. روش‌های پیشرفته در MARL
• 61. یادگیری تقویتی مبتنی بر مدل (Model-Based MARL)
• 62. استفاده از مدل محیط برای پیش‌بینی
• 63. یادگیری مدل‌های گذار حالت (Transition Models)
• 64. یادگیری مدل‌های پاداش (Reward Models)
• 65. یادگیری تقویتی ارتباطی (Communication in MARL)
• 66. یادگیری پروتکل‌های ارتباطی بین ربات‌ها
• 67. نقش ارتباط در بهبود همکاری
• 68. مدل‌های توجه (Attention Mechanisms) در MARL
• 69. کاربرد مدل‌های توجه در تخصیص منابع
• 70. یادگیری تقویتی برای ربات‌های انسان‌نما (در صورت انطباق)
• 71. ملاحظات اخلاقی در رباتیک همکاری
• 72. استانداردهای ایمنی ربات‌ها در محیط کار
• 73. قوانین و مقررات مربوط به رباتیک در ایران
• 74. پیاده‌سازی MARL بر روی سخت‌افزار واقعی
• 75. چالش‌های انتقال از شبیه‌ساز به واقعیت
• 76. ملاحظات مربوط به سنسورها و عملگرها
• 77. عیب‌یابی و رفع اشکال در سیستم‌های MARL
• 78. نگهداری و به‌روزرسانی مدل‌های MARL
• 79. مطالعات موردی موفق MARL در صنعت
• 80. کاربرد MARL در لجستیک و زنجیره تأمین
• 81. کاربرد MARL در خطوط تولید خودکار
• 82. کاربرد MARL در انبارداری هوشمند
• 83. آینده پژوهش در MARL برای رباتیک انبار
• 84. همکاری ربات‌ها با انسان‌ها در انبار
• 85. یادگیری تقویتی عمیق با نظارت (Deep Supervised RL)
• 86. روش‌های یادگیری تقویتی با پاداش پراکنده (Sparse Rewards)
• 87. یادگیری تقویتی با تقلب (Curriculum Learning)
• 88. یادگیری تقویتی برای ربات‌های خودمختار
• 89. مفاهیم پیشرفته در نظریه بازی‌ها (کاربرد در MARL)
• 90. همکاری در بازی‌های غیر صفر-مجموع (Non-Zero-Sum Games)
• 91. مدل‌سازی رفتار عوامل غیر منطقی
• 92. بهینه‌سازی سیاست‌های مشترک
• 93. استفاده از شبکه‌های عصبی گراف (GNNs) در MARL
• 94. کاربرد GNNs در مدل‌سازی روابط بین ربات‌ها
• 95. مدل‌سازی پویایی تیم ربات‌ها با GNNs
• 96. یادگیری تقویتی برای ربات‌های پرنده (در صورت انطباق)
• 97. یادگیری تقویتی برای ربات‌های زیرآبی (در صورت انطباق)
• 98. بررسی مقالات پژوهشی اخیر در MARL
• 99. روندهای نوظهور در هوش مصنوعی رباتیک
• 100. تحلیل چالش‌های پیاده‌سازی در مقیاس بزرگ