فلش‌کارت‌های آموزشی یادگیری تقویتی چندعامله: مسیریابی کارآمد داده‌های سنسور در شبکه‌های توزیع‌شده

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب یادگیری تقویتی چندعامله: مسیریابی کارآمد داده‌های سنسور در شبکه‌های توزیع‌شده

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای طراحی سیستم‌های توزیع داده‌های سنسور

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر یادگیری تقویتی چندعامله
• 2. مفاهیم پایه یادگیری تقویتی
• 3. عامل، محیط، حالت، عمل، پاداش
• 4. تابع ارزش، تابع سیاست
• 5. یادگیری آفلاین و آنلاین
• 6. یادگیری با تفکر و بدون تفکر
• 7. یادگیری تطبیقی
• 8. مقدمه ای بر شبکه های توزیع شده
• 9. معماری های شبکه توزیع شده
• 10. ملاحظات شبکه های توزیع شده
• 11. تاخیر، پهنای باند، قابلیت اطمینان
• 12. مسیریابی در شبکه های توزیع شده
• 13. الگوریتم های مسیریابی سنتی
• 14. مسیریابی مبتنی بر حالت
• 15. مسیریابی مبتنی بر مسیر
• 16. مسیریابی مبتنی بر جریان
• 17. چالش های مسیریابی داده های سنسور
• 18. حجم بالا، تنوع، سرعت
• 19. محدودیت منابع (باتری، پردازش، حافظه)
• 20. پویایی شبکه
• 21. مسیریابی کارآمد داده های سنسور
• 22. تعریف مسیریابی کارآمد
• 23. معیارهای کارایی (مصرف انرژی، تاخیر، توان عملیاتی، طول عمر شبکه)
• 24. یادگیری تقویتی چندعامله (MARL) برای مسیریابی
• 25. چرا MARL برای مسیریابی داده های سنسور؟
• 26. مزایای MARL در مقایسه با روش های سنتی
• 27. معماری عامل در MARL
• 28. عامل های مستقل
• 29. عامل های متمرکز
• 30. عامل های نیمه متمرکز
• 31. تعریف مسئله مسیریابی به عنوان یک بازی چندعامله
• 32. فضای حالت برای عامل ها
• 33. فضای عمل برای عامل ها
• 34. تابع پاداش برای عامل ها
• 35. مدل سازی تعامل عامل ها
• 36. مدل های همکارانه
• 37. مدل های رقابتی
• 38. مدل های مختلط
• 39. الگوریتم های پایه MARL
• 40. Q-learning مستقل
• 41. Deep Q-Networks (DQN)
• 42. Multi-Agent Deep Deterministic Policy Gradient (MADDPG)
• 43. Counterfactual Multi-Agent Policy Gradients (COMA)
• 44. داده های سنسور و ویژگی های آن
• 45. انواع سنسورها
• 46. ویژگی های داده های سنسور (حجم، سرعت، تنوع)
• 47. تولید داده های سنسور
• 48. مدل های شبیه سازی شبکه های سنسور
• 49. شبیه سازهای معروف (NS-3, OMNeT++, MATLAB)
• 50. طراحی محیط شبیه سازی برای MARL
• 51. تعریف محیط بر اساس ویژگی های شبکه و داده های سنسور
• 52. پیاده سازی عامل ها در محیط شبیه سازی
• 53. پیاده سازی سیاست های عامل ها
• 54. توسعه توابع پاداش مناسب
• 55. بهینه سازی مصرف انرژی در مسیریابی
• 56. استراتژی های کاهش مصرف انرژی
• 57. خاموش کردن سنسورها
• 58. تجمع داده ها
• 59. فشرده سازی داده ها
• 60. انتخاب مسیر کم مصرف
• 61. کاهش تاخیر در مسیریابی
• 62. استراتژی های کاهش تاخیر
• 63. مسیرهای کوتاهتر
• 64. توازن بار
• 65. تطبیق با شرایط شبکه
• 66. افزایش توان عملیاتی
• 67. استراتژی های افزایش توان عملیاتی
• 68. مسیرهای موازی
• 69. توزیع بار
• 70. مدیریت ازدحام
• 71. افزایش طول عمر شبکه
• 72. استراتژی های افزایش طول عمر
• 73. توزیع یکنواخت بار انرژی
• 74. مدیریت انرژی سنسورها
• 75. توازن بار کاری
• 76. مسیریابی با در نظر گرفتن کیفیت خدمات (QoS)
• 77. تعریف QoS در شبکه های سنسور
• 78. مسیریابی بر اساس معیارهای QoS
• 79. مسیریابی با در نظر گرفتن امنیت
• 80. تهدیدات امنیتی در شبکه های سنسور
• 81. مسیریابی امن
• 82. مسیریابی با تحمل خرابی
• 83. مسیریابی تطبیقی در شبکه های پویا
• 84. تغییرات توپولوژی شبکه
• 85. تغییرات در نرخ تولید داده
• 86. تغییرات در شرایط محیطی
• 87. یادگیری سیاست های مسیریابی پویا
• 88. مدل های یادگیری عمیق برای MARL
• 89. شبکه های عصبی کانولوشنی (CNN)
• 90. شبکه های عصبی بازگشتی (RNN)
• 91. شبکه های عصبی ترانسفورمر (Transformer)
• 92. ترکیب MARL با تکنیک های دیگر
• 93. MARL با یادگیری تقویتی تک عامله
• 94. MARL با الگوریتم های بهینه سازی کلاسیک
• 95. MARL با هوش ازدحامی
• 96. ارزیابی عملکرد الگوریتم های MARL
• 97. معیارهای ارزیابی
• 98. مقایسه با الگوریتم های پایه
• 99. تحلیل حساسیت
• 100. مطالعات موردی