دوره هوشمندسازی سیستم‌های نهفته با یادگیری ماشین: آموزش عملی با رویکرد Kaelbling همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب هوشمندسازی سیستم‌های نهفته با یادگیری ماشین: آموزش عملی با رویکرد Kaelbling

موضوع کلی: یادگیری ماشین در سیستم‌های نهفته

موضوع میانی: اصول و الگوریتم‌های یادگیری تقویتی در سیستم‌های تعبیه‌شده

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر سیستم‌های نهفته و یادگیری ماشین
• 2. مفاهیم پایه یادگیری ماشین در سیستم‌های نهفته
• 3. چالش‌های پیاده‌سازی یادگیری ماشین در سیستم‌های نهفته
• 4. معرفی یادگیری تقویتی (RL)
• 5. مقایسه RL با یادگیری با نظارت و بدون نظارت
• 6. کاربرد RL در سیستم‌های نهفته
• 7. مدل‌سازی مسائل RL: عامل، محیط، حالت، عمل، پاداش
• 8. فرایند یادگیری در RL
• 9. اپیزود، گام، سیاست
• 10. تابع ارزش حالت (State-Value Function)
• 11. تابع ارزش عمل (Action-Value Function)
• 12. معادلات Bellman
• 13. معادلات Bellman برای Q-Learning
• 14. تعادل Bellman
• 15. سیاست‌های بهینه (Optimal Policies)
• 16. روش‌های مبتنی بر مدل (Model-Based) در RL
• 17. روش‌های بدون مدل (Model-Free) در RL
• 18. تفاوت روش‌های مبتنی بر مدل و بدون مدل
• 19. الگوریتم‌های Policy Iteration
• 20. الگوریتم‌های Value Iteration
• 21. کشف و اکتشاف (Exploration vs. Exploitation)
• 22. استراتژی‌های اکتشاف: اپسیلون-حریصانه (Epsilon-Greedy)
• 23. استراتژی‌های اکتشاف: Softmax
• 24. استراتژی‌های اکتشاف: Upper Confidence Bound (UCB)
• 25. معرفی Q-Learning
• 26. نحوه یادگیری Q-Table
• 27. روزآمدسازی Q-Table
• 28. مثال‌های ساده Q-Learning در سیستم‌های نهفته
• 29. معرفی SARSA
• 30. مقایسه Q-Learning و SARSA
• 31. نقاط قوت و ضعف Q-Learning
• 32. نقاط قوت و ضعف SARSA
• 33. یادگیری تقویتی در محیط‌های گسسته
• 34. یادگیری تقویتی در محیط‌های پیوسته
• 35. روش‌های جایگزین برای Q-Table در محیط‌های پیوسته
• 36. معرفی توابع تقریب (Function Approximation)
• 37. کاربرد شبکه‌های عصبی در RL
• 38. Deep Q-Networks (DQN)
• 39. معماری شبکه‌های DQN
• 40. تجربه بازپخش (Experience Replay)
• 41. هدف شبکه‌های هدف (Target Networks)
• 42. مزایای DQN
• 43. محدودیت‌های DQN
• 44. بهبودهای DQN: Double DQN
• 45. بهبودهای DQN: Dueling DQN
• 46. بهبودهای DQN: Prioritized Experience Replay
• 47. معرفی Actor-Critic Methods
• 48. مفهوم Agent و Critic
• 49. الگوریتم A2C (Advantage Actor-Critic)
• 50. الگوریتم A3C (Asynchronous Advantage Actor-Critic)
• 51. مقایسه A2C و A3C
• 52. معرفی Policy Gradient Methods
• 53. مفهوم گرادیان سیاست
• 54. الگوریتم REINFORCE
• 55. بهبودهای Policy Gradient
• 56. معرفی PPO (Proximal Policy Optimization)
• 57. کاربرد PPO در سیستم‌های نهفته
• 58. معرفی TRPO (Trust Region Policy Optimization)
• 59. مقایسه PPO و TRPO
• 60. مفاهیم یادگیری از طریق تقلید (Imitation Learning)
• 61. یادگیری از طریق مشاهده (Learning from Observation)
• 62. کاربرد Imitation Learning در سیستم‌های نهفته
• 63. روش‌های Behavioral Cloning
• 64. روش‌های Inverse Reinforcement Learning (IRL)
• 65. مقایسه RL و Imitation Learning
• 66. پیاده‌سازی RL در سخت‌افزارهای نهفته
• 67. معماری میکروکنترلرها برای RL
• 68. پردازنده‌های ویژه برای هوش مصنوعی (AI Accelerators)
• 69. بهینه‌سازی الگوریتم‌های RL برای سیستم‌های نهفته
• 70. تکنیک‌های فشرده‌سازی مدل
• 71. کوانتیزاسیون (Quantization)
• 72. هرس کردن (Pruning)
• 73. روش‌های شناسایی سخت‌افزارهای مناسب برای RL
• 74. معرفی TensorFlow Lite for Microcontrollers
• 75. پیاده‌سازی DQN با TensorFlow Lite
• 76. معرفی PyTorch Mobile
• 77. پیاده‌سازی مدل‌های RL با PyTorch Mobile
• 78. چالش‌های تعبیه‌سازی RL در زمان واقعی (Real-time)
• 79. محدودیت‌های حافظه و توان پردازشی
• 80. قابلیت اطمینان و امنیت در سیستم‌های RL نهفته
• 81. عیب‌یابی و دیباگ کردن مدل‌های RL در سخت‌افزار
• 82. روش‌های شبیه‌سازی برای توسعه RL نهفته
• 83. انتخاب محیط شبیه‌سازی مناسب
• 84. انتقال مدل از شبیه‌سازی به سخت‌افزار (Sim-to-Real Transfer)
• 85. چالش‌های Sim-to-Real Transfer
• 86. راهکارهای بهبود Sim-to-Real Transfer
• 87. یادگیری تقویتی چندعاملی (Multi-Agent RL)
• 88. کاربرد Multi-Agent RL در سیستم‌های نهفته
• 89. معرفی روش‌های Coordination در Multi-Agent RL
• 90. معرفی روش‌های Competition در Multi-Agent RL
• 91. تکنیک‌های Meta-Learning برای سیستم‌های نهفته
• 92. یادگیری تنظیمات اولیه (Learning to Initialize)
• 93. یادگیری الگوریتم‌های یادگیری (Learning to Learn)
• 94. کاربرد Meta-Learning در سازگاری با محیط‌های متغیر
• 95. یادگیری تقویتی با پاداش پراکنده (Sparse Rewards)
• 96. روش‌های ابتکاری برای پاداش پراکنده
• 97. تقویت پاداش (Reward Shaping)
• 98. نکته‌برداری از دانش (Knowledge Transfer)
• 99. مفاهیم سیستم‌های نهفته هوشمند
• 100. تحلیل نیازمندی‌های هوشمندسازی