فلش‌کارت‌های آموزشی شتاب‌دهنده‌ها و تکنیک‌های پردازش موازی برای آموزش مدل‌های یادگیری عمیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره شتاب‌دهنده‌ها و تکنیک‌های پردازش موازی برای آموزش مدل‌های یادگیری عمیق

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: یادگیری عمیق و معماری‌های پیشرفته

📋 سرفصل‌های دوره

• 1. مقدمات هوش مصنوعی و یادگیری ماشین
• 2. مبانی یادگیری ماشین
• 3. مفاهیم کلیدی یادگیری عمیق
• 4. تاریخچه یادگیری عمیق
• 5. شبکه‌های عصبی مصنوعی
• 6. نورون مصنوعی و تابع فعال‌سازی
• 7. پس‌انتشار خطا (Backpropagation)
• 8. بهینه‌سازی در شبکه‌های عصبی
• 9. گرادیان کاهشی (Gradient Descent)
• 10. انواع گرادیان کاهشی
• 11. بهینه‌سازهای پیشرفته
• 12. تنظیم نرخ یادگیری
• 13. تنظیم‌کننده‌ها (Regularization)
• 14. بیش‌برازش (Overfitting) و کم‌برازش (Underfitting)
• 15. معماری‌های پایه شبکه‌های عصبی
• 16. شبکه‌های عصبی پرسپترون چندلایه (MLP)
• 17. شبکه‌های عصبی کانولوشنی (CNN)
• 18. لایه‌های کانولوشن و پولینگ
• 19. کاربرد CNN در بینایی ماشین
• 20. شبکه‌های عصبی بازگشتی (RNN)
• 21. حافظه کوتاه‌مدت طولانی (LSTM)
• 22. واحد بازگشتی دروازه‌ای (GRU)
• 23. کاربرد RNN در پردازش زبان طبیعی
• 24. مقدمات پردازش موازی
• 25. مفاهیم اساسی پردازش موازی
• 26. انواع موازی‌سازی
• 27. موازی‌سازی داده (Data Parallelism)
• 28. موازی‌سازی مدل (Model Parallelism)
• 29. تکنیک‌های همگام‌سازی در موازی‌سازی
• 30. موازی‌سازی ناهمگام (Asynchronous Parallelism)
• 31. موانع و چالش‌های پردازش موازی
• 32. سخت‌افزارهای شتاب‌دهنده
• 33. مقدمه‌ای بر سخت‌افزارهای محاسباتی
• 34. واحد پردازش مرکزی (CPU)
• 35. واحد پردازش گرافیکی (GPU)
• 36. معماری GPU برای محاسبات موازی
• 37. پردازنده‌های تنسور (TPU)
• 38. میدان‌های برنامه‌پذیر گیت آرایه‌ای (FPGA)
• 39. مقایسه شتاب‌دهنده‌های مختلف
• 40. انتخاب شتاب‌دهنده مناسب
• 41. معماری‌های حافظه در شتاب‌دهنده‌ها
• 42. پهنای باند حافظه و تاخیر
• 43. مدیریت حافظه در آموزش موازی
• 44. کتابخانه‌ها و فریم‌ورک‌های یادگیری عمیق
• 45. TensorFlow و مفاهیم آن
• 46. PyTorch و فلسفه آن
• 47. Keras به عنوان رابط سطح بالا
• 48. انتخاب فریم‌ورک مناسب
• 49. پردازش موازی با TensorFlow
• 50. پردازش موازی با PyTorch
• 51. توزیع آموزش در TensorFlow
• 52. توزیع آموزش در PyTorch
• 53. تکنیک‌های پیشرفته موازی‌سازی
• 54. موازی‌سازی مدل و داده ترکیبی
• 55. تقسیم مدل در طول لایه‌ها
• 56. تقسیم مدل در طول ابعاد
• 57. تقسیم داده با توزیع دسته‌ای (Batch Distribution)
• 58. تقسیم داده با توزیع نمونه‌ای (Sample Distribution)
• 59. همگام‌سازی گرادیان‌ها
• 60. کاهش اندازه گرادیان‌ها (Gradient Compression)
• 61. کوانتیزاسیون گرادیان‌ها
• 62. فشرده‌سازی ارتباطات (Communication Compression)
• 63. تکنیک‌های کاهش تاخیر ارتباطی
• 64. انتقال داده بهینه
• 65. مدیریت بافر در ارتباطات موازی
• 66. تکنیک‌های آموزش توزیع شده
• 67. آموزش با چندین GPU بر روی یک ماشین
• 68. آموزش با چندین GPU بر روی چندین ماشین
• 69. آموزش با چندین TPU
• 70. استفاده از هاب‌های ارتباطی (Interconnects)
• 71. اترنت پرسرعت و InfiniBand
• 72. شبکه‌های مخابراتی برای آموزش توزیع شده
• 73. بهینه‌سازی مصرف انرژی در شتاب‌دهنده‌ها
• 74. مدیریت توان در GPU
• 75. مدیریت توان در TPU
• 76. تاثیر معماری مدل بر پردازش موازی
• 77. پیچیدگی محاسباتی مدل‌ها
• 78. اندازه مدل و نیاز به حافظه
• 79. تکنیک‌های تغییر اندازه مدل (Model Quantization)
• 80. تکنیک‌های هرس کردن مدل (Model Pruning)
• 81. آموزش مدل‌های بزرگ (Large Model Training)
• 82. آموزش مدل‌های توزیع شده برای مدل‌های بزرگ
• 83. چالش‌های مقیاس‌پذیری در آموزش مدل‌های عظیم
• 84. ارزیابی عملکرد در سیستم‌های موازی
• 85. معیارهای سنجش سرعت و کارایی
• 86. اندازه‌گیری توان عملیاتی (Throughput)
• 87. اندازه‌گیری زمان آموزش
• 88. تحلیل گلوگاه‌ها (Bottlenecks)
• 89. ابزارهای پروفایلینگ (Profiling Tools)
• 90. بهینه‌سازی کد برای سخت‌افزار هدف
• 91. تنظیمات پارامترهای فریم‌ورک
• 92. بهینه‌سازی استفاده از حافظه
• 93. تکنیک‌های پیش‌پردازش داده برای آموزش موازی
• 94. مدیریت داده‌های حجیم (Big Data)
• 95. استفاده از پایگاه‌های داده توزیع شده
• 96. ذخیره‌سازی ابری برای داده‌های آموزشی
• 97. امنیت در سیستم‌های یادگیری عمیق موازی
• 98. حریم خصوصی داده‌ها در آموزش توزیع شده
• 99. حفاظت از مدل در برابر حملات
• 100. مباحث پیشرفته در پردازش موازی