کتاب صوتی راهنمای عملی برای پیاده‌سازی Distributed Training و Mixed Precision

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای عملی برای پیاده‌سازی Distributed Training و Mixed Precision

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری عمیق و شبکه‌های عصبی
• 2. مفاهیم پایه‌ای یادگیری ماشین
• 3. انواع شبکه‌های عصبی مصنوعی
• 4. شبکه‌های عصبی کانولوشنی (CNN)
• 5. شبکه‌های عصبی بازگشتی (RNN)
• 6. مقدمه‌ای بر آموزش توزیع‌شده (Distributed Training)
• 7. چرا آموزش توزیع‌شده؟ مزایا و چالش‌ها
• 8. مفاهیم کلیدی در آموزش توزیع‌شده
• 9. معماری‌های آموزش توزیع‌شده: داده موازی (Data Parallelism)
• 10. معماری‌های آموزش توزیع‌شده: مدل موازی (Model Parallelism)
• 11. معماری‌های آموزش توزیع‌شده: ترکیبی (Hybrid Parallelism)
• 12. فریم‌ورک‌های محبوب برای آموزش توزیع‌شده
• 13. PyTorch Distributed
• 14. TensorFlow Distributed
• 15. Horovod
• 16. مفاهیم پایه‌ای Mixed Precision Training
• 17. چرا Mixed Precision؟ مزایا و معایب
• 18. انواع داده‌های ممیز شناور (Floating Point Formats)
• 19. FP32، FP16، BF16 و دقت‌های دیگر
• 20. تکنیک‌های Mixed Precision
• 21. کوانتیزاسیون (Quantization)
• 22. کاهش مقیاس وزن‌ها (Weight Scaling)
• 23. بهینه‌سازی‌های خودکار (Automatic Mixed Precision - AMP)
• 24. پیاده‌سازی AMP در PyTorch
• 25. پیاده‌سازی AMP در TensorFlow
• 26. نکات عملی برای استفاده از Mixed Precision
• 27. انتخاب داده‌های ممیز شناور مناسب
• 28. مدیریت دقت در لایه‌های مختلف شبکه
• 29. تأثیر Mixed Precision بر سرعت آموزش
• 30. تأثیر Mixed Precision بر مصرف حافظه
• 31. تأثیر Mixed Precision بر دقت مدل
• 32. عیب‌یابی مشکلات رایج در Mixed Precision
• 33. یادگیری عمیق بر روی سخت‌افزارهای موازی
• 34. پردازنده‌های گرافیکی (GPU) و نقش آن‌ها
• 35. حافظه GPU و بهینه‌سازی مصرف آن
• 36. ارتباطات بین GPUها (Inter-GPU Communication)
• 37. اترنت، NVLink و InfiniBand
• 38. موازی‌سازی داده در چندین GPU
• 39. پیاده‌سازی ساده موازی‌سازی داده
• 40. استفاده از DataParallel در PyTorch
• 41. استفاده از MirroredStrategy در TensorFlow
• 42. موازی‌سازی مدل در چندین GPU
• 43. چالش‌های موازی‌سازی مدل
• 44. تقسیم مدل بین GPUها
• 45. استفاده از Pipeline Parallelism
• 46. استفاده از Tensor Parallelism
• 47. بهینه‌سازی ارتباطات در آموزش توزیع‌شده
• 48. استفاده از All-reduce
• 49. استفاده از Gather و Scatter
• 50. تکنیک‌های کاهش سربار ارتباطی
• 51. همگام‌سازی در آموزش توزیع‌شده
• 52. همگام‌سازی ناهمگام (Asynchronous Synchronization)
• 53. همگام‌سازی نیمه‌همگام (Semi-synchronous Synchronization)
• 54. مدیریت عدم تعادل در پردازش (Load Balancing)
• 55. تکنیک‌های توزیع داده در محیط‌های توزیع‌شده
• 56. ذخیره‌سازی توزیع‌شده داده‌ها
• 57. دسترسی به داده در گره‌های مختلف
• 58. استانداردهای ذخیره‌سازی و فرمت‌ها
• 59. بهینه‌سازی I/O در آموزش توزیع‌شده
• 60. آموزش مدل‌های بزرگ (Large Models)
• 61. مدیریت حافظه برای مدل‌های حجیم
• 62. تکنیک‌های کاهش مصرف حافظه
• 63. استفاده از Offloading
• 64. آموزش با استفاده از CPU و GPU به صورت ترکیبی
• 65. یادگیری عمیق در مقیاس بزرگ (Large-Scale Deep Learning)
• 66. نظارت بر فرآیند آموزش توزیع‌شده
• 67. ابزارهای مانیتورینگ (Monitoring Tools)
• 68. TensorBoard
• 69. Weights & Biases
• 70. MLflow
• 71. مدیریت آزمایش‌ها (Experiment Management)
• 72. تنظیمات و هایپرپارامترها در آموزش توزیع‌شده
• 73. جستجوی هایپرپارامترها (Hyperparameter Tuning)
• 74. استفاده از ابزارهای خودکار
• 75. ملاحظات امنیتی در سیستم‌های توزیع‌شده
• 76. امنیت داده‌ها و مدل‌ها
• 77. رمزنگاری و کنترل دسترسی
• 78. ملاحظات مربوط به حریم خصوصی داده‌ها
• 79. آموزش مدل‌ها با داده‌های حساس
• 80. رعایت مقررات و استانداردهای ملی
• 81. تطابق با قوانین جمهوری اسلامی ایران
• 82. دستورالعمل‌های شورای عالی انقلاب فرهنگی
• 83. ملاحظات شرعی در حوزه فناوری اطلاعات
• 84. اصول اخلاقی در استفاده از هوش مصنوعی
• 85. مسئولیت‌پذیری در توسعه و به‌کارگیری مدل‌ها
• 86. شفافیت در الگوریتم‌های یادگیری ماشین
• 87. قابلیت تفسیر (Interpretability) و توضیح‌پذیری (Explainability)
• 88. ملاحظات اخلاقی در استفاده از داده‌ها
• 89. داده‌های بدون نام و ناشناس‌سازی (Anonymization)
• 90. جلوگیری از تبعیض و سوگیری در مدل‌ها
• 91. روش‌های شناسایی و کاهش سوگیری (Bias)
• 92. تکنیک‌های آموزش تقویتی (Reinforcement Learning) در محیط‌های توزیع‌شده
• 93. کاربردها و چالش‌های آموزش تقویتی توزیع‌شده
• 94. آموزش مدل‌های مولد (Generative Models) به صورت توزیع‌شده
• 95. GANها و VAEها در مقیاس بزرگ
• 96. ملاحظات مربوط به مصرف انرژی در مراکز داده
• 97. بهینه‌سازی مصرف انرژی در سخت‌افزارها
• 98. استفاده از الگوریتم‌های کم‌مصرف
• 99. آینده آموزش توزیع‌شده و Mixed Precision
• 100. روندهای نوظهور در حوزه یادگیری عمیق توزیع‌شده