فلش‌کارت‌های آموزشی بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر آموزش توزیع شده
• 2. مفاهیم اساسی آموزش توزیع شده
• 3. مزایای آموزش توزیع شده
• 4. چالش های آموزش توزیع شده
• 5. انواع آموزش توزیع شده
• 6. آموزش موازی داده (Data Parallelism)
• 7. آموزش موازی مدل (Model Parallelism)
• 8. آموزش موازی خط لوله (Pipeline Parallelism)
• 9. آموزش ترکیبی (Hybrid Parallelism)
• 10. معماری های سخت افزاری برای آموزش توزیع شده
• 11. پردازنده های گرافیکی (GPU)
• 12. واحد های پردازش تنسور (TPU)
• 13. شبکه های پرسرعت (InfiniBand, RoCE)
• 14. سیستم های ذخیره سازی توزیع شده
• 15. نرم افزارها و فریمورک های آموزش توزیع شده
• 16. TensorFlow Distributed
• 17. PyTorch Distributed
• 18. Horovod
• 19. MPI (Message Passing Interface)
• 20. OpenMPI
• 21. MPICH
• 22. DDP (Distributed Data Parallel) در PyTorch
• 23. DataParallel در PyTorch
• 24. تنظیمات اولیه برای آموزش توزیع شده
• 25. نصب و پیکربندی فریمورک ها
• 26. انتخاب استراتژی موازی سازی مناسب
• 27. تنظیمات شبکه و ارتباطات
• 28. مدیریت حافظه در آموزش توزیع شده
• 29. استراتژی های همگام سازی (Synchronization Strategies)
• 30. همگام سازی سراسری (All-reduce)
• 31. همگام سازی کاهشی (Reduce)
• 32. همگام سازی پخش (Broadcast)
• 33. همگام سازی جمع آوری (All-gather)
• 34. استراتژی های ناهمگام سازی (Asynchronous Strategies)
• 35. ارتباطات ناهمگام
• 36. مزایای ناهمگام سازی
• 37. معایب ناهمگام سازی
• 38. تنظیمات پیشرفته برای آموزش توزیع شده
• 39. بهینه سازی ارتباطات شبکه
• 40. فشرده سازی گرادیان (Gradient Compression)
• 41. تکنیک های کاهش پهنای باند
• 42. مدیریت داده های بزرگ در آموزش توزیع شده
• 43. بارگذاری داده موازی (Parallel Data Loading)
• 44. قالب بندی داده های بهینه
• 45. تکنیک های تحمل خطا (Fault Tolerance)
• 46. بررسی نقاط بازگشت (Checkpoints)
• 47. بازیابی از خرابی ها
• 48. مقیاس پذیری (Scalability)
• 49. اندازه گیری مقیاس پذیری
• 50. عوامل محدود کننده مقیاس پذیری
• 51. بهبود مقیاس پذیری
• 52. مقدمه ای بر Mixed Precision Training
• 53. مفاهیم اساسی Mixed Precision
• 54. اعداد ممیز شناور (Floating Point Numbers)
• 55. دقت های مختلف (FP32, FP16, BF16)
• 56. مزایای Mixed Precision Training
• 57. کاهش مصرف حافظه
• 58. افزایش سرعت محاسبات
• 59. چالش های Mixed Precision Training
• 60. کاهش دقت (Loss of Precision)
• 61. ناپایداری عددی (Numerical Instability)
• 62. تکنیک های پیاده سازی Mixed Precision
• 63. تبدیل نوع داده (Type Casting)
• 64. استفاده از FP16 برای پارامترها و محاسبات
• 65. استفاده از FP32 برای برخی محاسبات حیاتی
• 66. مدیریت مقیاس گرادیان (Loss Scaling)
• 67. کاهش مقیاس گرادیان برای جلوگیری از سرریز شدن (Overflow)
• 68. افزایش مقیاس گرادیان برای جلوگیری از ناپدید شدن (Underflow)
• 69. فریمورک های پشتیبان Mixed Precision
• 70. TensorFlow Mixed Precision API
• 71. PyTorch Automatic Mixed Precision (AMP)
• 72. نحوه استفاده از AMP در PyTorch
• 73. تنظیمات پیشرفته Mixed Precision
• 74. انتخاب دقت مناسب برای لایه های مختلف
• 75. تنظیمات سفارشی برای Loss Scaling
• 76. مدیریت دقت در عملیات خاص (مانند Softmax)
• 77. بررسی دقت و پایداری در Mixed Precision
• 78. معیارهای ارزیابی دقت
• 79. ابزارهای اشکال زدایی (Debugging Tools)
• 80. تکنیک های تنظیم پارامترها (Hyperparameter Tuning) در Mixed Precision
• 81. مقایسه Mixed Precision با آموزش با دقت کامل (FP32)
• 82. کاربرد Mixed Precision در مدل های مختلف
• 83. شبکه های عصبی کانولوشنال (CNNs)
• 84. شبکه های عصبی بازگشتی (RNNs)
• 85. ترانسفورمرها (Transformers)
• 86. مدل های مولد (Generative Models)
• 87. نکات عملی برای پیاده سازی Mixed Precision
• 88. انتخاب سخت افزار مناسب
• 89. بهینه سازی کد
• 90. تست و اعتبارسنجی
• 91. مطالعات موردی (Case Studies) در آموزش توزیع شده و Mixed Precision
• 92. مثال های واقعی از کاربرد در صنایع مختلف
• 93. بهبود عملکرد در مدل های بزرگ
• 94. کاهش زمان آموزش
• 95. چالش های ادغام Distributed Training و Mixed Precision
• 96. هماهنگی بین استراتژی ها
• 97. مدیریت پیچیدگی
• 98. آینده آموزش توزیع شده و Mixed Precision
• 99. پیشرفت های سخت افزاری
• 100. تکنیک های الگوریتمی جدید