فلش‌کارت‌های آموزشی راهنمای عملی برای پیاده‌سازی Mixed Precision Training

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب راهنمای عملی برای پیاده‌سازی Mixed Precision Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه و اهمیت Mixed Precision Training
• 2. چرا Mixed Precision Training؟
• 3. مزایای Mixed Precision Training
• 4. معایب احتمالی Mixed Precision Training
• 5. کاربردهای Mixed Precision Training
• 6. مروری بر انواع دقت (Precision) در یادگیری عمیق
• 7. Float32 (Single Precision)
• 8. Float16 (Half Precision)
• 9. BFloat16
• 10. Int8
• 11. چالش‌های استفاده از دقت‌های پایین‌تر
• 12. محدودیت‌های سخت‌افزاری برای دقت‌های پایین‌تر
• 13. مشکلات عددی در دقت‌های پایین‌تر
• 14. مقدمه‌ای بر GPU ها و پشتیبانی از Mixed Precision
• 15. معماری‌های GPU با پشتیبانی از Tensor Cores
• 16. عملکرد Tensor Cores
• 17. تفاوت بین FP16 و BF16
• 18. چرا FP16 و BF16 مهم هستند؟
• 19. نقش FP16 در کاهش مصرف حافظه
• 20. نقش FP16 در افزایش سرعت محاسبات
• 21. نقش BF16 در حفظ محدوده دینامیکی
• 22. چرا BF16 گاهی بهتر از FP16 است؟
• 23. معماری‌های جدید و بهبود پشتیبانی از Mixed Precision
• 24. نکات کلیدی در پیاده‌سازی Mixed Precision Training
• 25. انتخاب دقت مناسب برای مدل و داده
• 26. انتخاب دقت برای لایه‌های مختلف مدل
• 27. استفاده از Mixed Precision در لایه‌های کانولوشن
• 28. استفاده از Mixed Precision در لایه‌های خطی (Fully Connected)
• 29. استفاده از Mixed Precision در لایه‌های فعال‌سازی (Activation Functions)
• 30. استفاده از Mixed Precision در توابع زیان (Loss Functions)
• 31. تکنیک‌های کلیدی برای موفقیت در Mixed Precision
• 32. Loss Scaling
• 33. چرا Loss Scaling ضروری است؟
• 34. مکانیسم Loss Scaling
• 35. انواع Loss Scaling
• 36. Dynamic Loss Scaling
• 37. Static Loss Scaling
• 38. مقدار مناسب برای Loss Scaling
• 39. نحوه تنظیم Loss Scaling
• 40. اثر Loss Scaling بر گرادیان‌ها
• 41. تشخیص سرریز (Overflow) و زیرریز (Underflow)
• 42. چگونه سرریز و زیرریز رخ می‌دهند؟
• 43. تاثیر سرریز و زیرریز بر آموزش
• 44. روش‌های تشخیص سرریز و زیرریز
• 45. راهکارهای مقابله با سرریز و زیرریز
• 46. استفاده از FP32 برای لایه‌های حساس
• 47. استفاده از FP32 برای گرادیان‌ها
• 48. استفاده از FP32 برای پارامترهای مدل
• 49. تکنیک‌های نگهداری دقت (Precision Preservation)
• 50. Gradient Accumulation
• 51. چرا Gradient Accumulation مفید است؟
• 52. نحوه پیاده‌سازی Gradient Accumulation
• 53. تاثیر Gradient Accumulation بر اندازه Batch
• 54. استفاده از FP32 برای نگهداری پارامترهای اصلی (Master Weights)
• 55. نحوه بروزرسانی Master Weights
• 56. مزایای استفاده از Master Weights
• 57. معایب استفاده از Master Weights
• 58. استفاده از Optimizer های سازگار با Mixed Precision
• 59. انواع Optimizer ها و سازگاری آنها
• 60. نحوه انتخاب Optimizer مناسب
• 61. نکات مربوط به Optimizer های سفارشی
• 62. استفاده از کتابخانه‌های آماده برای Mixed Precision Training
• 63. PyTorch و torch.cuda.amp
• 64. آموزش استفاده از Automatic Mixed Precision (AMP) در PyTorch
• 65. torch.cuda.amp.autocast
• 66. torch.cuda.amp.GradScaler
• 67. مثال‌های عملی با PyTorch
• 68. TensorFlow و tf.keras.mixed_precision
• 69. آموزش استفاده از Mixed Precision API در TensorFlow
• 70. tf.keras.mixed_precision.set_global_policy
• 71. مثال‌های عملی با TensorFlow
• 72. Keras و Mixed Precision
• 73. پیاده‌سازی Mixed Precision در مدل‌های پیچیده
• 74. شبکه‌های عصبی کانولوشنی (CNNs)
• 75. شبکه‌های عصبی بازگشتی (RNNs)
• 76. ترنسفورمرها (Transformers)
• 77. مدل‌های تولیدی (Generative Models)
• 78. نکات پیشرفته در Mixed Precision Training
• 79. تنظیمات دقیق‌تر برای دقت لایه‌ها
• 80. استفاده ترکیبی از FP16، BF16 و FP32
• 81. مدیریت حافظه در Mixed Precision
• 82. بهینه‌سازی مصرف حافظه GPU
• 83. تکنیک‌های کاهش مصرف حافظه
• 84. اندازه‌گیری و پروفایلینگ عملکرد
• 85. ابزارهای پروفایلینگ در PyTorch و TensorFlow
• 86. تحلیل نتایج پروفایلینگ
• 87. تنظیم هایپرپارامترها در Mixed Precision
• 88. نرخ یادگیری (Learning Rate)
• 89. اندازه Batch
• 90. تنظیمات Loss Scaling
• 91. ارزیابی و مقایسه مدل‌های آموزش دیده با Mixed Precision
• 92. معیارهای ارزیابی
• 93. مقایسه با آموزش با FP32
• 94. بررسی پایداری آموزش
• 95. عیب‌یابی مشکلات رایج در Mixed Precision Training
• 96. سرریز و زیرریز در لایه‌های خاص
• 97. کاهش دقت مدل
• 98. ناپایداری آموزش
• 99. اشتباهات رایج در پیاده‌سازی
• 100. مطالعات موردی (Case Studies)