فلش‌کارت‌های آموزشی کاربرد Mixed Precision در کاهش هزینه‌های آموزش LLM

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کاربرد Mixed Precision در کاهش هزینه‌های آموزش LLM

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به Mixed Precision
• 2. ضرورت کاهش هزینه‌های آموزش LLM
• 3. چالش‌های آموزش مدل‌های زبان بزرگ
• 4. مزایای Mixed Precision
• 5. مفهوم Precision در محاسبات عددی
• 6. انواع Precision: FP32, FP16, BF16, INT8
• 7. تفاوت بین FP32 و FP16
• 8. تفاوت بین FP16 و BF16
• 9. محدودیت‌های FP16 (مانند Overflow و Underflow)
• 10. نقش BF16 در غلبه بر محدودیت‌های FP16
• 11. مقدمه به Mixed Precision Training
• 12. تعریف Mixed Precision Training
• 13. چرا Mixed Precision؟
• 14. کاهش مصرف حافظه GPU
• 15. افزایش سرعت آموزش
• 16. تاثیر بر دقت مدل
• 17. مکانیسم‌های اصلی Mixed Precision
• 18. تبدیل نوع داده (Type Casting)
• 19. فرمان‌های Mixed Precision در PyTorch
• 20. فرمان‌های Mixed Precision در TensorFlow
• 21. استفاده از Automatic Mixed Precision (AMP)
• 22. مزایای AMP
• 23. نحوه عملکرد AMP
• 24. تنظیمات AMP در PyTorch
• 25. تنظیمات AMP در TensorFlow
• 26. نکات کلیدی در استفاده از AMP
• 27. تشخیص و رفع مشکلات رایج در AMP
• 28. استفاده از FP16 در Mixed Precision
• 29. مزایای استفاده از FP16
• 30. معایب استفاده از FP16
• 31. شرایط مناسب برای استفاده از FP16
• 32. استفاده از BF16 در Mixed Precision
• 33. مزایای استفاده از BF16
• 34. معایب استفاده از BF16
• 35. شرایط مناسب برای استفاده از BF16
• 36. مقایسه FP16 و BF16 در عمل
• 37. چگونه انتخاب کنیم: FP16 یا BF16؟
• 38. استفاده از INT8 در Mixed Precision (برای Inference)
• 39. مقدمه به Quantization
• 40. تفاوت Quantization با Mixed Precision
• 41. مزایای Quantization برای Inference
• 42. چالش‌های Quantization برای Training
• 43. تکنیک‌های Quantization (Post-Training Quantization, Quantization-Aware Training)
• 44. استفاده از INT8 در زمان Inference
• 45. ملاحظات سخت‌افزاری برای Mixed Precision
• 46. پشتیبانی سخت‌افزاری از FP16 و BF16
• 47. پردازنده‌های گرافیکی NVIDIA (Tensor Cores)
• 48. پردازنده‌های گرافیکی AMD
• 49. پردازنده‌های TPU گوگل
• 50. تاثیر سخت‌افزار بر عملکرد Mixed Precision
• 51. بهینه‌سازی Mixed Precision برای سخت‌افزارهای مختلف
• 52. تنظیمات Mixed Precision در کتابخانه‌های محبوب
• 53. Hugging Face Transformers و Mixed Precision
• 54. آموزش مدل‌های LLM با Transformers و AMP
• 55. تنظیمات پیشرفته AMP در Transformers
• 56. PyTorch Lightning و Mixed Precision
• 57. آموزش مدل‌های LLM با PyTorch Lightning و AMP
• 58. تنظیمات Mixed Precision در PyTorch Lightning
• 59. TensorFlow Keras و Mixed Precision
• 60. آموزش مدل‌های LLM با Keras و AMP
• 61. تنظیمات Mixed Precision در Keras
• 62. پیاده‌سازی دستی Mixed Precision
• 63. پیاده‌سازی سفارشی Mixed Precision برای لایه‌های خاص
• 64. مدیریت Precision در لایه‌های مختلف مدل
• 65. تکنیک‌های حفظ دقت در Mixed Precision
• 66. Loss Scaling
• 67. مفهوم Loss Scaling
• 68. انواع Loss Scaling (Dynamic, Static)
• 69. نحوه پیاده‌سازی Loss Scaling در PyTorch
• 70. نحوه پیاده‌سازی Loss Scaling در TensorFlow
• 71. تنظیم پارامترهای Loss Scaling
• 72. تشخیص و رفع مشکلات ناشی از Loss Scaling
• 73. استفاده از FP32 برای لایه‌های حساس
• 74. شناسایی لایه‌های حساس به کاهش دقت
• 75. استفاده از FP32 برای پارامترهای وزن (Weights)
• 76. استفاده از FP32 برای محاسبات خاص (مانند Softmax)
• 77. ملاحظات در مورد نرمال‌سازی (Normalization Layers)
• 78. تاثیر Mixed Precision بر Batch Normalization
• 79. تاثیر Mixed Precision بر Layer Normalization
• 80. استراتژی‌های Mixed Precision برای مدل‌های مختلف LLM
• 81. GPT-3 و Mixed Precision
• 82. BERT و Mixed Precision
• 83. T5 و Mixed Precision
• 84. LLaMA و Mixed Precision
• 85. سایر مدل‌های LLM و Mixed Precision
• 86. مقایسه عملکرد Mixed Precision در مدل‌های مختلف
• 87. بررسی تاثیر Mixed Precision بر معیارهای ارزیابی
• 88. Perplexity
• 89. BLEU Score
• 90. ROUGE Score
• 91. GLUE benchmarks
• 92. SuperGLUE benchmarks
• 93. مطالعات موردی (Case Studies)
• 94. کاهش هزینه آموزش مدل‌های بزرگ با Mixed Precision
• 95. افزایش سرعت آموزش مدل‌های بزرگ با Mixed Precision
• 96. نتایج عملی استفاده از Mixed Precision در پروژه‌های واقعی
• 97. چالش‌ها و محدودیت‌های Mixed Precision
• 98. دشواری در تنظیم پارامترها
• 99. نیاز به سخت‌افزار پشتیبان
• 100. پیچیدگی در اشکال‌زدایی (Debugging)