سپنتا کتاب اکسپرس
کتاب کاربرد Mixed Precision در افزایش سرعت و کاهش هزینه‌های آموزش LLM

کتاب کاربرد Mixed Precision در افزایش سرعت و کاهش هزینه‌های آموزش LLM

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کاربرد Mixed Precision در افزایش سرعت و کاهش هزینه‌های آموزش LLM

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مبانی آموزش مدل‌های زبان بزرگ (LLM)
  • 2. مقدمه‌ای بر یادگیری عمیق و شبکه‌های عصبی
  • 3. معماری‌های کلیدی LLM (ترانسفورمر، GPT، BERT)
  • 4. فرآیند آموزش LLM: پیش‌بینی، بهینه‌سازی، و ارزیابی
  • 5. چالش‌های آموزش LLM: زمان، حافظه، و هزینه محاسباتی
  • 6. نیاز به بهینه‌سازی در آموزش LLM
  • 7. معرفی Mixed Precision Training
  • 8. مفهوم دقت عددی (Precision) در محاسبات کامپیوتری
  • 9. انواع دقت‌های عددی: FP32 (Single Precision)، FP16 (Half Precision)، BF16 (Bfloat16)
  • 10. تفاوت‌های FP32 و FP16/BF16
  • 11. مزایای استفاده از دقت‌های پایین‌تر (FP16/BF16)
  • 12. کاهش مصرف حافظه (Memory Footprint)
  • 13. افزایش سرعت محاسبات (Computational Speedup)
  • 14. کاربرد Mixed Precision در سخت‌افزارهای مدرن (GPU, TPU)
  • 15. تأثیر Mixed Precision بر پهنای باند حافظه (Memory Bandwidth)
  • 16. تأثیر Mixed Precision بر توان عملیاتی (Throughput)
  • 17. پیچیدگی‌های عددی در استفاده از دقت‌های پایین‌تر
  • 18. مشکلات احتمالی: Underflow و Overflow
  • 19. کاهش دقت مقادیر کوچک (Underflow)
  • 20. افزایش بیش از حد مقادیر بزرگ (Overflow)
  • 21. اثرات منفی بر پایداری آموزش (Training Stability)
  • 22. اثرات منفی بر دقت نهایی مدل (Model Accuracy)
  • 23. راهکارهای مدیریت چالش‌های Mixed Precision
  • 24. تکنیک‌های حفظ دقت (Precision Preservation)
  • 25. استفاده از مقیاس‌گذاری گرادیان (Gradient Scaling)
  • 26. مفهوم مقیاس‌گذاری گرادیان (Gradient Scaling)
  • 27. چرا گرادیان‌ها به دقت پایین‌تر حساس‌ترند؟
  • 28. نحوه عملکرد مقیاس‌گذاری گرادیان
  • 29. پیاده‌سازی مقیاس‌گذاری گرادیان (Loss Scaling)
  • 30. تنظیم ضریب مقیاس‌گذاری (Scaling Factor)
  • 31. مقیاس‌گذاری پویا (Dynamic Scaling) در مقابل مقیاس‌گذاری ثابت (Static Scaling)
  • 32. بررسی مقادیر گرادیان برای تشخیص Underflow/Overflow
  • 33. تنظیم خودکار ضریب مقیاس‌گذاری
  • 34. تکنیک‌های توزیع دقت (Mixed Precision Distribution)
  • 35. استفاده از FP32 برای عملیات حساس
  • 36. عملیات حساس در شبکه‌های عصبی: جمع، ضرب، لایه‌های نرمال‌سازی (Normalization Layers)
  • 37. جمع و ضرب اعداد با دقت‌های مختلف
  • 38. نقش لایه‌های نرمال‌سازی (Batch Norm, Layer Norm) در پایداری
  • 39. حفظ وزن‌ها (Weights) و پارامترهای مدل با FP32
  • 40. استفاده از FP16/BF16 برای محاسبات اصلی
  • 41. محاسبات ماتریسی (Matrix Multiplications)
  • 42. عملیات کانولوشن (Convolutional Operations)
  • 43. عملیات فعال‌سازی (Activation Functions)
  • 44. استفاده از FP16/BF16 برای گرادیان‌ها (با مقیاس‌گذاری)
  • 45. استفاده از FP16/BF16 برای فعال‌سازی‌های میانی (Activations)
  • 46. پیاده‌سازی Mixed Precision در فریم‌ورک‌های یادگیری عمیق
  • 47. پشتیبانی PyTorch از Mixed Precision
  • 48. ماژول `torch.cuda.amp`
  • 49. `autocast` برای انتخاب خودکار دقت
  • 50. `GradScaler` برای مقیاس‌گذاری گرادیان
  • 51. مثال‌های عملی پیاده‌سازی در PyTorch
  • 52. پشتیبانی TensorFlow از Mixed Precision
  • 53. APIهای `tf.keras.mixed_precision`
  • 54. تنظیم Policyهای Mixed Precision
  • 55. استفاده از `LossScaleOptimizer`
  • 56. مثال‌های عملی پیاده‌سازی در TensorFlow
  • 57. پشتیبانی JAX از Mixed Precision
  • 58. استفاده از `jax.lax.precision`
  • 59. نحوه مدیریت دقت در JAX
  • 60. مقایسه FP16 و BF16
  • 61. تفاوت‌های ساختاری و دامنه (Range)
  • 62. BF16: دامنه وسیع‌تر، دقت کمتر در مقادیر کوچک
  • 63. FP16: دقت بیشتر در مقادیر کوچک، دامنه محدودتر
  • 64. کاربرد BF16 در LLMها
  • 65. چرا BF16 برای LLMها مناسب‌تر است؟
  • 66. حساسیت LLMها به مقادیر کوچک در فعال‌سازی‌ها
  • 67. سازگاری BF16 با سخت‌افزارهای مدرن (TPU)
  • 68. تأثیر BF16 بر پایداری و همگرایی LLMها
  • 69. مقایسه عملکرد FP16 و BF16 در آموزش LLM
  • 70. انتخاب استراتژی Mixed Precision مناسب
  • 71. عوامل مؤثر در انتخاب استراتژی
  • 72. اندازه مدل (Model Size)
  • 73. اندازه بچ (Batch Size)
  • 74. نوع سخت‌افزار (GPU/TPU)
  • 75. داده‌های آموزشی (Training Data)
  • 76. معیارهای ارزیابی (Accuracy, Convergence Speed)
  • 77. آزمایش و خطای (Experimentation) برای یافتن بهترین تنظیمات
  • 78. تنظیمات پیش‌فرض فریم‌ورک‌ها
  • 79. تنظیمات توصیه شده برای LLMها
  • 80. بررسی تأثیر Mixed Precision بر مصرف حافظه
  • 81. کاهش مصرف حافظه برای وزن‌ها (Weights)
  • 82. کاهش مصرف حافظه برای فعال‌سازی‌ها (Activations)
  • 83. کاهش مصرف حافظه برای گرادیان‌ها (Gradients)
  • 84. تأثیر بر اندازه بچ قابل استفاده (Effective Batch Size)
  • 85. بررسی تأثیر Mixed Precision بر سرعت آموزش
  • 86. افزایش سرعت محاسبات (FLOPs)
  • 87. بهبود پهنای باند حافظه (Memory Bandwidth Utilization)
  • 88. کاهش زمان لازم برای هر Epoch
  • 89. کاهش زمان کل آموزش
  • 90. محاسبه صرفه‌جویی در زمان
  • 91. بررسی تأثیر Mixed Precision بر هزینه‌های آموزش
  • 92. کاهش زمان آموزش = کاهش هزینه ساعتی استفاده از منابع ابری (Cloud Costs)
  • 93. امکان آموزش مدل‌های بزرگتر با بودجه کمتر
  • 94. امکان تکرارپذیری (Reproducibility) بیشتر آزمایش‌ها
  • 95. بهره‌وری بیشتر از منابع سخت‌افزاری
  • 96. مطالعات موردی (Case Studies)
  • 97. آموزش GPT-3 با Mixed Precision
  • 98. آموزش BERT با Mixed Precision
  • 99. آموزش LLaMA با Mixed Precision
  • 100. آموزش مدل‌های زبان بزرگ فارسی با Mixed Precision

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.