سپنتا کتاب اکسپرس
کتاب کاربرد Mixed Precision در کاهش هزینه‌های آموزش LLM

کتاب کاربرد Mixed Precision در کاهش هزینه‌های آموزش LLM

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کاربرد Mixed Precision در کاهش هزینه‌های آموزش LLM

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مقدمه به Mixed Precision
  • 2. ضرورت کاهش هزینه‌های آموزش LLM
  • 3. چالش‌های آموزش مدل‌های زبان بزرگ
  • 4. مزایای Mixed Precision
  • 5. مفهوم Precision در محاسبات عددی
  • 6. انواع Precision: FP32, FP16, BF16, INT8
  • 7. تفاوت بین FP32 و FP16
  • 8. تفاوت بین FP16 و BF16
  • 9. محدودیت‌های FP16 (مانند Overflow و Underflow)
  • 10. نقش BF16 در غلبه بر محدودیت‌های FP16
  • 11. مقدمه به Mixed Precision Training
  • 12. تعریف Mixed Precision Training
  • 13. چرا Mixed Precision؟
  • 14. کاهش مصرف حافظه GPU
  • 15. افزایش سرعت آموزش
  • 16. تاثیر بر دقت مدل
  • 17. مکانیسم‌های اصلی Mixed Precision
  • 18. تبدیل نوع داده (Type Casting)
  • 19. فرمان‌های Mixed Precision در PyTorch
  • 20. فرمان‌های Mixed Precision در TensorFlow
  • 21. استفاده از Automatic Mixed Precision (AMP)
  • 22. مزایای AMP
  • 23. نحوه عملکرد AMP
  • 24. تنظیمات AMP در PyTorch
  • 25. تنظیمات AMP در TensorFlow
  • 26. نکات کلیدی در استفاده از AMP
  • 27. تشخیص و رفع مشکلات رایج در AMP
  • 28. استفاده از FP16 در Mixed Precision
  • 29. مزایای استفاده از FP16
  • 30. معایب استفاده از FP16
  • 31. شرایط مناسب برای استفاده از FP16
  • 32. استفاده از BF16 در Mixed Precision
  • 33. مزایای استفاده از BF16
  • 34. معایب استفاده از BF16
  • 35. شرایط مناسب برای استفاده از BF16
  • 36. مقایسه FP16 و BF16 در عمل
  • 37. چگونه انتخاب کنیم: FP16 یا BF16؟
  • 38. استفاده از INT8 در Mixed Precision (برای Inference)
  • 39. مقدمه به Quantization
  • 40. تفاوت Quantization با Mixed Precision
  • 41. مزایای Quantization برای Inference
  • 42. چالش‌های Quantization برای Training
  • 43. تکنیک‌های Quantization (Post-Training Quantization, Quantization-Aware Training)
  • 44. استفاده از INT8 در زمان Inference
  • 45. ملاحظات سخت‌افزاری برای Mixed Precision
  • 46. پشتیبانی سخت‌افزاری از FP16 و BF16
  • 47. پردازنده‌های گرافیکی NVIDIA (Tensor Cores)
  • 48. پردازنده‌های گرافیکی AMD
  • 49. پردازنده‌های TPU گوگل
  • 50. تاثیر سخت‌افزار بر عملکرد Mixed Precision
  • 51. بهینه‌سازی Mixed Precision برای سخت‌افزارهای مختلف
  • 52. تنظیمات Mixed Precision در کتابخانه‌های محبوب
  • 53. Hugging Face Transformers و Mixed Precision
  • 54. آموزش مدل‌های LLM با Transformers و AMP
  • 55. تنظیمات پیشرفته AMP در Transformers
  • 56. PyTorch Lightning و Mixed Precision
  • 57. آموزش مدل‌های LLM با PyTorch Lightning و AMP
  • 58. تنظیمات Mixed Precision در PyTorch Lightning
  • 59. TensorFlow Keras و Mixed Precision
  • 60. آموزش مدل‌های LLM با Keras و AMP
  • 61. تنظیمات Mixed Precision در Keras
  • 62. پیاده‌سازی دستی Mixed Precision
  • 63. پیاده‌سازی سفارشی Mixed Precision برای لایه‌های خاص
  • 64. مدیریت Precision در لایه‌های مختلف مدل
  • 65. تکنیک‌های حفظ دقت در Mixed Precision
  • 66. Loss Scaling
  • 67. مفهوم Loss Scaling
  • 68. انواع Loss Scaling (Dynamic, Static)
  • 69. نحوه پیاده‌سازی Loss Scaling در PyTorch
  • 70. نحوه پیاده‌سازی Loss Scaling در TensorFlow
  • 71. تنظیم پارامترهای Loss Scaling
  • 72. تشخیص و رفع مشکلات ناشی از Loss Scaling
  • 73. استفاده از FP32 برای لایه‌های حساس
  • 74. شناسایی لایه‌های حساس به کاهش دقت
  • 75. استفاده از FP32 برای پارامترهای وزن (Weights)
  • 76. استفاده از FP32 برای محاسبات خاص (مانند Softmax)
  • 77. ملاحظات در مورد نرمال‌سازی (Normalization Layers)
  • 78. تاثیر Mixed Precision بر Batch Normalization
  • 79. تاثیر Mixed Precision بر Layer Normalization
  • 80. استراتژی‌های Mixed Precision برای مدل‌های مختلف LLM
  • 81. GPT-3 و Mixed Precision
  • 82. BERT و Mixed Precision
  • 83. T5 و Mixed Precision
  • 84. LLaMA و Mixed Precision
  • 85. سایر مدل‌های LLM و Mixed Precision
  • 86. مقایسه عملکرد Mixed Precision در مدل‌های مختلف
  • 87. بررسی تاثیر Mixed Precision بر معیارهای ارزیابی
  • 88. Perplexity
  • 89. BLEU Score
  • 90. ROUGE Score
  • 91. GLUE benchmarks
  • 92. SuperGLUE benchmarks
  • 93. مطالعات موردی (Case Studies)
  • 94. کاهش هزینه آموزش مدل‌های بزرگ با Mixed Precision
  • 95. افزایش سرعت آموزش مدل‌های بزرگ با Mixed Precision
  • 96. نتایج عملی استفاده از Mixed Precision در پروژه‌های واقعی
  • 97. چالش‌ها و محدودیت‌های Mixed Precision
  • 98. دشواری در تنظیم پارامترها
  • 99. نیاز به سخت‌افزار پشتیبان
  • 100. پیچیدگی در اشکال‌زدایی (Debugging)

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.