کتاب بهینه‌سازی مصرف انرژی در آموزش LLMها با Mixed Precision
, ,

کتاب بهینه‌سازی مصرف انرژی در آموزش LLMها با Mixed Precision

تومان249,950

انتخاب پلن

torobpay
هر قسط با ترب‌پی: تومان62,488
۴ قسط ماهانه. بدون سود، چک و ضامن.
شناسه محصول: SuperCourse-0000029651 دسته: , , برچسب: , , , , , , , , ,

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب بهینه‌سازی مصرف انرژی در آموزش LLMها با Mixed Precision

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

  • 1. مقدمه بر بهینه‌سازی مصرف انرژی در آموزش LLMها
  • 2. اهمیت مصرف انرژی در آموزش مدل‌های زبانی بزرگ
  • 3. چالش‌های مصرف انرژی در LLMها
  • 4. مقدمه بر Mixed Precision Training
  • 5. مزایای Mixed Precision
  • 6. معایب و چالش‌های Mixed Precision
  • 7. معماری‌های سخت‌افزاری و تأثیر آن‌ها بر مصرف انرژی
  • 8. پردازنده‌های گرافیکی (GPU) و نقش آن‌ها
  • 9. حافظه‌های RAM و VRAM
  • 10. شبکه‌های پرسرعت و ارتباط بین پردازنده‌ها
  • 11. معماری‌های خاص برای هوش مصنوعی (TPU, NPU)
  • 12. مقدمه بر مفاهیم پایه محاسبات عددی
  • 13. اعداد ممیز شناور (Floating-Point Numbers)
  • 14. دقت‌های مختلف ممیز شناور (FP32, FP16, BF16)
  • 15. اعداد صحیح (Integers)
  • 16. محدودیت‌های نمایش اعداد در کامپیوتر
  • 17. مقدمه بر Mixed Precision Training
  • 18. تعریف Mixed Precision Training
  • 19. انواع Mixed Precision Training
  • 20. کاربرد Mixed Precision در آموزش LLMها
  • 21. مزایای استفاده از Mixed Precision در LLMها
  • 22. کاهش مصرف حافظه
  • 23. افزایش سرعت آموزش
  • 24. کاهش مصرف انرژی
  • 25. چالش‌های Mixed Precision Training
  • 26. ناپایداری عددی (Numerical Instability)
  • 27. نیاز به تنظیم دقیق پارامترها
  • 28. پیچیدگی پیاده‌سازی
  • 29. روش‌های اصلی Mixed Precision Training
  • 30. استفاده از FP16 (Half-Precision)
  • 31. استفاده از BF16 (Bfloat16)
  • 32. استفاده از FP8 (Eight-Bit Floating-Point)
  • 33. ترکیب دقت‌های مختلف
  • 34. تکنیک‌های کلیدی در Mixed Precision Training
  • 35. Loss Scaling
  • 36. کاربرد Loss Scaling برای جلوگیری از Underflow
  • 37. نحوه انتخاب ضریب Loss Scaling
  • 38. Gradient Accumulation
  • 39. کاربرد Gradient Accumulation برای شبیه‌سازی Batch Size بزرگتر
  • 40. تأثیر Gradient Accumulation بر مصرف انرژی
  • 41. Dynamic Loss Scaling
  • 42. تنظیم خودکار ضریب Loss Scaling
  • 43. مزایا و معایب Dynamic Loss Scaling
  • 44. Weight Casting
  • 45. تبدیل وزن‌ها به دقت پایین‌تر
  • 46. تأثیر Weight Casting بر دقت مدل
  • 47. Gradient Casting
  • 48. تبدیل گرادیان‌ها به دقت پایین‌تر
  • 49. تأثیر Gradient Casting بر دقت مدل
  • 50. Activation Casting
  • 51. تبدیل فعال‌سازی‌ها به دقت پایین‌تر
  • 52. تأثیر Activation Casting بر دقت مدل
  • 53. استفاده از دقت‌های مختلط در لایه‌های مختلف مدل
  • 54. تأثیر دقت لایه‌های ورودی بر مصرف انرژی
  • 55. تأثیر دقت لایه‌های میانی بر مصرف انرژی
  • 56. تأثیر دقت لایه‌های خروجی بر مصرف انرژی
  • 57. استفاده از دقت‌های مختلط در عملیات مختلف
  • 58. ضرب ماتریس‌ها (Matrix Multiplication)
  • 59. کانولوشن‌ها (Convolutions)
  • 60. عملیات فعال‌سازی (Activation Functions)
  • 61. عملیات نرمال‌سازی (Normalization Operations)
  • 62. پیاده‌سازی Mixed Precision Training با PyTorch
  • 63. استفاده از `torch.cuda.amp`
  • 64. `autocast` برای تبدیل خودکار دقت
  • 65. `GradScaler` برای Loss Scaling
  • 66. مثال‌های عملی پیاده‌سازی با PyTorch
  • 67. پیاده‌سازی Mixed Precision برای مدل‌های Transformer
  • 68. تنظیمات پیشنهادی برای LLMها
  • 69. پیاده‌سازی Mixed Precision Training با TensorFlow
  • 70. استفاده از `tf.keras.mixed_precision`
  • 71. `Policy` برای تنظیم دقت
  • 72. `LossScaleOptimizer` برای Loss Scaling
  • 73. مثال‌های عملی پیاده‌سازی با TensorFlow
  • 74. پیاده‌سازی Mixed Precision برای مدل‌های LLM
  • 75. تنظیمات پیشنهادی برای LLMها
  • 76. بهینه‌سازی مصرف انرژی با استفاده از دقت‌های پایین‌تر
  • 77. FP16 در مقابل BF16
  • 78. مزایا و معایب هر کدام برای LLMها
  • 79. FP8 و پتانسیل آن برای کاهش مصرف انرژی
  • 80. چالش‌های استفاده از FP8
  • 81. Quantization Aware Training (QAT)
  • 82. مقدمه بر Quantization
  • 83. تکنیک‌های Quantization
  • 84. Quantization Aware Training
  • 85. ادغام QAT با Mixed Precision
  • 86. تأثیر QAT بر مصرف انرژی و دقت
  • 87. بهینه‌سازی سخت‌افزار برای Mixed Precision
  • 88. پشتیبانی سخت‌افزاری از دقت‌های پایین‌تر
  • 89. Tensor Cores در GPUهای NVIDIA
  • 90. Accelerators در TPUها
  • 91. تنظیمات بهینه سخت‌افزار برای Mixed Precision
  • 92. مدیریت حافظه در Mixed Precision Training
  • 93. استراتژی‌های کاهش مصرف حافظه
  • 94. Offloading پارامترها و گرادیان‌ها
  • 95. استفاده از تکنیک‌های فشرده‌سازی مدل
  • 96. تأثیر مدیریت حافظه بر مصرف انرژی
  • 97. بهینه‌سازی الگوریتم‌های آموزش
  • 98. تنظیم نرخ یادگیری (Learning Rate) در Mixed Precision
  • 99. استراتژی‌های تنظیم نرخ یادگیری
  • 100. تأثیر تنظیم نرخ یادگیری بر پایداری

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “کتاب بهینه‌سازی مصرف انرژی در آموزش LLMها با Mixed Precision”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

محصولات مشابه

پیمایش به بالا