کتاب صوتی استفاده هوشمندانه از Mixed Precision برای آموزش سریع‌تر و ارزان‌تر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده هوشمندانه از Mixed Precision برای آموزش سریع‌تر و ارزان‌تر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Mixed Precision در یادگیری عمیق
• 2. تاریخچه و تکامل دقت ممیز شناور
• 3. مبانی اعداد ممیز شناور 32 بیتی (FP32)
• 4. مبانی اعداد ممیز شناور 16 بیتی (FP16)
• 5. مبانی اعداد ممیز شناور 8 بیتی (INT8)
• 6. مزایای استفاده از Mixed Precision: سرعت
• 7. مزایای استفاده از Mixed Precision: مصرف حافظه
• 8. مزایای استفاده از Mixed Precision: مصرف انرژی
• 9. معایب احتمالی Mixed Precision: کاهش دقت
• 10. روش‌های کاهش دقت در Mixed Precision
• 11. تکنیک‌های حفظ دقت در Mixed Precision
• 12. کالیبراسیون مقیاس‌بندی (Scaling) در Mixed Precision
• 13. نحوه کارکرد کالیبراسیون مقیاس‌بندی
• 14. انواع مقیاس‌بندی: مقیاس‌بندی پویا (Dynamic Scaling)
• 15. انواع مقیاس‌بندی: مقیاس‌بندی استاتیک (Static Scaling)
• 16. پیاده‌سازی Mixed Precision در PyTorch
• 17. استفاده از `torch.cuda.amp`
• 18. کلاس `GradScaler` در PyTorch
• 19. مدیریت `autocast` در PyTorch
• 20. مثال عملی: آموزش مدل با Mixed Precision در PyTorch
• 21. پیاده‌سازی Mixed Precision در TensorFlow
• 22. استفاده از `tf.keras.mixed_precision`
• 23. پالیسی‌های دقت در TensorFlow
• 24. مدیریت `LossScaleOptimizer` در TensorFlow
• 25. مثال عملی: آموزش مدل با Mixed Precision در TensorFlow
• 26. پشتیبانی سخت‌افزاری از Mixed Precision: GPUهای NVIDIA (Tensor Cores)
• 27. معرفی Tensor Cores
• 28. نحوه استفاده از Tensor Cores برای FP16
• 29. نحوه استفاده از Tensor Cores برای INT8
• 30. معماری‌های GPU و تأثیر بر Mixed Precision
• 31. پشتیبانی سخت‌افزاری از Mixed Precision: TPUهای Google
• 32. معماری TPU و دقت‌های ممیز شناور
• 33. کاربرد Mixed Precision در آموزش مدل‌های بینایی ماشین (CNNs)
• 34. آموزش مدل‌های تشخیص تصویر با Mixed Precision
• 35. آموزش مدل‌های بخش‌بندی تصویر با Mixed Precision
• 36. آموزش مدل‌های تشخیص اشیاء با Mixed Precision
• 37. کاربرد Mixed Precision در آموزش مدل‌های پردازش زبان طبیعی (NLP)
• 38. آموزش مدل‌های ترنسفورمر (Transformers) با Mixed Precision
• 39. آموزش مدل‌های زبانی بزرگ (LLMs) با Mixed Precision
• 40. کاربرد Mixed Precision در آموزش مدل‌های تولید محتوا
• 41. آموزش مدل‌های تولید متن با Mixed Precision
• 42. آموزش مدل‌های تولید تصویر با Mixed Precision
• 43. کاربرد Mixed Precision در مدل‌های گراف (Graph Neural Networks)
• 44. آموزش GNNها با Mixed Precision
• 45. بهینه‌سازی فرآیند آموزش با Mixed Precision
• 46. تنظیم نرخ یادگیری (Learning Rate) در Mixed Precision
• 47. تنظیم اندازه بچ (Batch Size) در Mixed Precision
• 48. انتخاب بهینه‌ساز (Optimizer) مناسب برای Mixed Precision
• 49. تأثیر زمان‌بندی نرخ یادگیری (LR Scheduler) بر Mixed Precision
• 50. مانیتورینگ فرآیند آموزش در Mixed Precision
• 51. تشخیص و رفع مشکلات رایج در Mixed Precision
• 52. خطاهای ناشی از سرریز (Overflow) و زیرریز (Underflow)
• 53. راهکارهای مقابله با سرریز و زیرریز
• 54. اهمیت تنظیم دقیق مقیاس‌بندی
• 55. بررسی تأثیر دقت‌های مختلف بر معماری‌های مدل
• 56. تفاوت‌های عملکردی بین FP32، FP16 و INT8
• 57. انتخاب دقت مناسب بر اساس کاربرد
• 58. آموزش مدل‌های کوچک با Mixed Precision
• 59. آموزش مدل‌های بزرگ با Mixed Precision
• 60. استفاده از Mixed Precision برای کاهش زمان آموزش
• 61. استفاده از Mixed Precision برای کاهش هزینه آموزش
• 62. کاربرد Mixed Precision در یادگیری تقویتی (Reinforcement Learning)
• 63. آموزش عامل‌های یادگیری تقویتی با Mixed Precision
• 64. کاربرد Mixed Precision در مدل‌های مولد (Generative Models)
• 65. آموزش GANها با Mixed Precision
• 66. آموزش VAEها با Mixed Precision
• 67. استفاده از Mixed Precision در استنتاج (Inference)
• 68. بهینه‌سازی استنتاج با Mixed Precision
• 69. کوانتیزاسیون (Quantization) برای استنتاج
• 70. تفاوت بین Mixed Precision در آموزش و استنتاج
• 71. چالش‌های پیاده‌سازی Mixed Precision در محیط‌های توزیع‌شده
• 72. مدیریت دقت در آموزش موازی
• 73. هماهنگ‌سازی مقیاس‌بندی در محیط‌های توزیع‌شده
• 74. بررسی ابزارها و کتابخانه‌های پیشرفته Mixed Precision
• 75. معرفی کتابخانه‌های تخصصی Mixed Precision
• 76. مطالعات موردی موفق در استفاده از Mixed Precision
• 77. نمونه‌هایی از کاهش زمان آموزش در پروژه‌های واقعی
• 78. نمونه‌هایی از کاهش هزینه آموزش در پروژه‌های واقعی
• 79. تحلیل تأثیر Mixed Precision بر معیارهای ارزیابی مدل
• 80. بررسی دقت (Accuracy) در مدل‌های آموزش‌دیده با Mixed Precision
• 81. بررسی معیارهای دیگر ارزیابی (مانند F1-score)
• 82. آینده Mixed Precision و کوانتیزاسیون
• 83. روندهای جدید در دقت‌های ممیز شناور
• 84. نقش هوش مصنوعی در خودکارسازی Mixed Precision
• 85. توصیه‌های نهایی برای استفاده مؤثر از Mixed Precision
• 86. انتخاب چارچوب مناسب (PyTorch یا TensorFlow)
• 87. تنظیمات اولیه برای شروع
• 88. راهنمایی برای اشکال‌زدایی و بهینه‌سازی
• 89. جمع‌بندی مزایا و محدودیت‌ها
• 90. اهمیت آزمایش و اعتبارسنجی دقیق
• 91. آمادگی برای چالش‌های آینده در یادگیری عمیق