فلش‌کارت‌های آموزشی کاربرد Mixed Precision در بهبود کارایی سخت‌افزارهای نوین

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب کاربرد Mixed Precision در بهبود کارایی سخت‌افزارهای نوین

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر دقت ترکیبی (Mixed Precision)
• 2. مفهوم دقت ترکیبی
• 3. چرا دقت ترکیبی مهم است
• 4. تاریخچه مختصری از دقت ترکیبی
• 5. مزایای اصلی دقت ترکیبی
• 6. چالش‌های دقت ترکیبی
• 7. انواع دقت‌های رایج (FP32, FP16, BF16, INT8)
• 8. تفاوت بین FP32 و FP16
• 9. تفاوت بین FP16 و BF16
• 10. تفاوت بین FP16 و INT8
• 11. تفاوت بین BF16 و INT8
• 12. کاربرد دقت ترکیبی در یادگیری عمیق
• 13. یادگیری عمیق و نیاز به محاسبات سریع
• 14. مدل‌های یادگیری عمیق و حجم داده‌ها
• 15. نقش دقت ترکیبی در تسریع آموزش مدل‌ها
• 16. نقش دقت ترکیبی در تسریع استنتاج مدل‌ها
• 17. کاهش مصرف حافظه با دقت ترکیبی
• 18. کاهش پهنای باند حافظه با دقت ترکیبی
• 19. تاثیر دقت ترکیبی بر مصرف انرژی
• 20. سخت‌افزارهای نوین و پشتیبانی از دقت ترکیبی
• 21. معماری‌های GPU مدرن و دقت ترکیبی
• 22. قابلیت‌های Tensor Core در NVIDIA
• 23. قابلیت‌های Matrix Core در AMD
• 24. پردازنده‌های تنسور (TPU) گوگل
• 25. شتاب‌دهنده‌های هوش مصنوعی سفارشی
• 26. تاثیر معماری سخت‌افزار بر انتخاب دقت
• 27. نحوه پیاده‌سازی دقت ترکیبی در یادگیری عمیق
• 28. چارچوب‌های یادگیری عمیق (TensorFlow, PyTorch)
• 29. پشتیبانی TensorFlow از دقت ترکیبی
• 30. پشتیبانی PyTorch از دقت ترکیبی
• 31. ابزارهای خودکار دقت ترکیبی (Automatic Mixed Precision - AMP)
• 32. تنظیمات AMP در TensorFlow
• 33. تنظیمات AMP در PyTorch
• 34. تنظیمات دستی دقت ترکیبی
• 35. انتخاب نوع داده برای لایه‌های مختلف مدل
• 36. مدیریت مقیاس‌بندی (Loss Scaling)
• 37. چرا مقیاس‌بندی ضرر مهم است
• 38. روش‌های مقیاس‌بندی ضرر
• 39. مقیاس‌بندی ضرر پویا (Dynamic Loss Scaling)
• 40. مقیاس‌بندی ضرر ثابت (Static Loss Scaling)
• 41. پیاده‌سازی مقیاس‌بندی ضرر در فریم‌ورک‌ها
• 42. نکات مهم در پیاده‌سازی دقت ترکیبی
• 43. انتخاب لایه‌های مناسب برای تبدیل دقت
• 44. تاثیر دقت ترکیبی بر دقت مدل
• 45. تکنیک‌های حفظ دقت در دقت ترکیبی
• 46. استفاده از FP32 برای محاسبات حساس
• 47. استفاده از FP16 یا BF16 برای محاسبات حجیم
• 48. نظارت بر گرادیان‌ها و جلوگیری از ناپدید شدن یا انفجار
• 49. تاثیر دقت ترکیبی بر زمان آموزش
• 50. مقایسه زمان آموزش با دقت ترکیبی در مقابل FP32
• 51. تحلیل پهنای باند حافظه در دقت ترکیبی
• 52. تاثیر دقت ترکیبی بر مصرف انرژی سخت‌افزار
• 53. نمونه‌های واقعی از کاربرد دقت ترکیبی
• 54. کاربرد دقت ترکیبی در پردازش زبان طبیعی (NLP)
• 55. کاربرد دقت ترکیبی در بینایی ماشین (Computer Vision)
• 56. کاربرد دقت ترکیبی در سیستم‌های توصیه‌گر
• 57. کاربرد دقت ترکیبی در مدل‌های مولد
• 58. مطالعات موردی (Case Studies) از پیاده‌سازی موفق
• 59. بهینه‌سازی دقت ترکیبی برای سخت‌افزارهای خاص
• 60. تکنیک‌های کوانتایزاسیون (Quantization)
• 61. تفاوت بین دقت ترکیبی و کوانتایزاسیون
• 62. کاربرد کوانتایزاسیون در سخت‌افزارهای لبه (Edge Devices)
• 63. کوانتایزاسیون پس از آموزش (Post-Training Quantization)
• 64. کوانتایزاسیون در حین آموزش (Quantization-Aware Training)
• 65. تاثیر کوانتایزاسیون بر دقت مدل
• 66. تلفیق دقت ترکیبی و کوانتایزاسیون
• 67. چالش‌های پیش رو در دقت ترکیبی
• 68. خطاهای ممیز شناور (Floating-Point Errors)
• 69. مشکلات همگرایی (Convergence Issues)
• 70. پیچیدگی پیاده‌سازی
• 71. نیاز به دانش تخصصی
• 72. ابزارها و کتابخانه‌های مفید برای دقت ترکیبی
• 73. ابزارهای پروفایلینگ (Profiling Tools)
• 74. کتابخانه‌های بهینه‌سازی
• 75. کتابخانه‌های شتاب‌دهنده سخت‌افزاری
• 76. آینده دقت ترکیبی
• 77. روندهای نوظهور در دقت ترکیبی
• 78. پیشرفت‌های سخت‌افزاری آینده
• 79. تاثیر دقت ترکیبی بر هوش مصنوعی عمومی (AGI)
• 80. آموزش دقت ترکیبی (Mixed Precision Training)
• 81. تکنیک‌های پیشرفته دقت ترکیبی
• 82. بررسی دقیق‌تر انواع داده (FP8, FP6)
• 83. تکنیک‌های کاهش پیچیدگی محاسباتی
• 84. شبیه‌سازی تاثیر دقت ترکیبی
• 85. ارزیابی عملکرد در سناریوهای مختلف
• 86. مقایسه عملکرد در بنچمارک‌های استاندارد
• 87. تحلیل حساسیت دقت ترکیبی به هایپرپارامترها
• 88. بهینه‌سازی خودکار دقت ترکیبی
• 89. استراتژی‌های انتقال دقت (Precision Transfer Strategies)
• 90. کاربرد دقت ترکیبی در یادگیری تقویتی (Reinforcement Learning)
• 91. کاربرد دقت ترکیبی در مدل‌های گراف (Graph Neural Networks)
• 92. کاربرد دقت ترکیبی در مدل‌های زمان-سری (Time-Series Models)
• 93. تاثیر دقت ترکیبی بر مقیاس‌پذیری مدل‌ها
• 94. ملاحظات امنیتی در دقت ترکیبی
• 95. برنامه‌ریزی برای پیاده‌سازی دقت ترکیبی
• 96. منابع برای یادگیری بیشتر
• 97. پرسش و پاسخ و رفع اشکال
• 98. جمع‌بندی و توصیه‌های نهایی