دوره کاربرد Mixed Precision در کاهش زمان و هزینه آموزش همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاربرد Mixed Precision در کاهش زمان و هزینه آموزش

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری عمیق و شبکه‌های عصبی
• 2. مبانی شبکه‌های عصبی مصنوعی
• 3. معماری‌های پرکاربرد شبکه‌های عصبی
• 4. عملگرهای پایه در شبکه‌های عصبی
• 5. توابع فعال‌سازی و نقش آن‌ها
• 6. نحوه آموزش شبکه‌های عصبی: گرادیان کاهشی
• 7. بهینه‌سازهای رایج در آموزش شبکه‌های عصبی
• 8. تنظیم نرخ یادگیری و روش‌های آن
• 9. تنظیم‌گری (Regularization) برای جلوگیری از بیش‌برازش
• 10. روش‌های مختلف تنظیم‌گری: L1 و L2
• 11. شبکه‌های عصبی کانولوشنی (CNN)
• 12. معماری‌های معروف CNN
• 13. شبکه‌های عصبی بازگشتی (RNN)
• 14. کاربرد RNN در پردازش زبان طبیعی
• 15. شبکه‌های حافظه کوتاه‌مدت طولانی (LSTM)
• 16. شبکه‌های حافظه کوتاه‌مدت طولانی (GRU)
• 17. ترانسفورمرها و معماری Attention
• 18. کاربرد ترانسفورمرها در NLP
• 19. مقدمه‌ای بر محاسبات عددی و دقت ممیز شناور
• 20. اعداد ممیز شناور در رایانه‌ها
• 21. استاندارد IEEE 754
• 22. انواع دقت در محاسبات ممیز شناور: دقت منفرد و دوگانه
• 23. فرمت حافظه FP32 (Float32)
• 24. فرمت حافظه FP16 (Float16)
• 25. فرمت حافظه BF16 (BFloat16)
• 26. مقایسه دقت FP32 و FP16
• 27. مقایسه دقت FP16 و BF16
• 28. مزایای استفاده از دقت‌های پایین‌تر
• 29. کاهش مصرف حافظه با Mixed Precision
• 30. سرعت بخشیدن به محاسبات با Mixed Precision
• 31. کاهش توان مصرفی با Mixed Precision
• 32. مفهوم Mixed Precision Training
• 33. نقش Mixed Precision در آموزش مدل‌های بزرگ
• 34. روش‌های پیاده‌سازی Mixed Precision
• 35. استفاده از کتابخانه‌های یادگیری عمیق برای Mixed Precision
• 36. TensorFlow و Mixed Precision
• 37. PyTorch و Mixed Precision
• 38. کلاس‌های مربوط به Mixed Precision در PyTorch
• 39. استفاده از `torch.cuda.amp`
• 40. استفاده از `autocast`
• 41. استفاده از `GradScaler`
• 42. استفاده از Mixed Precision در TensorFlow
• 43. APIهای مربوط به Mixed Precision در TensorFlow
• 44. `tf.keras.mixed_precision.set_global_policy`
• 45. تنظیم سیاست Mixed Precision
• 46. مثال عملی: آموزش یک مدل CNN با Mixed Precision
• 47. مثال عملی: آموزش یک مدل RNN با Mixed Precision
• 48. مثال عملی: آموزش یک مدل ترانسفورمر با Mixed Precision
• 49. تنظیمات پیشرفته Mixed Precision
• 50. تشخیص و رفع خطاهای رایج در Mixed Precision
• 51. تأثیر Mixed Precision بر دقت مدل
• 52. روش‌های حفظ دقت در Mixed Precision
• 53. تکنیک‌های مقیاس‌بندی گرادیان (Gradient Scaling)
• 54. مقیاس‌بندی گرادیان در PyTorch
• 55. مقیاس‌بندی گرادیان در TensorFlow
• 56. بهینه‌سازی سخت‌افزاری برای Mixed Precision
• 57. پردازنده‌های گرافیکی (GPU) و پشتیبانی از Mixed Precision
• 58. هسته‌های تنسور (Tensor Cores) در GPUهای NVIDIA
• 59. تأثیر هسته‌های تنسور بر سرعت Mixed Precision
• 60. سرورها و مراکز داده بهینه‌شده برای AI
• 61. کاهش هزینه‌های سخت‌افزاری با Mixed Precision
• 62. تأثیر Mixed Precision بر زمان آموزش
• 63. مثال‌های کاربردی از کاهش زمان آموزش
• 64. کاربرد Mixed Precision در تشخیص تصویر
• 65. کاربرد Mixed Precision در پردازش زبان طبیعی
• 66. کاربرد Mixed Precision در سیستم‌های توصیه‌گر
• 67. کاربرد Mixed Precision در مدل‌های مولد
• 68. کاربرد Mixed Precision در رباتیک
• 69. کاربرد Mixed Precision در داده‌های سری زمانی
• 70. کاربرد Mixed Precision در یادگیری تقویتی
• 71. کاربرد Mixed Precision در مدل‌های فیزیکی
• 72. کاربرد Mixed Precision در شبیه‌سازی‌های علمی
• 73. کاربرد Mixed Precision در تحلیل داده‌های بزرگ
• 74. کاربرد Mixed Precision در توسعه برنامه‌های AI
• 75. مطالعات موردی موفق در استفاده از Mixed Precision
• 76. بررسی فریم‌ورک‌های یادگیری عمیق و پشتیبانی از Mixed Precision
• 77. ملاحظات امنیتی در استفاده از Mixed Precision
• 78. آینده Mixed Precision در هوش مصنوعی
• 79. تحولات در دقت‌های محاسباتی
• 80. پیشرفت سخت‌افزارهای محاسباتی
• 81. نقش Mixed Precision در دموکراتیزه کردن AI
• 82. پایان‌نامه و پروژه‌های مرتبط با Mixed Precision
• 83. منابع تکمیلی برای یادگیری عمیق‌تر
• 84. مطالعه مقالات علمی در زمینه Mixed Precision
• 85. نکات کلیدی برای موفقیت در استفاده از Mixed Precision
• 86. جمع‌بندی و راهنمایی‌های نهایی