فلش‌کارت‌های آموزشی استراتژی‌های پیشرفته تنظیم هایپرپارامتر برای شبکه‌های عصبی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استراتژی‌های پیشرفته تنظیم هایپرپارامتر برای شبکه‌های عصبی

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: تنظیم هایپرپارامتر (Hyperparameter Tuning)

📋 سرفصل‌های دوره

• 1. فصل ۱: مقدمه بر تنظیم هایپرپارامتر
• 2. فصل ۲: اهمیت هایپرپارامترها در شبکه‌های عصبی
• 3. فصل ۳: انواع هایپرپارامترهای رایج
• 4. فصل ۴: معیارهای ارزیابی مدل
• 5. فصل ۵: اعتبارسنجی متقابل (Cross-validation)
• 6. فصل ۶: تنظیم هایپرپارامتر مبتنی بر جستجوی شبکه‌ای (Grid Search)
• 7. فصل ۷: تنظیم هایپرپارامتر مبتنی بر جستجوی تصادفی (Random Search)
• 8. فصل ۸: معرفی روش‌های بهینه‌سازی بیزی
• 9. فصل ۹: فرایند گوسی (Gaussian Processes)
• 10. فصل ۱۰: تخمین تابع سود (Acquisition Function)
• 11. فصل ۱۱: الگوریتم بهینه‌سازی Expected Improvement (EI)
• 12. فصل ۱۲: الگوریتم بهینه‌سازی احتمالی مطلوبیت (Probability of Improvement - PI)
• 13. فصل ۱۳: الگوریتم بهینه‌سازی حد پایین اطمینان (Lower Confidence Bound - LCB)
• 14. فصل ۱۴: ابزارها و کتابخانه‌های تنظیم هایپرپارامتر
• 15. فصل ۱۵: معرفی Optuna
• 16. فصل ۱۶: معرفی Hyperopt
• 17. فصل ۱۷: معرفی Scikit-optimize
• 18. فصل ۱۸: معرفی Keras Tuner
• 19. فصل ۱۹: تنظیم هایپرپارامتر برای شبکه‌های عصبی کانولوشنال (CNN)
• 20. فصل ۲۰: تنظیم هایپرپارامتر برای شبکه‌های عصبی بازگشتی (RNN)
• 21. فصل ۲۱: تنظیم هایپرپارامتر برای شبکه‌های عصبی ترانسفورمر (Transformer)
• 22. فصل ۲۲: مقایسه روش‌های بهینه‌سازی بیزی
• 23. فصل ۲۳: ارزیابی کارایی روش‌های مختلف
• 24. فصل ۲۴: تاثیر نرخ یادگیری بر عملکرد مدل
• 25. فصل ۲۵: تنظیم بهینه اندازه دسته‌بندی (Batch Size)
• 26. فصل ۲۶: تاثیر تابع فعال‌سازی بر خروجی
• 27. فصل ۲۷: تنظیم هایپرپارامترهای لایه‌های پنهان
• 28. فصل ۲۸: تنظیم تعداد لایه‌های پنهان
• 29. فصل ۲۹: تاثیر تعداد نورون‌ها در هر لایه
• 30. فصل ۳۰: تنظیم پارامترهای رگولاریزاسیون (L1, L2)
• 31. فصل ۳۱: تنظیم پارامترهای Dropout
• 32. فصل ۳۲: تنظیم بهینه زمان توقف زودهنگام (Early Stopping)
• 33. فصل ۳۳: تنظیم پارامترهای بهینه‌ساز (Optimizer)
• 34. فصل ۳۴: معرفی بهینه‌ساز Adam
• 35. فصل ۳۵: معرفی بهینه‌ساز SGD
• 36. فصل ۳۶: معرفی بهینه‌ساز RMSprop
• 37. فصل ۳۷: تنظیم فاکتورهای مربوط به بهینه‌سازها
• 38. فصل ۳۸: تنظیم پارامترهای مربوط به Momentum
• 39. فصل ۳۹: تنظیم پارامترهای مربوط به وزن‌دهی (Weight Decay)
• 40. فصل ۴۰: استراتژی‌های تنظیم هایپرپارامتر پویا
• 41. فصل ۴۱: تنظیم هایپرپارامتر در طول آموزش
• 42. فصل ۴۲: استفاده از یادگیری تقویتی برای تنظیم هایپرپارامتر
• 43. فصل ۴۳: معرفی قابلیتهای پیشرفته Optuna
• 44. فصل ۴۴: زمان‌بندی نرخ یادگیری (Learning Rate Scheduling)
• 45. فصل ۴۵: معرفی Step Decay
• 46. فصل ۴۶: معرفی Exponential Decay
• 47. فصل ۴۷: معرفی Cosine Annealing
• 48. فصل ۴۸: تنظیم پارامترهای زمان‌بندی نرخ یادگیری
• 49. فصل ۴۹: تنظیم پارامترهای گرادیان مرکزی (Gradient Clipping)
• 50. فصل ۵۰: تنظیم پارامترهای Batch Normalization
• 51. فصل ۵۱: تنظیم پارامترهای Layer Normalization
• 52. فصل ۵۲: تنظیم پارامترهای Group Normalization
• 53. فصل ۵۳: تاثیر انواع Normalization بر آموزش
• 54. فصل ۵۴: تنظیم هایپرپارامتر برای مدل‌های Ensemble
• 55. فصل ۵۵: ترکیب مدل‌ها با وزن‌دهی متفاوت
• 56. فصل ۵۶: استفاده از Bagging و Boosting
• 57. فصل ۵۷: تنظیم هایپرپارامتر برای یادگیری انتقالی (Transfer Learning)
• 58. فصل ۵۸: تنظیم لایه‌های بالایی مدل ترانسفر
• 59. فصل ۵۹: تنظیم نرخ یادگیری برای لایه‌های مختلف
• 60. فصل ۶۰: تنظیم هایپرپارامتر در شبکه‌های مولد (Generative Models)
• 61. فصل ۶۱: تنظیم هایپرپارامتر در مدل‌های GAN
• 62. فصل ۶۲: تنظیم هایپرپارامتر در مدل‌های VAE
• 63. فصل ۶۳: تنظیم هایپرپارامتر در مدل‌های Diffusion
• 64. فصل ۶۴: چالش‌های تنظیم هایپرپارامتر در داده‌های کم
• 65. فصل ۶۵: تکنیک‌های داده‌افزایی (Data Augmentation)
• 66. فصل ۶۶: تنظیم هایپرپارامتر با استفاده از داده‌افزایی
• 67. فصل ۶۷: ارتباط بین هایپرپارامترها و معماری شبکه
• 68. فصل ۶۸: بهینه‌سازی همزمان معماری و هایپرپارامترها (NAS)
• 69. فصل ۶۹: معرفی Neural Architecture Search (NAS)
• 70. فصل ۷۰: روش‌های جستجو در NAS
• 71. فصل ۷۱: روش‌های ارزیابی در NAS
• 72. فصل ۷۲: چالش‌های محاسباتی NAS
• 73. فصل ۷۳: ابزارهای NAS
• 74. فصل ۷۴: تنظیم هایپرپارامتر برای مدل‌های بزرگ
• 75. فصل ۷۵: کاهش حافظه مورد نیاز در طول آموزش
• 76. فصل ۷۶: موازی‌سازی داده و مدل
• 77. فصل ۷۷: تنظیم هایپرپارامتر در محیط‌های توزیع شده
• 78. فصل ۷۸: خطاهای رایج در تنظیم هایپرپارامتر
• 79. فصل ۷۹: مشکل بیش‌برازش (Overfitting)
• 80. فصل ۸۰: مشکل کم‌برازش (Underfitting)
• 81. فصل ۸۱: تشخیص و رفع بیش‌برازش
• 82. فصل ۸۲: تشخیص و رفع کم‌برازش
• 83. فصل ۸۳: اعتبار سنجی نتایج تنظیم هایپرپارامتر
• 84. فصل ۸۴: تفسیر نتایج بهینه‌سازی بیزی
• 85. فصل ۸۵: visualize کردن فضای هایپرپارامتر
• 86. فصل ۸۶: تحلیل حساسیت به هایپرپارامترها
• 87. فصل ۸۷: استراتژی‌های اکتشافی در تنظیم هایپرپارامتر
• 88. فصل ۸۸: استفاده از دانش دامنه (Domain Knowledge)
• 89. فصل ۸۹: تنظیم هایپرپارامتر برای مسائل خاص
• 90. فصل ۹۰: تنظیم هایپرپارامتر در پردازش زبان طبیعی (NLP)
• 91. فصل ۹۱: تنظیم هایپرپارامتر در بینایی کامپیوتر (Computer Vision)
• 92. فصل ۹۲: تنظیم هایپرپارامتر در سیستم‌های توصیه‌گر
• 93. فصل ۹۳: بررسی موردی: تنظیم هایپرپارامتر برای ImageNet
• 94. فصل ۹۴: بررسی موردی: تنظیم هایپرپارامتر برای SQuAD
• 95. فصل ۹۵: روندهای آینده در تنظیم هایپرپارامتر
• 96. فصل ۹۶: اتوماسیون کامل تنظیم هایپرپارامتر
• 97. فصل ۹۷: تنظیم هایپرپارامتر خودکار و تطبیقی
• 98. فصل ۹۸: اخلاقیات و مسئولیت‌ها در تنظیم هایپرپارامتر
• 99. فصل ۹۹: درس آموخته‌ها از پروژه‌های واقعی
• 100. فصل ۱۰۰: جمع‌بندی و گام‌های بعدی