فلش‌کارت‌های آموزشی بهینه‌سازی شبکه‌های عصبی: تکنیک‌ها و الگوریتم‌ها

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب بهینه‌سازی شبکه‌های عصبی: تکنیک‌ها و الگوریتم‌ها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی مصنوعی (Artificial Neural Networks)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه به بهینه‌سازی شبکه‌های عصبی
• 2. چرا بهینه‌سازی شبکه‌های عصبی مهم است؟
• 3. انواع شبکه‌های عصبی و نیازهای بهینه‌سازی آن‌ها
• 4. اهداف بهینه‌سازی شبکه‌های عصبی
• 5. مبانی گرادیان نزولی
• 6. تابع هزینه (Loss Function)
• 7. گرادیان تابع هزینه
• 8. مشتقات جزئی و بردار گرادیان
• 9. قانون زنجیره‌ای (Chain Rule) در پس‌انتشار (Backpropagation)
• 10. الگوریتم گرادیان نزولی استاندارد (SGD)
• 11. مزایا و معایب SGD
• 12. بهینه‌سازهای مبتنی بر مومنتوم (Momentum)
• 13. مومنتوم شتاب‌دار (Accelerated Momentum)
• 14. بهینه‌ساز AdaGrad
• 15. مزایا و معایب AdaGrad
• 16. بهینه‌ساز RMSProp
• 17. مقایسه AdaGrad و RMSProp
• 18. بهینه‌ساز Adam
• 19. مزایا و معایب Adam
• 20. بهینه‌ساز AdamW
• 21. تفاوت Adam و AdamW
• 22. بهینه‌ساز AdaDelta
• 23. بهینه‌ساز Nadam
• 24. بهینه‌ساز Adamax
• 25. بهینه‌ساز AMSGrad
• 26. مقایسه بهینه‌سازهای تطبیقی (Adaptive Optimizers)
• 27. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 28. کاهش نرخ یادگیری گام به گام (Step Decay)
• 29. کاهش نرخ یادگیری نمایی (Exponential Decay)
• 30. کاهش نرخ یادگیری کسینوسی (Cosine Annealing)
• 31. کاهش نرخ یادگیری مبتنی بر زمان (Time-Based Decay)
• 32. کاهش نرخ یادگیری مبتنی بر اعتبار (Validation-Based Decay)
• 33. تنظیم خودکار نرخ یادگیری (Learning Rate Finder)
• 34. اهمیت مقیاس‌بندی داده‌ها (Data Scaling)
• 35. نرمال‌سازی (Normalization)
• 36. استانداردسازی (Standardization)
• 37. مقیاس‌بندی Min-Max
• 38. تاثیر مقیاس‌بندی بر بهینه‌سازی
• 39. تنظیم اولیه وزن‌ها (Weight Initialization)
• 40. مقداردهی تصادفی (Random Initialization)
• 41. مقداردهی صفر (Zero Initialization)
• 42. مقداردهی Xavier/Glorot
• 43. مقداردهی He
• 44. مقایسه روش‌های مقداردهی اولیه وزن
• 45. مفهوم بیش‌برازش (Overfitting)
• 46. مفهوم کم‌برازش (Underfitting)
• 47. روش‌های منظم‌سازی (Regularization)
• 48. منظم‌سازی L1
• 49. منظم‌سازی L2
• 50. ترکیب منظم‌سازی L1 و L2 (Elastic Net)
• 51. منظم‌سازی Dropout
• 52. نحوه عملکرد Dropout
• 53. تنظیم نرخ Dropout
• 54. منظم‌سازی Batch Normalization
• 55. نحوه عملکرد Batch Normalization
• 56. مزایا و معایب Batch Normalization
• 57. منظم‌سازی Layer Normalization
• 58. منظم‌سازی Instance Normalization
• 59. منظم‌سازی Group Normalization
• 60. مقایسه روش‌های نرمال‌سازی لایه
• 61. تکنیک‌های توقف زودهنگام (Early Stopping)
• 62. پایش تابع هزینه یا معیار ارزیابی روی مجموعه اعتبارسنجی
• 63. تنظیم پارامترهای توقف زودهنگام
• 64. مفهوم گرادیان پراکنده (Sparse Gradients)
• 65. مفهوم گرادیان انفجاری (Exploding Gradients)
• 66. مفهوم گرادیان محوشونده (Vanishing Gradients)
• 67. روش‌های مقابله با گرادیان انفجاری
• 68. روش‌های مقابله با گرادیان محوشونده
• 69. استفاده از توابع فعال‌سازی مناسب (ReLU, Leaky ReLU, ELU, SELU)
• 70. تکنیک‌های بهینه‌سازی برای شبکه‌های عمیق
• 71. بهینه‌سازی حافظه (Memory Optimization)
• 72. کوانتیزاسیون (Quantization)
• 73. کوانتیزاسیون باینری (Binary Quantization)
• 74. کوانتیزاسیون ترنری (Ternary Quantization)
• 75. کوانتیزاسیون 8 بیتی (INT8 Quantization)
• 76. مفهوم گرادیان تقریبی (Approximate Gradients)
• 77. تقطیر دانش (Knowledge Distillation)
• 78. آموزش با استفاده از مدل معلم (Teacher Model)
• 79. آموزش با استفاده از مدل دانش‌آموز (Student Model)
• 80. بهینه‌سازی پارامترهای ابرپارامتر (Hyperparameter Optimization)
• 81. جستجوی شبکه‌ای (Grid Search)
• 82. جستجوی تصادفی (Random Search)
• 83. بهینه‌سازی بیزی (Bayesian Optimization)
• 84. الگوریتم‌های ژنتیک (Genetic Algorithms)
• 85. روش‌های مبتنی بر گرادیان برای بهینه‌سازی ابرپارامتر
• 86. تنظیم خودکار ابرپارامتر (AutoML)
• 87. تکنیک‌های بهینه‌سازی برای مدل‌های توزیع‌شده (Distributed Training)
• 88. موازی‌سازی داده (Data Parallelism)
• 89. موازی‌سازی مدل (Model Parallelism)
• 90. موازی‌سازی ترکیبی (Hybrid Parallelism)
• 91. الگوریتم‌های بهینه‌سازی برای سخت‌افزارهای خاص (GPU, TPU)
• 92. بهینه‌سازی برای سخت‌افزارهای کم‌مصرف (Edge Devices)
• 93. تکنیک‌های فشرده‌سازی مدل (Model Compression)
• 94. هرس کردن (Pruning)
• 95. هرس کردن اتصالات (Connection Pruning)
• 96. هرس کردن نورون‌ها (Neuron Pruning)
• 97. هرس کردن کانال‌ها (Channel Pruning)
• 98. شناسایی اهمیت پارامترها
• 99. کاربرد بهینه‌سازی در معماری‌های خاص (CNN, RNN, Transformer)
• 100. بهینه‌سازی برای شبکه‌های کانولوشنال (CNN)