فلش‌کارت‌های آموزشی مقدمه‌ای بر محاسبات در الگوریتم‌های بهینه‌سازی برای شبکه‌های عصبی

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مقدمه‌ای بر محاسبات در الگوریتم‌های بهینه‌سازی برای شبکه‌های عصبی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر شبکه‌های عصبی
• 2. مبانی یادگیری ماشین
• 3. هدف بهینه‌سازی در شبکه‌های عصبی
• 4. چالش‌های بهینه‌سازی شبکه‌های عصبی
• 5. انواع شبکه‌های عصبی
• 6. معماری‌های متداول شبکه‌های عصبی
• 7. تابع هزینه (Loss Function)
• 8. مفهوم گرادیان
• 9. محاسبه گرادیان: روش تحلیلی
• 10. محاسبه گرادیان: روش عددی
• 11. روش پس‌انتشار (Backpropagation)
• 12. کاربرد پس‌انتشار در شبکه‌های عصبی
• 13. مراحل الگوریتم پس‌انتشار
• 14. پیاده‌سازی پس‌انتشار
• 15. مشکلات پس‌انتشار
• 16. مقدمه‌ای بر الگوریتم‌های بهینه‌سازی
• 17. تفاوت بهینه‌سازی و یادگیری
• 18. انواع الگوریتم‌های بهینه‌سازی
• 19. بهینه‌سازی مبتنی بر گرادیان
• 20. مفهوم نرخ یادگیری (Learning Rate)
• 21. تنظیم نرخ یادگیری
• 22. نرخ یادگیری ثابت
• 23. نرخ یادگیری کاهشی
• 24. نرخ یادگیری تطبیقی
• 25. الگوریتم نزول گرادیان (Gradient Descent)
• 26. مزایای نزول گرادیان
• 27. معایب نزول گرادیان
• 28. نزول گرادیان دسته‌ای (Batch Gradient Descent)
• 29. نزول گرادیان تصادفی (Stochastic Gradient Descent - SGD)
• 30. نزول گرادیان دسته‌ای کوچک (Mini-batch Gradient Descent)
• 31. مقایسه روش‌های مختلف نزول گرادیان
• 32. مفهوم مومنتوم (Momentum)
• 33. الگوریتم نزول گرادیان با مومنتوم
• 34. نحوه عملکرد مومنتوم
• 35. تنظیم پارامتر مومنتوم
• 36. الگوریتم Adagrad
• 37. نحوه عملکرد Adagrad
• 38. مزایای Adagrad
• 39. معایب Adagrad
• 40. الگوریتم Adadelta
• 41. نحوه عملکرد Adadelta
• 42. مقایسه Adagrad و Adadelta
• 43. الگوریتم RMSprop
• 44. نحوه عملکرد RMSprop
• 45. مقایسه RMSprop با Adagrad و Adadelta
• 46. الگوریتم Adam
• 47. نحوه عملکرد Adam
• 48. مزایای Adam
• 49. تنظیم پارامترهای Adam
• 50. مقایسه Adam با الگوریتم‌های قبلی
• 51. الگوریتم AdamW
• 52. تفاوت AdamW با Adam
• 53. کاربرد AdamW
• 54. الگوریتم Nadam
• 55. نحوه عملکرد Nadam
• 56. مقایسه Nadam با Adam
• 57. الگوریتم Admax
• 58. نحوه عملکرد Admax
• 59. کاربرد Admax
• 60. الگوریتم AMSGrad
• 61. نحوه عملکرد AMSGrad
• 62. مزایای AMSGrad
• 63. الگوریتم‌های بهینه‌سازی دوم مرتبه
• 64. مفهوم ماتریس هسین
• 65. الگوریتم نیوتن (Newton's Method)
• 66. مزایای روش نیوتن
• 67. معایب روش نیوتن
• 68. الگوریتم شبه نیوتن (Quasi-Newton Methods)
• 69. الگوریتم BFGS
• 70. الگوریتم L-BFGS
• 71. مقایسه الگوریتم‌های اول مرتبه و دوم مرتبه
• 72. بهینه‌سازی بدون گرادیان
• 73. الگوریتم بهینه‌سازی تکاملی (Evolutionary Optimization)
• 74. الگوریتم ژنتیک (Genetic Algorithm)
• 75. الگوریتم بهینه‌سازی ازدحام ذرات (Particle Swarm Optimization - PSO)
• 76. الگوریتم بهینه‌سازی کلونی مورچگان (Ant Colony Optimization - ACO)
• 77. مقایسه الگوریتم‌های بهینه‌سازی بدون گرادیان با مبتنی بر گرادیان
• 78. مفهوم بهینه‌سازی محدود (Constrained Optimization)
• 79. انواع محدودیت‌ها
• 80. روش ضرایب لاگرانژ
• 81. روش جریمه (Penalty Methods)
• 82. روش‌های سد (Barrier Methods)
• 83. کاربرد بهینه‌سازی محدود در شبکه‌های عصبی
• 84. بهینه‌سازی چند هدفه (Multi-objective Optimization)
• 85. مفهوم مرز پارتو (Pareto Frontier)
• 86. الگوریتم‌های بهینه‌سازی چند هدفه
• 87. کاربرد بهینه‌سازی چند هدفه در شبکه‌های عصبی
• 88. مفهوم بیش‌برازش (Overfitting)
• 89. روش‌های تنظیم (Regularization)
• 90. L1 Regularization
• 91. L2 Regularization
• 92. Dropout
• 93. Batch Normalization
• 94. Layer Normalization
• 95. Instance Normalization
• 96. Group Normalization
• 97. Early Stopping
• 98. Data Augmentation
• 99. مفهوم کم‌برازش (Underfitting)
• 100. علل کم‌برازش