فلش‌کارت‌های آموزشی بهینه‌سازی بدون قید و شرط: گرادیان کاهشی و روش‌های نیوتن

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب بهینه‌سازی بدون قید و شرط: گرادیان کاهشی و روش‌های نیوتن

موضوع کلی: روش‌های بهینه‌سازی در علوم و مهندسی

موضوع میانی: مبانی و الگوریتم‌های بهینه‌سازی

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر بهینه‌سازی بدون قید
• 2. تعریف مسئله بهینه‌سازی بدون قید
• 3. تابع هدف
• 4. متغیرهای تصمیم
• 5. حل کننده بهینه
• 6. مفهوم گرادیان
• 7. محاسبه گرادیان
• 8. خاصیت گرادیان
• 9. مفهوم هسین
• 10. محاسبه ماتریس هسین
• 11. خاصیت ماتریس هسین
• 12. شرایط لازم مرتبه اول برای بهینگی
• 13. شرایط کافی مرتبه دوم برای بهینگی
• 14. انواع نقاط بهینه (محلی، سراسری، زینی)
• 15. مفهوم نزول
• 16. جهت نزول
• 17. گرادیان نزولی
• 18. انتخاب گام در گرادیان نزولی
• 19. روش گرادیان نزولی با گام ثابت
• 20. روش گرادیان نزولی با گام کاهشی
• 21. روش گرادیان نزولی با جستجوی خطی
• 22. تابع هدف در جستجوی خطی
• 23. شرایط وولف
• 24. شرایط ارماژو
• 25. پیاده‌سازی جستجوی خطی
• 26. همگرایی گرادیان نزولی
• 27. نرخ همگرایی گرادیان نزولی
• 28. عوامل مؤثر بر نرخ همگرایی
• 29. نویز در داده‌ها و گرادیان نزولی
• 30. کاربرد گرادیان نزولی در یادگیری ماشین
• 31. گرادیان نزولی تصادفی (SGD)
• 32. مینی بچ گرادیان نزولی (Mini-batch SGD)
• 33. تفاوت SGD و گرادیان نزولی دسته‌ای
• 34. مزایای SGD
• 35. معایب SGD
• 36. روش‌های شتاب‌دار در گرادیان نزولی
• 37. مومنتوم (Momentum)
• 38. گرادیان نزولی با مومنتوم
• 39. کاربرد مومنتوم
• 40. روش‌های تطبیقی در گرادیان نزولی
• 41. آداگراد (Adagrad)
• 42. آدام (Adam)
• 43. RMSprop
• 44. مقایسه روش‌های تطبیقی
• 45. محدودیت‌های گرادیان نزولی
• 46. گرادیان نزولی در توابع غیرمحدب
• 47. گرادیان نزولی در ابعاد بالا
• 48. مقدمه ای بر روش‌های نیوتن
• 49. ایده اصلی روش نیوتن
• 50. فرمول تکرار روش نیوتن
• 51. محاسبه گام در روش نیوتن
• 52. ماتریس هسین معکوس
• 53. پیاده‌سازی روش نیوتن
• 54. مزایای روش نیوتن
• 55. معایب روش نیوتن
• 56. شرایط همگرایی روش نیوتن
• 57. همگرایی سریع روش نیوتن
• 58. روش نیوتن در توابع غیرمحدب
• 59. روش نیوتن در ابعاد بالا
• 60. تفاوت روش نیوتن و گرادیان نزولی
• 61. روش شبه نیوتن (Quasi-Newton methods)
• 62. ایده اصلی روش شبه نیوتن
• 63. جایگزینی ماتریس هسین معکوس
• 64. روش BFGS
• 65. روش L-BFGS
• 66. مقایسه روش‌های شبه نیوتن
• 67. مزایای روش‌های شبه نیوتن
• 68. معایب روش‌های شبه نیوتن
• 69. کاربرد روش نیوتن در بهینه‌سازی
• 70. کاربرد روش نیوتن در یادگیری ماشین
• 71. ملاحظات عددی در روش‌های نیوتن
• 72. حساب دیفرانسیل عددی
• 73. تخمین ماتریس هسین
• 74. تخمین معکوس ماتریس هسین
• 75. حل سیستم خطی در روش نیوتن
• 76. بهینه‌سازی بدون قید با محدودیت‌های خاص
• 77. توابع محدب
• 78. خواص توابع محدب
• 79. روش‌های بهینه‌سازی برای توابع محدب
• 80. مفهوم نقطه نعلی
• 81. روش‌های یافتن نقطه نعلی
• 82. پیاده‌سازی الگوریتم‌های بهینه‌سازی
• 83. ارزیابی عملکرد الگوریتم‌ها
• 84. تنظیم پارامترهای الگوریتم‌ها
• 85. مثال‌های عملی از بهینه‌سازی بدون قید
• 86. کاربرد در مسائل مهندسی
• 87. کاربرد در مسائل مالی
• 88. کاربرد در علوم داده
• 89. مروری بر پیشرفت‌های اخیر در بهینه‌سازی بدون قید
• 90. روش‌های مبتنی بر یادگیری تقویتی
• 91. روش‌های موازی‌سازی در بهینه‌سازی
• 92. روش‌های توزیع‌شده در بهینه‌سازی
• 93. چالش‌های آینده در بهینه‌سازی بدون قید
• 94. جمع‌بندی و نتیجه‌گیری