فلش‌کارت‌های آموزشی ارزیابی مدل‌های طبقه‌بندی با استفاده از منحنی ROC و AUC: رویکرد عملی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ارزیابی مدل‌های طبقه‌بندی با استفاده از منحنی ROC و AUC: رویکرد عملی

موضوع کلی: ارزیابی سیستم‌های هوش مصنوعی

موضوع میانی: ارزیابی منحنی ROC و AUC

📋 سرفصل‌های دوره

• 1. مقدمه: اهمیت ارزیابی مدل‌های طبقه‌بندی
• 2. کشف مدل‌های طبقه‌بندی: چالش‌ها و نیازها
• 3. چرا منحنی ROC؟ معرفی معیار ارزیابی
• 4. مفهوم منحنی مشخصه عملکرد گیرنده (ROC)
• 5. درک نرخ مثبت واقعی (TPR)
• 6. درک نرخ مثبت کاذب (FPR)
• 7. رسم منحنی ROC: گام به گام
• 8. مثال عملی: رسم منحنی ROC با پایتون
• 9. مفهوم سطح زیر منحنی (AUC)
• 10. اهمیت AUC به عنوان یک شاخص کلی
• 11. تفسیر مقادیر AUC: از ضعیف تا عالی
• 12. مقایسه مدل‌ها با استفاده از AUC
• 13. کاربرد منحنی ROC و AUC در حوزه‌های مختلف
• 14. مثال واقعی: تشخیص بیماری با مدل طبقه‌بندی
• 15. مثال واقعی: تشخیص اسپم در ایمیل‌ها
• 16. مثال واقعی: پیش‌بینی ریزش مشتری
• 17. محدودیت‌های منحنی ROC و AUC
• 18. زمانی که داده‌ها نامتعادل هستند: چه کنیم؟
• 19. روش‌های جایگزین برای داده‌های نامتعادل
• 20. مفهوم منحنی Precision-Recall
• 21. مقایسه منحنی ROC و منحنی Precision-Recall
• 22. انتخاب منحنی مناسب: ROC در مقابل Precision-Recall
• 23. پیاده‌سازی عملی: محاسبه AUC با کتابخانه‌های پایتون
• 24. نکات پیشرفته در ارزیابی مدل: اعتبارسنجی متقابل
• 25. ارزیابی مدل در طول فرآیند آموزش
• 26. نظارت بر عملکرد مدل در زمان واقعی
• 27. حفظ و به‌روزرسانی مدل‌های طبقه‌بندی
• 28. اهمیت انتخاب آستانه (Threshold) در طبقه‌بندی
• 29. تأثیر انتخاب آستانه بر TPR و FPR
• 30. بهینه‌سازی آستانه برای اهداف خاص
• 31. مثال: انتخاب آستانه بهینه برای مدل تشخیص
• 32. تحلیل حساسیت مدل به تغییرات ورودی
• 33. مفهوم وراثت ویژگی (Feature Importance)
• 34. ارتباط وراثت ویژگی با ارزیابی مدل
• 35. تجسم وراثت ویژگی
• 36. تکنیک‌های کاهش ابعاد در ارزیابی مدل
• 37. کاربرد PCA در ارزیابی مدل‌های طبقه‌بندی
• 38. کاربرد t-SNE در تجسم و ارزیابی
• 39. پیامدهای خطاهای طبقه‌بندی: هزینه اشتباه
• 40. تحلیل هزینه-فایده در انتخاب مدل
• 41. ایجاد ماتریس هزینه (Cost Matrix)
• 42. استفاده از ماتریس هزینه در ارزیابی
• 43. مفهوم خطای نوع اول (Type I Error)
• 44. مفهوم خطای نوع دوم (Type II Error)
• 45. ارتباط خطاهای نوع اول و دوم با ROC
• 46. مدل‌های طبقه‌بندی دودویی در مقابل چندکلاسه
• 47. ارزیابی مدل‌های طبقه‌بندی چندکلاسه
• 48. تعمیم منحنی ROC به چندکلاسه
• 49. استراتژی‌های One-vs-Rest برای چندکلاسه
• 50. استراتژی‌های One-vs-One برای چندکلاسه
• 51. چالش‌های ارزیابی مدل‌های چندکلاسه نامتعادل
• 52. مفهوم ROC Micro-average
• 53. مفهوم ROC Macro-average
• 54. انتخاب بین Micro-average و Macro-average
• 55. نکات عملی برای تفسیر ROC چندکلاسه
• 56. ارزیابی مدل‌های سری زمانی: چالش‌های خاص
• 57. کاربرد ROC در مدل‌های سری زمانی
• 58. ارزیابی مدل‌های یادگیری تقویتی: رویکردهای متفاوت
• 59. مفهوم پاداش (Reward) در یادگیری تقویتی
• 60. ارزیابی عملکرد عامل (Agent)
• 61. نقش شبیه‌سازی در ارزیابی مدل‌های RL
• 62. معیارهای ارزیابی برای مدل‌های RL
• 63. تأثیر پارامترهای مدل بر منحنی ROC
• 64. تأثیر داده‌های آموزشی بر منحنی ROC
• 65. تأثیر داده‌های تست بر منحنی ROC
• 66. روش‌های جلوگیری از بیش‌برازش (Overfitting)
• 67. چگونه بیش‌برازش بر ROC تأثیر می‌گذارد؟
• 68. تشخیص بیش‌برازش با استفاده از ROC
• 69. روش‌های جلوگیری از کم‌برازش (Underfitting)
• 70. چگونه کم‌برازش بر ROC تأثیر می‌گذارد؟
• 71. تشخیص کم‌برازش با استفاده از ROC
• 72. ارزیابی مقایسه‌ای مدل‌ها: بیش از یک مدل
• 73. نکات کلیدی برای مقایسه مدل‌های متعدد
• 74. مدیریت خطاها در فرآیند ارزیابی
• 75. ابزارها و پلتفرم‌های ارزیابی مدل
• 76. کاربرد ابزارهای بصری برای ROC
• 77. تجسم نتایج ارزیابی در داشبوردها
• 78. توصیه‌هایی برای گزارش‌دهی نتایج ارزیابی
• 79. نکات اخلاقی در ارزیابی مدل‌های طبقه‌بندی
• 80. سوگیری در داده‌ها و تأثیر آن بر ROC
• 81. سوگیری در الگوریتم‌ها و تأثیر آن بر ROC
• 82. ارزیابی مدل‌ها برای عدالت (Fairness)
• 83. معیارهای ارزیابی مدل برای عدالت
• 84. کاربرد ROC در تشخیص ناهنجاری
• 85. شناسایی ناهنجاری‌ها با ROC
• 86. ارزیابی مدل‌های پیش‌بینی در رگرسیون (مقایسه با طبقه‌بندی)
• 87. مفاهیم پایه رگرسیون
• 88. تفاوت اساسی رگرسیون و طبقه‌بندی
• 89. چالش‌های ارزیابی مدل‌های ترکیبی
• 90. مطالعه موردی: ارزیابی یک مدل طبقه‌بندی پیچیده
• 91. تجزیه و تحلیل نتایج مطالعه موردی
• 92. درس‌های آموخته شده از مطالعه موردی
• 93. آینده ارزیابی مدل‌های طبقه‌بندی
• 94. نوآوری‌های آتی در معیارهای ارزیابی
• 95. توصیه‌های نهایی برای ارزیابی مؤثر
• 96. تمرین عملی: ارزیابی مجموعه‌ای از مدل‌ها
• 97. کاربرد عملی: تصمیم‌گیری بر اساس ارزیابی
• 98. ملاحظات نهایی در انتخاب مدل نهایی
• 99. اهمیت مستندسازی فرآیند ارزیابی