فلش‌کارت‌های آموزشی استفاده از پایتون برای اعتبارسنجی پیش‌پردازش داده در پروژه‌های یادگیری ماشین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده از پایتون برای اعتبارسنجی پیش‌پردازش داده در پروژه‌های یادگیری ماشین

موضوع کلی: اتوماسیون با پایتون

موضوع میانی: اتوماسیون در حوزه تست و اعتبارسنجی مدل‌های یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مقدمه به پایتون و یادگیری ماشین
• 2. نصب و راه‌اندازی محیط پایتون
• 3. آشنایی با کتابخانه‌های کلیدی (NumPy, Pandas)
• 4. ساختار داده‌های پایه در پایتون
• 5. کار با آرایه‌ها در NumPy
• 6. کار با DataFrame ها در Pandas
• 7. مفاهیم اصلی پیش‌پردازش داده
• 8. اهمیت اعتبارسنجی در پیش‌پردازش
• 9. انواع داده و چالش‌های مربوط به آن‌ها
• 10. شناسایی و مدیریت داده‌های گمشده
• 11. استراتژی‌های پر کردن داده‌های گمشده (میانگین، میانه، مد)
• 12. استراتژی‌های پر کردن پیشرفته (KNN Imputer)
• 13. شناسایی و مدیریت داده‌های پرت (Outliers)
• 14. روش‌های بصری برای تشخیص داده‌های پرت (Box Plot)
• 15. روش‌های آماری برای تشخیص داده‌های پرت (Z-score, IQR)
• 16. تکنیک‌های حذف داده‌های پرت
• 17. تکنیک‌های تبدیل داده‌های پرت
• 18. استانداردسازی داده‌ها (StandardScaler)
• 19. نرمال‌سازی داده‌ها (MinMaxScaler)
• 20. نرمال‌سازی Robust (RobustScaler)
• 21. رمزگذاری متغیرهای دسته‌ای (Categorical Variables)
• 22. رمزگذاری One-Hot Encoding
• 23. رمزگذاری Label Encoding
• 24. رمزگذاری Target Encoding
• 25. مدیریت داده‌های متنی (Text Data)
• 26. توکن‌سازی (Tokenization)
• 27. حذف کلمات توقف (Stop Words Removal)
• 28. ریشه‌یابی (Stemming) و لماتیزاسیون (Lemmatization)
• 29. نمایش متنی (TF-IDF)
• 30. نمایش متنی (Bag of Words)
• 31. استخراج ویژگی از داده‌های تاریخ و زمان
• 32. تبدیل تاریخ و زمان به ویژگی‌های عددی
• 33. شناسایی و مدیریت ویژگی‌های تکراری
• 34. کاهش ابعاد (Dimensionality Reduction)
• 35. مقدمه‌ای بر PCA (Principal Component Analysis)
• 36. پیاده‌سازی PCA با Scikit-learn
• 37. مقدمه‌ای بر t-SNE (t-distributed Stochastic Neighbor Embedding)
• 38. پیاده‌سازی t-SNE با Scikit-learn
• 39. اعتبارسنجی استراتژی‌های پیش‌پردازش
• 40. تقسیم داده به مجموعه‌های آموزش و آزمون
• 41. اعتبارسنجی متقاطع (Cross-Validation)
• 42. کاربرد اعتبارسنجی متقاطع برای ارزیابی مدل
• 43. اثر پیش‌پردازش بر عملکرد مدل
• 44. اعتبارسنجی توزیع داده‌ها پس از پیش‌پردازش
• 45. تست نرمال بودن توزیع داده‌ها
• 46. آزمون شاپیرو-ویلک (Shapiro-Wilk Test)
• 47. آزمون کولموگروف-اسمیرنوف (Kolmogorov-Smirnov Test)
• 48. اعتبارسنجی عدم وجود همبستگی بین ویژگی‌ها
• 49. محاسبه ماتریس همبستگی (Correlation Matrix)
• 50. نمودار حرارتی همبستگی (Correlation Heatmap)
• 51. تست‌های آماری برای همبستگی (Pearson, Spearman)
• 52. اعتبارسنجی عدم وجود بیش‌برازش (Overfitting)
• 53. نقش پیش‌پردازش در جلوگیری از بیش‌برازش
• 54. استفاده از اعتبارسنجی متقاطع برای شناسایی بیش‌برازش
• 55. تکنیک‌های منظم‌سازی (Regularization)
• 56. اعتبارسنجی انتخاب ویژگی (Feature Selection)
• 57. روش‌های فیلتر (Filter Methods)
• 58. روش‌های مبتنی بر Wrapper (Wrapper Methods)
• 59. روش‌های جاسازی شده (Embedded Methods)
• 60. نظارت بر اعتبارسنجی پیش‌پردازش در طول خط لوله
• 61. ساخت پایپ‌لاین‌های پیش‌پردازش با Scikit-learn
• 62. مدیریت نسخه‌های مختلف داده و پیش‌پردازش
• 63. پیاده‌سازی آزمون‌های A/B برای مقایسه استراتژی‌ها
• 64. نوشتن تابع‌های سفارشی برای اعتبارسنجی
• 65. مستندسازی فرآیند اعتبارسنجی
• 66. بهترین شیوه‌ها در اعتبارسنجی پیش‌پردازش
• 67. اشتباهات رایج در اعتبارسنجی پیش‌پردازش
• 68. استفاده از کتابخانه‌های دیگر (SciPy, Statsmodels)
• 69. اعتبارسنجی با داده‌های واقعی (Case Study 1)
• 70. اعتبارسنجی با داده‌های واقعی (Case Study 2)
• 71. اعتبارسنجی با داده‌های واقعی (Case Study 3)
• 72. کاربرد اعتبارسنجی در شناسایی سوگیری (Bias)
• 73. اعتبارسنجی برای اطمینان از قابل تعمیم بودن مدل
• 74. اعتبارسنجی گام به گام مراحل پیش‌پردازش
• 75. اعتبارسنجی تاثیر هر مرحله بر نتایج
• 76. استفاده از ابزارهای بصری برای درک فرآیند
• 77. نمودارهای توزیع قبل و بعد از پیش‌پردازش
• 78. نمودارهای پراکندگی (Scatter Plots) برای اعتبارسنجی
• 79. نمودارهای ستونی (Bar Plots) برای مقایسه
• 80. اعتبارسنجی دقت و صحت نتایج پیش‌پردازش
• 81. استفاده از چک‌لیست برای اعتبارسنجی
• 82. ملاحظات امنیتی در اعتبارسنجی داده‌ها
• 83. نقش اعتبارسنجی در قابلیت تکرارپذیری (Reproducibility)
• 84. اعتبارسنجی برای داده‌های ناهمگن (Heterogeneous Data)
• 85. استراتژی‌های اعتبارسنجی برای داده‌های سری زمانی
• 86. استراتژی‌های اعتبارسنجی برای داده‌های مکانی
• 87. یادگیری عمیق و اعتبارسنجی پیش‌پردازش
• 88. اعتبارسنجی پیش‌پردازش در یادگیری تقویتی
• 89. خلاصه و نتیجه‌گیری در مورد اهمیت اعتبارسنجی
• 90. آینده اعتبارسنجی پیش‌پردازش داده
• 91. پرسش و پاسخ در مورد اعتبارسنجی
• 92. تمرینات عملی اعتبارسنجی پیش‌پردازش
• 93. پروژه نهایی: پیاده‌سازی کامل اعتبارسنجی
• 94. مرور کلی بر دوره‌