فلش‌کارت‌های آموزشی پیش‌پردازش داده برای پایپ لاین‌های ML

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیش‌پردازش داده برای پایپ لاین‌های ML

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: پایپ لاین های یادگیری ماشین (ML Pipelines)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پیش‌پردازش داده در یادگیری ماشین
• 2. اهمیت پیش‌پردازش داده در موفقیت مدل‌های ML
• 3. انواع داده و چالش‌های رایج در پیش‌پردازش
• 4. شناسایی و مدیریت مقادیر گمشده (Missing Values)
• 5. روش‌های مختلف جایگزینی مقادیر گمشده
• 6. حذف داده‌های پرت (Outliers) و روش‌های شناسایی آن‌ها
• 7. تکنیک‌های مدیریت داده‌های پرت: حذف و تغییر
• 8. پاکسازی داده‌های ناهماهنگ و تکراری
• 9. استانداردسازی و نرمال‌سازی داده‌ها: مفاهیم و کاربردها
• 10. روش‌های استانداردسازی: Z-score و Min-Max Scaling
• 11. روش‌های نرمال‌سازی: Log Transformation و Box-Cox
• 12. تبدیل ویژگی‌های دسته‌ای (Categorical Features)
• 13. روش‌های کدگذاری دسته‌ای: One-Hot Encoding
• 14. روش‌های کدگذاری دسته‌ای: Label Encoding و Ordinal Encoding
• 15. استفاده از تکنیک‌های Feature Engineering برای بهبود کیفیت داده
• 16. ایجاد ویژگی‌های جدید از داده‌های موجود
• 17. ترکیب ویژگی‌ها و ایجاد تعاملات (Interactions)
• 18. مهندسی ویژگی برای داده‌های متنی
• 19. پیش‌پردازش داده‌های متنی: پاکسازی و نرمال‌سازی
• 20. حذف کلمات توقف (Stop Words) و علائم نگارشی
• 21. ریشه‌یابی کلمات (Stemming) و لماتایزیشن (Lemmatization)
• 22. تبدیل متن به بردارهای عددی: Bag-of-Words (BoW)
• 23. تبدیل متن به بردارهای عددی: TF-IDF
• 24. استفاده از Word Embeddings برای نمایش معنایی متن
• 25. پیش‌پردازش داده‌های سری زمانی (Time Series)
• 26. شناسایی و مدیریت ناپیوستگی‌ها و نویز در سری زمانی
• 27. تثبیت سری زمانی (Stationarity) و روش‌های دستیابی به آن
• 28. ایجاد ویژگی‌های تأخیری (Lag Features)
• 29. ویژگی‌های پنجره‌ای متحرک (Rolling Window Features)
• 30. پیش‌پردازش داده‌های تصویری
• 31. تغییر اندازه (Resizing) و برش (Cropping) تصاویر
• 32. نرمال‌سازی مقادیر پیکسل در تصاویر
• 33. افزایش داده (Data Augmentation) برای تصاویر
• 34. تکنیک‌های Augmentation: چرخش، جابجایی، مقیاس‌بندی
• 35. تکنیک‌های Augmentation: تغییر رنگ و اضافه کردن نویز
• 36. کاربرد پیش‌پردازش در مدل‌های یادگیری عمیق (Deep Learning)
• 37. نقش پیش‌پردازش در شبکه‌های عصبی کانولوشنی (CNN)
• 38. نقش پیش‌پردازش در شبکه‌های عصبی بازگشتی (RNN)
• 39. مدیریت عدم تعادل داده‌ها (Imbalanced Data)
• 40. روش‌های نمونه‌گیری برای عدم تعادل داده‌ها: Oversampling
• 41. روش‌های نمونه‌گیری برای عدم تعادل داده‌ها: Undersampling
• 42. تکنیک‌های ترکیبی برای مدیریت عدم تعادل داده‌ها
• 43. نکات عملی و بهترین روش‌ها در پیش‌پردازش داده
• 44. اهمیت درک دامنه مسئله (Domain Knowledge)
• 45. انتخاب روش‌های پیش‌پردازش بر اساس نوع مسئله و مدل
• 46. مراحل اجرای پایپ‌لاین پیش‌پردازش داده
• 47. استفاده از کتابخانه‌های پایتون برای پیش‌پردازش: NumPy
• 48. استفاده از کتابخانه‌های پایتون برای پیش‌پردازش: Pandas
• 49. استفاده از کتابخانه‌های پایتون برای پیش‌پردازش: Scikit-learn
• 50. استفاده از کتابخانه‌های پایتون برای پیش‌پردازش: NLTK و SpaCy
• 51. استفاده از کتابخانه‌های پایتون برای پیش‌پردازش: OpenCV
• 52. ساخت پایپ‌لاین‌های پیش‌پردازش قابل تکرار (Reproducible Pipelines)
• 53. مدیریت نسخه‌بندی داده‌ها و پایپ‌لاین‌ها
• 54. ارزیابی تأثیر پیش‌پردازش بر عملکرد مدل
• 55. تست A/B در انتخاب بهترین روش‌های پیش‌پردازش
• 56. ملاحظات اخلاقی در پیش‌پردازش داده
• 57. حفظ حریم خصوصی در داده‌ها
• 58. کاهش سوگیری (Bias) در داده‌ها از طریق پیش‌پردازش
• 59. پیش‌پردازش داده برای مدل‌های طبقه‌بندی (Classification)
• 60. پیش‌پردازش داده برای مدل‌های رگرسیون (Regression)
• 61. پیش‌پردازش داده برای مدل‌های خوشه‌بندی (Clustering)
• 62. پیش‌پردازش داده برای مدل‌های کاهش ابعاد (Dimensionality Reduction)
• 63. کاربرد PCA (Principal Component Analysis) در پیش‌پردازش
• 64. کاربرد t-SNE (t-Distributed Stochastic Neighbor Embedding)
• 65. پیش‌پردازش داده‌های حجیم (Big Data)
• 66. مقدمه‌ای بر ابزارهای پردازش داده‌های حجیم: Spark
• 67. پیش‌پردازش داده با استفاده از Spark MLlib
• 68. نکات پیشرفته در مهندسی ویژگی
• 69. استفاده از شبکه‌های عصبی برای یادگیری ویژگی (Feature Learning)
• 70. خودرمزگذارها (Autoencoders) برای کاهش ابعاد و یادگیری ویژگی
• 71. کاربرد شبکه‌های GAN (Generative Adversarial Networks) در Augmentation
• 72. پیش‌پردازش داده‌های مختلط (Mixed Data Types)
• 73. استراتژی‌های ترکیب انواع مختلف داده
• 74. پردازش داده‌های مکانی (Geospatial Data)
• 75. پیش‌پردازش داده‌های شبکه‌های اجتماعی
• 76. ملاحظات امنیتی در پیش‌پردازش داده
• 77. حفاظت از داده‌ها در برابر حملات سایبری
• 78. تکنیک‌های Anonymization و Pseudonymization داده‌ها
• 79. پیش‌پردازش داده برای کاربردهای خاص صنعتی
• 80. پیش‌پردازش در حوزه سلامت و پزشکی
• 81. پیش‌پردازش در حوزه مالی و اقتصادی
• 82. پیش‌پردازش در حوزه تجارت الکترونیک
• 83. پیش‌پردازش در حوزه اینترنت اشیاء (IoT)
• 84. چالش‌های پیش‌پردازش داده در دنیای واقعی
• 85. یادگیری مستمر و به‌روزرسانی پایپ‌لاین‌های پیش‌پردازش
• 86. آینده پیش‌پردازش داده و روندهای نوظهور
• 87. هوش مصنوعی مولد در پیش‌پردازش داده
• 88. تأثیر پیش‌پردازش بر تفسیرپذیری مدل (Interpretability)
• 89. مقایسه روش‌های مختلف پیش‌پردازش برای یک مسئله مشخص
• 90. ساخت یک پایپ‌لاین کامل پیش‌پردازش داده برای یک پروژه نمونه
• 91. آزمایش و اعتبارسنجی پایپ‌لاین پیش‌پردازش
• 92. بهینه‌سازی پارامترهای پیش‌پردازش