فلش‌کارت‌های آموزشی پاکسازی و نرمال‌سازی داده‌ها برای خطوط لوله یادگیری ماشین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پاکسازی و نرمال‌سازی داده‌ها برای خطوط لوله یادگیری ماشین

موضوع کلی: مهندسی داده و یادگیری ماشین

موضوع میانی: آماده‌سازی داده‌ها برای یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده در یادگیری ماشین
• 2. اهمیت پاکسازی داده‌ها در یادگیری ماشین
• 3. مراحل کلیدی در پاکسازی داده‌ها
• 4. شناسایی انواع داده‌های پرت (Outliers)
• 5. تکنیک‌های شناسایی داده‌های پرت
• 6. مدیریت داده‌های پرت: حذف یا جایگزینی
• 7. اهمیت داده‌های گمشده (Missing Data)
• 8. روش‌های تشخیص داده‌های گمشده
• 9. استراتژی‌های جایگزینی داده‌های گمشده
• 10. میانگین، میانه و نما برای داده‌های گمشده
• 11. جایگزینی داده‌های گمشده با الگوریتم‌ها
• 12. شناسایی و مدیریت داده‌های نامعتبر (Invalid Data)
• 13. استانداردسازی فرمت داده‌ها
• 14. پاکسازی داده‌های متنی
• 15. نرمال‌سازی داده‌های متنی
• 16. تبدیل داده‌های متنی به نمایش عددی
• 17. کاربرد TF-IDF در پردازش متن
• 18. شناسایی و حذف نویز در داده‌ها
• 19. تکنیک‌های کاهش نویز
• 20. پاکسازی داده‌های تصویری
• 21. پاکسازی داده‌های صوتی
• 22. اهمیت یکپارچه‌سازی داده‌ها
• 23. روش‌های یکپارچه‌سازی داده‌ها
• 24. مدیریت داده‌های تکراری (Duplicates)
• 25. تکنیک‌های شناسایی و حذف داده‌های تکراری
• 26. استانداردسازی مقیاس داده‌ها (Scaling)
• 27. روش‌های نرمال‌سازی (Normalization)
• 28. روش‌های استانداردسازی (Standardization)
• 29. کاربرد Min-Max Scaling
• 30. کاربرد Z-Score Standardization
• 31. اهمیت تبدیل ویژگی‌ها (Feature Transformation)
• 32. تبدیل لگاریتمی
• 33. تبدیل جعبه‌کاکس (Box-Cox)
• 34. تبدیل دودویی (Binning)
• 35. اهمیت کدگذاری ویژگی‌های طبقه‌بندی (Categorical Encoding)
• 36. کدگذاری وان-هات (One-Hot Encoding)
• 37. کدگذاری برچسب (Label Encoding)
• 38. کدگذاری فرکانس (Frequency Encoding)
• 39. کدگذاری هدف (Target Encoding)
• 40. مدیریت ویژگی‌های با ابعاد بالا (High-Dimensional Features)
• 41. تکنیک‌های کاهش بعد (Dimensionality Reduction)
• 42. تحلیل مولفه‌های اصلی (PCA)
• 43. تجزیه مقادیر منفرد (SVD)
• 44. انتخاب ویژگی (Feature Selection)
• 45. روش‌های فیلتر (Filter Methods)
• 46. روش‌های پوششی (Wrapper Methods)
• 47. روش‌های تعبیه‌شده (Embedded Methods)
• 48. اهمیت اعتبارسنجی داده‌ها (Data Validation)
• 49. تعریف قوانین اعتبارسنجی
• 50. پیاده‌سازی اعتبارسنجی داده‌ها
• 51. مدیریت خطاها در اعتبارسنجی
• 52. مستندسازی فرآیند پاکسازی داده
• 53. ابزارها و کتابخانه‌های پاکسازی داده
• 54. Pandas برای پاکسازی داده
• 55. NumPy برای عملیات عددی
• 56. Scikit-learn برای پیش‌پردازش
• 57. کاربرد TF-IDF در پیاده‌سازی
• 58. پیاده‌سازی One-Hot Encoding
• 59. پیاده‌سازی Label Encoding
• 60. پیاده‌سازی Min-Max Scaling
• 61. پیاده‌سازی Z-Score Standardization
• 62. پیاده‌سازی PCA
• 63. پیاده‌سازی حذف داده‌های پرت
• 64. پیاده‌سازی جایگزینی داده‌های گمشده
• 65. پاکسازی داده‌های نامعتبر در پایگاه داده
• 66. نرمال‌سازی داده‌های تاریخ و زمان
• 67. مدیریت داده‌های جغرافیایی
• 68. پاکسازی داده‌های سِنسور
• 69. پاکسازی داده‌های لاگ (Log Data)
• 70. پاکسازی داده‌های شبکه‌ای
• 71. پاکسازی داده‌های مالی
• 72. پاکسازی داده‌های پزشکی
• 73. پاکسازی داده‌های متنی با استفاده از NLTK
• 74. پاکسازی داده‌های متنی با استفاده از SpaCy
• 75. مدیریت داده‌های نامتعادل (Imbalanced Data)
• 76. تکنیک‌های نمونه‌گیری برای داده‌های نامتعادل
• 77. اهمیت مهندسی ویژگی (Feature Engineering)
• 78. ایجاد ویژگی‌های جدید
• 79. ترکیب ویژگی‌ها
• 80. استخراج ویژگی از داده‌های متنی
• 81. استخراج ویژگی از داده‌های تصویری
• 82. استخراج ویژگی از داده‌های سری زمانی
• 83. ارزیابی کیفیت داده‌ها
• 84. شاخص‌های کیفیت داده
• 85. بهبود مستمر فرآیند پاکسازی
• 86. اهمیت همکاری بین دانشمندان داده و مهندسان داده
• 87. پروتکل‌های امنیتی در پاکسازی داده
• 88. حفظ حریم خصوصی داده‌ها
• 89. مدیریت نسخه داده‌ها (Data Versioning)
• 90. کاربرد پاکسازی داده در یادگیری عمیق
• 91. چالش‌های پاکسازی داده‌های بزرگ (Big Data)
• 92. ابزارهای پردازش داده‌های بزرگ
• 93. Spark برای پاکسازی داده
• 94. Hadoop برای پاکسازی داده
• 95. اهمیت اتوماسیون در پاکسازی داده
• 96. طراحی خطوط لوله پاکسازی داده
• 97. نظارت بر کیفیت داده‌ها در طول زمان
• 98. فرهنگ داده‌محور و پاکسازی داده
• 99. ملاحظات اخلاقی در پاکسازی داده