اپلیکیشن اندرویدی فلش‌کارت آموزشی پاکسازی و آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب پاکسازی و آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین

موضوع کلی: برنامه نویسی

موضوع میانی: هوش مصنوعی و یادگیری ماشین (AI/ML)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه و اهمیت پاکسازی داده‌ها
• 2. چرایی نیاز به آماده‌سازی داده‌ها
• 3. مراحل کلی فرآیند پاکسازی و آماده‌سازی
• 4. نقش متخصص داده در پاکسازی
• 5. فهم دامنه مسئله و داده‌ها
• 6. اهمیت مستندسازی فرآیند پاکسازی
• 7. انواع داده‌ها و چالش‌های مربوط به هر کدام
• 8. داده‌های ساختاریافته، نیمه‌ساختاریافته و بدون ساختار
• 9. داده‌های عددی، دسته‌ای، متنی، زمانی
• 10. شناسایی و مدیریت داده‌های پرت (Outliers)
• 11. روش‌های آماری برای شناسایی داده‌های پرت
• 12. روش‌های بصری برای شناسایی داده‌های پرت
• 13. مدیریت داده‌های پرت: حذف، تبدیل یا جایگزینی
• 14. تاثیر داده‌های پرت بر مدل‌های یادگیری ماشین
• 15. شناسایی و مدیریت مقادیر گمشده (Missing Values)
• 16. انواع مقادیر گمشده: MNAR، MAR، MCAR
• 17. روش‌های شناسایی مقادیر گمشده
• 18. روش‌های جایگزینی مقادیر گمشده: حذف، میانگین، میانه، مد
• 19. روش‌های پیشرفته جایگزینی: رگرسیون، KNN Imputation
• 20. مدیریت مقادیر گمشده در داده‌های دسته‌ای
• 21. مدیریت مقادیر گمشده در داده‌های عددی
• 22. تاثیر مقادیر گمشده بر مدل‌های یادگیری ماشین
• 23. شناسایی و مدیریت داده‌های تکراری (Duplicate Data)
• 24. روش‌های شناسایی ردیف‌های تکراری
• 25. استراتژی‌های حذف یا ادغام داده‌های تکراری
• 26. اهمیت حذف داده‌های تکراری
• 27. پاکسازی داده‌های متنی
• 28. پاکسازی اولیه متن: حذف علائم نگارشی، اعداد، کاراکترهای خاص
• 29. تبدیل به حروف کوچک (Lowercasing)
• 30. حذف کلمات توقف (Stop Words)
• 31. ریشه‌یابی کلمات (Stemming)
• 32. لمتایزاسیون (Lemmatization)
• 33. مدیریت غلط‌های املایی و تایپی
• 34. تبدیل متن به نمایش عددی: Bag-of-Words
• 35. تبدیل متن به نمایش عددی: TF-IDF
• 36. تبدیل متن به نمایش عددی: Word Embeddings (Word2Vec, GloVe)
• 37. پاکسازی داده‌های دسته‌ای
• 38. شناسایی و مدیریت مقادیر ناسازگار یا اشتباه در دسته‌ها
• 39. استانداردسازی نام دسته‌ها
• 40. مدیریت دسته‌های با فراوانی کم (Rare Categories)
• 41. کدگذاری دسته‌ای: One-Hot Encoding
• 42. کدگذاری دسته‌ای: Label Encoding
• 43. کدگذاری دسته‌ای: Target Encoding
• 44. کدگذاری دسته‌ای: Binary Encoding
• 45. کدگذاری دسته‌ای: Ordinal Encoding
• 46. کدگذاری دسته‌ای: Feature Hashing
• 47. کدگذاری دسته‌ای: Sum Encoding
• 48. کدگذاری دسته‌ای: Helmert Encoding
• 49. کدگذاری دسته‌ای: Backward Difference Encoding
• 50. کدگذاری دسته‌ای: Polynomial Encoding
• 51. کدگذاری دسته‌ای: Contrast Encoding
• 52. پاکسازی داده‌های عددی
• 53. استانداردسازی (Standardization)
• 54. نرمال‌سازی (Normalization)
• 55. مقیاس‌بندی Min-Max
• 56. مقیاس‌بندی Robust Scaler
• 57. مقیاس‌بندی MaxAbsScaler
• 58. مقیاس‌بندی Power Transformer (Yeo-Johnson)
• 59. مقیاس‌بندی Quantile Transformer
• 60. تبدیل لگاریتمی
• 61. تبدیل ریشه‌ی دوم
• 62. تبدیل جعبه-کاکس (Box-Cox Transformation)
• 63. مدیریت داده‌های نامتعارف (Skewed Data)
• 64. مقابله با اعوجاج در توزیع داده‌ها
• 65. پاکسازی داده‌های زمانی
• 66. استانداردسازی فرمت تاریخ و زمان
• 67. استخراج ویژگی از داده‌های زمانی (روز هفته، ماه، سال، ساعت)
• 68. مدیریت شکاف‌های زمانی (Time Gaps)
• 69. تبدیل داده‌های زمانی به ویژگی‌های قابل استفاده
• 70. فصل‌بندی داده‌های زمانی
• 71. ترکیب ویژگی‌ها (Feature Engineering)
• 72. ایجاد ویژگی‌های جدید از ویژگی‌های موجود
• 73. ترکیب ویژگی‌های عددی
• 74. ترکیب ویژگی‌های دسته‌ای
• 75. ترکیب ویژگی‌های متنی
• 76. ترکیب ویژگی‌های زمانی
• 77. نرمال‌سازی و استانداردسازی ویژگی‌های مهندسی شده
• 78. فیلتر کردن ویژگی‌ها (Feature Selection)
• 79. اهمیت انتخاب ویژگی
• 80. روش‌های مبتنی بر فیلتر (Filter Methods)
• 81. روش‌های مبتنی بر لفاف (Wrapper Methods)
• 82. روش‌های مبتنی بر جاسازی (Embedded Methods)
• 83. اهمیت و کاربرد PCA (Principal Component Analysis)
• 84. اهمیت و کاربرد t-SNE (t-Distributed Stochastic Neighbor Embedding)
• 85. اهمیت و کاربرد UMAP (Uniform Manifold Approximation and Projection)
• 86. بررسی و مدیریت عدم تعادل کلاس‌ها (Class Imbalance)
• 87. روش‌های Oversampling (SMOTE)
• 88. روش‌های Undersampling
• 89. ترکیب روش‌های Oversampling و Undersampling
• 90. مدیریت عدم تعادل کلاس‌ها با استفاده از الگوریتم‌های مناسب
• 91. بررسی و مدیریت همبستگی بین ویژگی‌ها (Multicollinearity)
• 92. تشخیص همبستگی بالا (VIF - Variance Inflation Factor)
• 93. روش‌های کاهش همبستگی: حذف ویژگی، استفاده از PCA
• 94. اعتبارسنجی فرآیند پاکسازی
• 95. اهمیت اعتبارسنجی متقابل (Cross-Validation)
• 96. تست مدل بر روی داده‌های پاکسازی شده
• 97. بررسی تاثیر پاکسازی بر عملکرد مدل
• 98. ابزارها و کتابخانه‌های پرکاربرد برای پاکسازی داده‌ها
• 99. Pandas در پایتون
• 100. NumPy در پایتون