فلش‌کارت‌های آموزشی اعتبارسنجی و آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین در AWS

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اعتبارسنجی و آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین در AWS

موضوع کلی: مهندسی داده و یادگیری ماشین

موضوع میانی: آماده‌سازی و اعتبارسنجی داده‌ها برای مدل‌سازی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده در یادگیری ماشین
• 2. اهمیت اعتبارسنجی داده‌ها در پروژه‌های یادگیری ماشین
• 3. مراحل کلیدی در آماده‌سازی و اعتبارسنجی داده‌ها
• 4. انواع داده‌ها و چالش‌های مرتبط با آن‌ها
• 5. بررسی کیفیت داده‌ها و معیارهای ارزیابی
• 6. شناسایی و مدیریت مقادیر نامعتبر و پرت
• 7. تکنیک‌های پاکسازی داده‌های عددی
• 8. تکنیک‌های پاکسازی داده‌های متنی
• 9. تکنیک‌های پاکسازی داده‌های دسته‌ای
• 10. مقادیر گمشده: شناسایی و استراتژی‌های پر کردن
• 11. روش‌های جایگزینی ساده برای مقادیر گمشده
• 12. روش‌های پیشرفته‌تر برای پر کردن مقادیر گمشده
• 13. اعتبارسنجی داده‌ها با استفاده از آمار توصیفی
• 14. تجسم داده‌ها برای شناسایی الگوها و ناهنجاری‌ها
• 15. نمودارهای هیستوگرام و جعبه‌ای برای داده‌های عددی
• 16. نمودارهای میله‌ای و دایره‌ای برای داده‌های دسته‌ای
• 17. نمودارهای پراکندگی برای بررسی روابط بین متغیرها
• 18. تحلیل همبستگی و ماتریس همبستگی
• 19. اهمیت نرمال‌سازی و استانداردسازی داده‌ها
• 20. روش‌های نرمال‌سازی داده‌ها
• 21. روش‌های استانداردسازی داده‌ها
• 22. مقیاس‌بندی ویژگی‌ها برای مدل‌های یادگیری ماشین
• 23. تبدیل داده‌های دسته‌ای به فرمت عددی
• 24. رمزگذاری وان-هات (One-Hot Encoding)
• 25. رمزگذاری برچسب (Label Encoding)
• 26. رمزگذاری فرکانس (Frequency Encoding)
• 27. درک و مدیریت داده‌های نامتعادل
• 28. تکنیک‌های نمونه‌برداری برای داده‌های نامتعادل
• 29. روش‌های افزایش داده (Data Augmentation)
• 30. مهندسی ویژگی: ایجاد ویژگی‌های جدید از داده‌های موجود
• 31. استخراج ویژگی از داده‌های متنی
• 32. تحلیل مولفه‌های اصلی (PCA) برای کاهش ابعاد
• 33. تجزیه و تحلیل عامل (Factor Analysis)
• 34. تکنیک‌های کاهش ابعاد دیگر
• 35. بررسی و انتخاب ویژگی‌های مرتبط
• 36. معیارهای انتخاب ویژگی
• 37. روش‌های مبتنی بر فیلتر (Filter Methods)
• 38. روش‌های مبتنی بر پوشش (Wrapper Methods)
• 39. روش‌های ترکیبی (Embedded Methods)
• 40. اعتبارسنجی مدل با استفاده از مجموعه داده‌های تست
• 41. تقسیم داده‌ها به مجموعه‌های آموزش، اعتبارسنجی و تست
• 42. اهمیت تقسیم‌بندی صحیح داده‌ها
• 43. تقسیم‌بندی تصادفی داده‌ها
• 44. تقسیم‌بندی طبقه‌بندی شده داده‌ها
• 45. اعتبارسنجی متقابل (Cross-Validation)
• 46. اعتبارسنجی K-Fold
• 47. اعتبارسنجی Stratified K-Fold
• 48. اعتبارسنجی Leave-One-Out
• 49. استراتژی‌های اعتبارسنجی برای داده‌های سری زمانی
• 50. اهمیت داده‌های تمیز برای مدل‌های یادگیری عمیق
• 51. چالش‌های آماده‌سازی داده‌ها برای مدل‌های ترنسفورمر
• 52. آماده‌سازی داده‌ها برای مدل‌های شبکه‌های عصبی کانولوشنی
• 53. پردازش زبان طبیعی (NLP) و پیش‌پردازش متن
• 54. توکن‌سازی و نرمال‌سازی متن
• 55. حذف کلمات توقف (Stop Words) و ریشه‌یابی (Stemming)
• 56. نمایش برداری متن (Bag-of-Words, TF-IDF)
• 57. جاسازی کلمات (Word Embeddings)
• 58. آماده‌سازی داده‌ها برای پردازش تصویر
• 59. تغییر اندازه، برش و چرخش تصاویر
• 60. افزایش داده برای تصاویر
• 61. آماده‌سازی داده‌ها برای داده‌های صوتی
• 62. استخراج ویژگی از سیگنال‌های صوتی
• 63. استانداردهای داده در پلتفرم‌های ابری (مانند AWS S3)
• 64. مدیریت داده‌های بزرگ و کلان‌داده
• 65. استفاده از ابزارهای AWS برای آماده‌سازی داده‌ها
• 66. Amazon S3 برای ذخیره‌سازی داده‌ها
• 67. AWS Glue برای ETL (Extract, Transform, Load)
• 68. Amazon SageMaker Data Wrangler
• 69. کاربرد ابزارهای تحلیل داده متن‌باز (Pandas, NumPy)
• 70. کاربرد کتابخانه‌های تجسم داده (Matplotlib, Seaborn)
• 71. اصول مهندسی ویژگی در پروژه‌های واقعی
• 72. تست و اعتبارسنجی مداوم در چرخه حیات داده
• 73. مستندسازی فرآیند آماده‌سازی داده‌ها
• 74. نکات امنیتی در مدیریت و آماده‌سازی داده‌ها
• 75. حفظ حریم خصوصی داده‌ها
• 76. قوانین و مقررات حفاظت از داده‌ها در ایران
• 77. ملاحظات اخلاقی در آماده‌سازی و استفاده از داده‌ها
• 78. استفاده از داده‌های مصنوعی (Synthetic Data)
• 79. مدیریت نسخه‌های داده (Data Versioning)
• 80. فرآیندهای خودکارسازی در آماده‌سازی داده‌ها
• 81. مقدمه‌ای بر ارکستراسیون جریان‌های کاری داده
• 82. ابزارهای ارکستراسیون (مانند Apache Airflow)
• 83. اصول طراحی پایپ‌لاین‌های داده
• 84. ملاحظات عملکردی در آماده‌سازی داده‌ها
• 85. بهینه‌سازی پردازش داده‌ها
• 86. استفاده از منابع محاسباتی مناسب
• 87. مقدمه‌ای بر مفهوم "Data Drift"
• 88. شناسایی و مدیریت "Data Drift"
• 89. تأثیر "Data Drift" بر عملکرد مدل
• 90. استراتژی‌های بازآموزی مدل بر اساس تغییر داده‌ها
• 91. اهمیت اعتبارسنجی داده‌ها در مراحل مختلف توسعه مدل
• 92. جمع‌بندی و گام‌های بعدی در مهندسی داده
• 93. آماده‌سازی داده‌ها برای استقرار مدل (Deployment)
• 94. ملاحظات نهایی در اعتبارسنجی و آماده‌سازی داده‌ها
• 95. بررسی مجدد الزامات قانونی در آماده‌سازی داده‌ها
• 96. تطبیق فرآیندها با آیین‌نامه ساماندهی محتوای دیجیتال
• 97. رعایت حدود شرعی در پردازش و نمایش داده‌ها
• 98. پرهیز از هرگونه توهین یا ترویج محتوای ممنوعه
• 99. تأکید بر منافع ملی در تحلیل داده‌ها
• 100. آماده‌سازی داده‌ها برای کاربردهای داخلی و بومی