فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله داده مشارکتی با Kedro

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده مشارکتی با Kedro

موضوع کلی: مهندسی نرم‌افزار و علم داده

موضوع میانی: مدیریت و اتوماسیون پروژه‌های داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و خطوط لوله داده
• 2. مبانی طراحی خطوط لوله داده
• 3. مقدمه‌ای بر Kedro و اهداف آن
• 4. نصب و پیکربندی Kedro
• 5. ساختار پروژه Kedro
• 6. مفهوم Node در Kedro
• 7. تعریف Node و ورودی/خروجی‌ها
• 8. ایجاد اولین Node
• 9. نکات کلیدی در طراحی Node
• 10. مدیریت وابستگی‌ها در Node ها
• 11. مفهوم Pipeline در Kedro
• 12. تعریف Pipeline و ترکیب Node ها
• 13. ایجاد اولین Pipeline
• 14. خطوط لوله پیچیده و ساختاردهی
• 15. استفاده از چندین Pipeline
• 16. تنظیمات پروژه (Project Configuration)
• 17. فایل‌های پیکربندی Kedro
• 18. مدیریت محیط‌های مختلف (Dev, Prod)
• 19. مدیریت داده (Data Management)
• 20. ذخیره‌سازی داده در Kedro
• 21. اتصال به منابع داده مختلف
• 22. کار با Data Catalog
• 23. تعریف و استفاده از Data Catalog
• 24. انواع Data Catalog ها
• 25. مدیریت داده‌های بزرگ (Big Data)
• 26. تست و اعتبارسنجی خطوط لوله
• 27. نوشتن تست برای Node ها
• 28. تست برای Pipeline ها
• 29. اصول تست نویسی در Kedro
• 30. توسعه مشارکتی با Kedro
• 31. مدیریت نسخه کد (Version Control)
• 32. همکاری تیمی بر روی خطوط لوله
• 33. مستندسازی خطوط لوله داده
• 34. نکات مهم در مستندسازی
• 35. استقرار خطوط لوله داده
• 36. استقرار در محیط‌های تولید
• 37. اتوماسیون خطوط لوله داده
• 38. زمان‌بندی اجرای خطوط لوله
• 39. مقدمه‌ای بر اتوماسیون در مهندسی داده
• 40. مباحث پیشرفته در Kedro
• 41. ساخت ماژول‌های سفارشی
• 42. استفاده از Plugin ها در Kedro
• 43. بهینه‌سازی عملکرد خطوط لوله
• 44. پروفایلینگ و شناسایی گلوگاه‌ها
• 45. روش‌های بهینه‌سازی
• 46. مدیریت خطا و بازیابی
• 47. استراتژی‌های مدیریت خطا
• 48. پیاده‌سازی مکانیزم‌های بازیابی
• 49. امنیت در خطوط لوله داده
• 50. ملاحظات امنیتی در مدیریت داده
• 51. حفاظت از داده‌ها در طول خط لوله
• 52. قوانین و مقررات مرتبط با داده
• 53. اصول حاکمیت داده (Data Governance)
• 54. مدیریت چرخه عمر داده
• 55. کاربرد Kedro در پروژه‌های واقعی
• 56. مطالعه موردی ۱: تحلیل داده‌های مشتری
• 57. مطالعه موردی ۲: پردازش داده‌های حسگر
• 58. مطالعه موردی ۳: خط لوله پیش‌بینی
• 59. معماری‌های داده مدرن
• 60. مقایسه Kedro با ابزارهای مشابه
• 61. مفاهیم MLOps و ارتباط آن با Kedro
• 62. پیاده‌سازی CI/CD برای خطوط لوله داده
• 63. استفاده از Docker با Kedro
• 64. کانتینرسازی خطوط لوله داده
• 65. مدیریت وابستگی‌های نرم‌افزاری
• 66. مفاهیم داده محور (Data-centric AI)
• 67. طراحی خطوط لوله برای مدل‌های هوش مصنوعی
• 68. آماده‌سازی داده برای یادگیری ماشین
• 69. ارزیابی مدل‌ها در خطوط لوله
• 70. تنظیمات پیشرفته Data Catalog
• 71. کار با فایل‌های پیکربندی سفارشی
• 72. ایجاد Command های سفارشی
• 73. توسعه ابزارهای کمکی
• 74. مدیریت داده‌های موقت (Temporary Data)
• 75. نکات پیشرفته در مدیریت Node ها
• 76. ساختاردهی پروژه‌های بزرگ
• 77. استفاده از الگوهای طراحی در Kedro
• 78. پایداری و قابلیت اطمینان خطوط لوله
• 79. ملاحظات مربوط به مقیاس‌پذیری
• 80. بررسی چالش‌های رایج در Kedro
• 81. راهکارهای مقابله با چالش‌ها
• 82. مبانی آمار و احتمالات در مهندسی داده
• 83. مقدمه‌ای بر تحلیل اکتشافی داده (EDA)
• 84. روش‌های پاکسازی داده
• 85. تکنیک‌های مهندسی ویژگی
• 86. اصول مدل‌سازی داده
• 87. مبانی یادگیری ماشین
• 88. انواع الگوریتم‌های یادگیری ماشین
• 89. ارزیابی عملکرد مدل‌های یادگیری ماشین
• 90. تنظیم پارامتر مدل‌ها (Hyperparameter Tuning)
• 91. ملاحظات اخلاقی در مهندسی داده
• 92. حریم خصوصی داده‌ها
• 93. شفافیت در خطوط لوله داده
• 94. اهمیت مستندسازی دقیق
• 95. اصول کدنویسی تمیز در مهندسی داده
• 96. مدیریت دانش در تیم‌های داده
• 97. نقش Kedro در تسهیل همکاری
• 98. برنامه‌ریزی و زمان‌بندی پروژه‌های داده
• 99. مقدمه‌ای بر داده‌کاوی
• 100. تحلیل سری‌های زمانی