فلش‌کارت‌های آموزشی ابزارهای ETL رایج و نحوه استفاده از آن‌ها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ابزارهای ETL رایج و نحوه استفاده از آن‌ها

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: استخراج، تبدیل، بارگذاری (ETL)

📋 سرفصل‌های دوره

• 1. مقدمه ای بر ابزارهای ETL
• 2. اهمیت ETL در تحلیل داده
• 3. معرفی کلی ابزارهای ETL
• 4. ابزارهای ETL رایج
• 5. استفاده از ابزارهای ETL در پروژه‌ها
• 6. مفهوم استخراج (Extract)
• 7. تکنیک‌های استخراج داده
• 8. منابع داده متنوع
• 9. استخراج از پایگاه‌های داده رابطه‌ای
• 10. استخراج از فایل‌های متنی
• 11. استخراج از API ها
• 12. استخراج از NoSQL
• 13. استخراج داده‌های بزرگ
• 14. چالش‌های استخراج داده
• 15. بهینه‌سازی فرآیند استخراج
• 16. مفهوم تبدیل (Transform)
• 17. عملیات متداول تبدیل داده
• 18. پاکسازی داده‌ها
• 19. استانداردسازی داده‌ها
• 20. تبدیل انواع داده
• 21. تلفیق داده‌ها (Join)
• 22. تقسیم داده‌ها (Split)
• 23. فیلتر کردن داده‌ها
• 24. مرتب‌سازی داده‌ها
• 25. جمع‌بندی و تجمیع داده‌ها
• 26. اعتبارسنجی داده‌ها
• 27. قوانین تبدیل پیچیده
• 28. استفاده از اسکریپت در تبدیل
• 29. مفهوم بارگذاری (Load)
• 30. روش‌های بارگذاری داده
• 31. بارگذاری کامل (Full Load)
• 32. بارگذاری افزایشی (Incremental Load)
• 33. بارگذاری دسته‌ای (Batch Load)
• 34. بارگذاری در لحظه (Real-time Load)
• 35. بارگذاری در پایگاه داده
• 36. بارگذاری در انبار داده (Data Warehouse)
• 37. بارگذاری در دریاچه داده (Data Lake)
• 38. مدیریت خطا در بارگذاری
• 39. بهینه‌سازی فرآیند بارگذاری
• 40. معرفی ابزار Apache NiFi
• 41. معماری Apache NiFi
• 42. قابلیت‌های Apache NiFi
• 43. پیاده‌سازی استخراج با NiFi
• 44. پیاده‌سازی تبدیل با NiFi
• 45. پیاده‌سازی بارگذاری با NiFi
• 46. گردش کار (Flow) در NiFi
• 47. مانیتورینگ در NiFi
• 48. امنیت در NiFi
• 49. موارد استفاده NiFi
• 50. معرفی ابزار Apache Airflow
• 51. مفهوم Directed Acyclic Graph (DAG)
• 52. ساختار DAG در Airflow
• 53. قابلیت‌های Airflow
• 54. پیاده‌سازی ETL با Airflow
• 55. زمان‌بندی وظایف (Scheduling)
• 56. مدیریت وابستگی‌ها (Dependencies)
• 57. مانیتورینگ در Airflow
• 58. لاگ‌گیری (Logging) در Airflow
• 59. کانکشن‌ها (Connections) در Airflow
• 60. متغیرها (Variables) در Airflow
• 61. XComs در Airflow
• 62. موارد استفاده Airflow
• 63. معرفی ابزار Talend
• 64. معماری Talend
• 65. قابلیت‌های Talend
• 66. رابط کاربری گرافیکی Talend
• 67. پیاده‌سازی ETL با Talend
• 68. مولفه‌های Talend
• 69. مدیریت متادیتا در Talend
• 70. کیفیت داده در Talend
• 71. ادغام داده در Talend
• 72. موازی‌سازی در Talend
• 73. موارد استفاده Talend
• 74. معرفی ابزار Informatica
• 75. مفاهیم کلیدی Informatica
• 76. قابلیت‌های Informatica
• 77. PowerCenter
• 78. Data Quality
• 79. پیاده‌سازی ETL با Informatica
• 80. طراحی پایپ‌لاین با Informatica
• 81. اتصال به منابع داده
• 82. مانیتورینگ در Informatica
• 83. مدیریت پروژه در Informatica
• 84. موارد استفاده Informatica
• 85. مقایسه ابزارهای ETL
• 86. معیارهای انتخاب ابزار ETL
• 87. مزایا و معایب هر ابزار
• 88. انتخاب ابزار مناسب برای نیازهای مختلف
• 89. سناریوهای عملی ETL
• 90. نمونه پروژه ETL کوچک
• 91. نمونه پروژه ETL متوسط
• 92. نمونه پروژه ETL بزرگ
• 93. چالش‌های رایج در پروژه‌های ETL
• 94. راهکارهای مدیریت چالش‌ها
• 95. بهترین شیوه‌ها در ETL
• 96. آینده ابزارهای ETL
• 97. نوآوری‌های جدید در ETL
• 98. یادگیری ماشین در ETL
• 99. پردازش در لحظه و ETL
• 100. نکات پایانی برای حرفه‌ای شدن در ETL