فلش‌کارت‌های آموزشی ETL Pipelines using Apache Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ETL Pipelines using Apache Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های کلان
• 2. آشنایی با اکوسیستم داده‌های کلان
• 3. مبانی پردازش توزیع‌شده
• 4. معرفی Apache Spark
• 5. مفاهیم هسته‌ای Spark: RDDها
• 6. عملیات روی RDDها: تبدیل‌ها و اقدامات
• 7. کار با ساختارهای داده‌ای Spark: DataFrameها
• 8. عملیات روی DataFrameها
• 9. Spark SQL: کوئری‌نویسی روی داده‌های ساختاریافته
• 10. توابع پنجره‌ای در Spark SQL
• 11. Spark Streaming: پردازش داده‌های جریانی
• 12. مبانی پردازش جریانی در Spark
• 13. مدیریت وضعیت در Spark Streaming
• 14. Spark Structured Streaming: پردازش جریانی مدرن
• 15. مفهوم زمان در پردازش جریانی
• 16. پردازش رویدادهای خارج از ترتیب (Out-of-Order Events)
• 17. تکنیک‌های ترکیب جریان‌ها (Stream-Stream Joins)
• 18. Spark MLlib: یادگیری ماشین در Spark
• 19. آشنایی با الگوریتم‌های MLlib
• 20. پیش‌پردازش داده‌ها برای یادگیری ماشین
• 21. مدل‌های طبقه‌بندی در MLlib
• 22. مدل‌های رگرسیون در MLlib
• 23. خوشه‌بندی در MLlib
• 24. سیستم‌های توصیه‌گر در MLlib
• 25. Spark GraphX: پردازش گراف در Spark
• 26. آشنایی با مفاهیم گراف
• 27. عملیات پایه روی گراف‌ها در GraphX
• 28. الگوریتم‌های گراف در GraphX
• 29. کاربرد GraphX در تحلیل شبکه‌ها
• 30. مبانی ETL (Extract, Transform, Load)
• 31. مراحل استخراج داده
• 32. مراحل تبدیل داده
• 33. مراحل بارگذاری داده
• 34. طراحی پایپ‌لاین‌های ETL
• 35. ابزارهای ETL رایج
• 36. معرفی Apache NiFi برای ETL
• 37. آشنایی با Apache Airflow برای ارکستراسیون
• 38. مدیریت وابستگی‌ها در پایپ‌لاین‌های ETL
• 39. مانیتورینگ و لاگ‌گیری پایپ‌لاین‌های ETL
• 40. بهینه‌سازی عملکرد پایپ‌لاین‌های ETL
• 41. مدیریت خطا در پایپ‌لاین‌های ETL
• 42. تست پایپ‌لاین‌های ETL
• 43. استانداردهای کیفیت داده
• 44. پاکسازی داده‌ها
• 45. اعتبارسنجی داده‌ها
• 46. مستندسازی پایپ‌لاین‌های ETL
• 47. امنیت در پایپ‌لاین‌های ETL
• 48. اصول طراحی پایپ‌لاین‌های ETL مقیاس‌پذیر
• 49. پردازش داده‌های حجیم با Spark
• 50. کاربرد Spark در ETL
• 51. استخراج داده از منابع مختلف (پایگاه داده، فایل، API)
• 52. تبدیل داده‌های ساختاریافته و نیمه‌ساختاریافته
• 53. استفاده از UDFها (User-Defined Functions) در Spark
• 54. بهینه‌سازی UDFها
• 55. مدیریت داده‌های نامتعارف (Schema Evolution)
• 56. بارگذاری داده در سیستم‌های مقصدی (Data Warehouses, Data Lakes)
• 57. استفاده از Parquet و ORC برای ذخیره‌سازی بهینه
• 58. مقدمه‌ای بر Data Lakehouse
• 59. مفاهیم Data Governance
• 60. مدیریت متادیتا
• 61. ردیابی داده (Data Lineage)
• 62. طراحی پایپ‌لاین‌های ETL برای تحلیل داده
• 63. پایپ‌لاین‌های ETL برای گزارش‌دهی
• 64. پایپ‌لاین‌های ETL برای هوش تجاری
• 65. مقدمه‌ای بر پردازش داده‌های Real-time
• 66. تفاوت Batch و Streaming ETL
• 67. کاربرد Spark Structured Streaming در ETL
• 68. پردازش داده‌های IoT با Spark
• 69. پردازش داده‌های لاگ با Spark
• 70. مقدمه‌ای بر Data Mesh
• 71. اصول طراحی Data Mesh
• 72. نقش Spark در معماری Data Mesh
• 73. مدیریت داده‌های حساس در پایپ‌لاین‌های ETL
• 74. رمزنگاری داده‌ها
• 75. ناشناس‌سازی داده‌ها
• 76. ملاحظات قانونی و شرعی در پردازش داده‌ها
• 77. اصول حاکمیت داده در چارچوب قوانین جمهوری اسلامی ایران
• 78. مبانی بانکداری بدون ربا در پایپ‌لاین‌های مالی
• 79. کاربرد Spark در تحلیل داده‌های مالی
• 80. مقدمه‌ای بر اقتصاد مقاومتی و نقش داده
• 81. بهینه‌سازی هزینه‌های پردازش داده با Spark
• 82. مدیریت منابع در Spark Cluster
• 83. استفاده از Spark در پروژه‌های داده‌محور داخلی
• 84. مبانی امنیت سایبری در پردازش داده
• 85. پایپ‌لاین‌های ETL برای تحلیل آماری
• 86. مقدمه‌ای بر داده‌کاوی با Spark
• 87. الگوریتم‌های داده‌کاوی سازگار با چارچوب شرعی
• 88. کاربرد Spark در تحلیل داده‌های اجتماعی
• 89. مطالعات موردی پایپ‌لاین‌های ETL موفق داخلی
• 90. اصول طراحی پایپ‌لاین‌های ETL پایدار
• 91. مقدمه‌ای بر مفاهیم داده باز (Open Data)
• 92. نقش Spark در پردازش داده‌های باز
• 93. پایپ‌لاین‌های ETL برای پیش‌بینی و تحلیل روندها
• 94. مبانی تحلیل سری‌های زمانی با Spark
• 95. کاربرد Spark در بهینه‌سازی فرآیندها
• 96. مقدمه‌ای بر هوش مصنوعی مولد و کاربرد آن در ETL
• 97. ملاحظات اخلاقی در استفاده از داده‌ها
• 98. اصول حفظ حریم خصوصی داده‌ها
• 99. مدیریت چرخه حیات داده
• 100. پایپ‌لاین‌های ETL برای پشتیبان‌گیری و بازیابی داده