فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله ETL با Apache Beam و Google Cloud Dataflow (Java)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله ETL با Apache Beam و Google Cloud Dataflow (Java)

موضوع کلی: پردازش داده و تحلیل کلان داده

موضوع میانی: معماری‌های پردازش داده بدون سرور (Serverless)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده و تحلیل کلان داده
• 2. اصول خطوط لوله ETL (Extract, Transform, Load)
• 3. معماری‌های پردازش داده سنتی در مقابل پردازش بدون سرور
• 4. مزایای پردازش بدون سرور برای ETL
• 5. معرفی Apache Beam: چارچوبی برای پردازش داده‌های دسته‌ای و جریانی
• 6. مفاهیم پایه Apache Beam: Pipeline, PCollection, PTransform
• 7. نوشتن اولین خط لوله ETL ساده با Apache Beam
• 8. انواع PTransform ها در Apache Beam: ParDo, GroupByKey, Flatten
• 9. کار با داده‌های ورودی و خروجی در Apache Beam
• 10. خواندن داده از فایل‌های متنی (CSV, JSON)
• 11. نوشتن داده در فایل‌های متنی
• 12. تبدیل داده‌ها: فیلتر کردن، نگاشت، استخراج
• 13. تجمیع داده‌ها: شمارش، جمع، میانگین
• 14. عملیات GroupByKey و کاربردهای آن
• 15. انواع داده‌ها در Apache Beam و serializability
• 16. مدیریت حالت در پردازش جریانی با Apache Beam
• 17. پنجره‌بندی (Windowing) در پردازش داده‌های جریانی
• 18. انواع پنجره‌ها: Tumbling, Sliding, Session
• 19. مدیریت رویدادهای خارج از ترتیب (Late Data)
• 20. تضمین کیفیت داده‌ها در خطوط لوله ETL
• 21. معرفی Google Cloud Dataflow
• 22. مزایای استفاده از Dataflow به عنوان سرویس مدیریت شده
• 23. نوشتن یک خط لوله ETL با Apache Beam و استقرار آن بر روی Dataflow
• 24. تنظیمات اولیه برای اجرای خط لوله بر روی Dataflow
• 25. فهم Pipeline Options در Dataflow
• 26. اجرای خط لوله پردازش داده دسته‌ای بر روی Dataflow
• 27. اجرای خط لوله پردازش داده جریانی بر روی Dataflow
• 28. مانیتورینگ و لاگ‌گیری خطوط لوله Dataflow
• 29. تنظیمات مقیاس‌پذیری خودکار در Dataflow
• 30. مفهوم Dataflow Runner و انواع آن
• 31. استفاده از Dataflow برای پردازش داده‌های حجم بالا
• 32. بهینه‌سازی عملکرد خطوط لوله Dataflow
• 33. شناسایی و رفع گلوگاه‌ها در خطوط لوله Dataflow
• 34. مدیریت خطا و بازیابی در Dataflow
• 35. استفاده از Apache Beam SDK برای زبان Java
• 36. نصب و راه‌اندازی محیط توسعه Java برای Apache Beam
• 37. نوشتن PTransform های سفارشی در Java
• 38. استفاده از کتابخانه‌های خارجی در خطوط لوله Beam
• 39. کار با منابع داده متنوع در Dataflow
• 40. خواندن داده از Google Cloud Storage
• 41. نوشتن داده در Google Cloud Storage
• 42. خواندن داده از BigQuery
• 43. نوشتن داده در BigQuery
• 44. ادغام با سایر سرویس‌های Google Cloud Platform (GCP)
• 45. استفاده از Pub/Sub برای ورودی و خروجی داده‌های جریانی
• 46. پیاده‌سازی ETL برای داده‌های لاگ
• 47. پردازش داده‌های سنسور با خطوط لوله جریانی
• 48. تحلیل داده‌های فروش با خطوط لوله ETL
• 49. پردازش داده‌های مشتریان
• 50. ساخت داشبوردهای تحلیلی با داده‌های پردازش شده
• 51. مفاهیم پیشرفته Apache Beam
• 52. پردازش داده‌های گراف
• 53. استفاده از Join در Apache Beam
• 54. انواع Join ها و کاربردهای آن‌ها
• 55. استفاده از Aggregators در Apache Beam
• 56. پیاده‌سازی منطق پیچیده در PTransform ها
• 57. مدیریت Schema در Apache Beam
• 58. کار با Schema Registry
• 59. استفاده از Avro برای سریال‌سازی داده‌ها
• 60. استفاده از Protocol Buffers
• 61. مفاهیم پیشرفته Dataflow
• 62. تنظیمات پیشرفته مقیاس‌پذیری در Dataflow
• 63. استفاده از Dataflow Templates
• 64. ساخت Dataflow Templates سفارشی
• 65. مدیریت هزینه‌ها در Dataflow
• 66. بهینه‌سازی مصرف منابع در Dataflow
• 67. استفاده از Dataflow برای یادگیری ماشین (پیش‌پردازش داده)
• 68. ادغام Dataflow با TensorFlow
• 69. پردازش داده‌های متنی برای مدل‌های NLP
• 70. استفاده از Apache Beam برای پردازش داده‌های مکانی
• 71. کار با داده‌های جغرافیایی در Beam
• 72. پردازش داده‌های سری زمانی
• 73. مفاهیم امنیت در Dataflow
• 74. مدیریت دسترسی و احراز هویت در Dataflow
• 75. استفاده از Cloud KMS برای رمزنگاری داده‌ها
• 76. نکات و ترفندهای عملی برای خطوط لوله ETL
• 77. اشتباهات رایج در طراحی خطوط لوله ETL
• 78. بهترین شیوه‌ها برای نوشتن کد Apache Beam
• 79. تست کردن خطوط لوله Apache Beam
• 80. استفاده از ابزارهای مانیتورینگ پیشرفته
• 81. مستندسازی خطوط لوله Dataflow
• 82. جمع‌بندی و نگاه به آینده پردازش داده بدون سرور
• 83. چالش‌های پردازش داده بدون سرور
• 84. روندهای نوظهور در پردازش کلان داده
• 85. معرفی ابزارهای مشابه Apache Beam (اختیاری، با ذکر تفاوت‌ها)
• 86. انتخاب بهترین ابزار برای نیازهای ETL
• 87. پروژه‌های عملی برای تمرین بیشتر
• 88. طراحی یک خط لوله ETL پیچیده برای یک سناریو واقعی
• 89. مقایسه روش‌های مختلف پردازش داده
• 90. نکات نهایی برای موفقیت در پروژه‌های ETL