فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط پردازش داده ETL با استفاده از Apache Beam و Google Cloud Dataflow (Python)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط پردازش داده ETL با استفاده از Apache Beam و Google Cloud Dataflow (Python)

موضوع کلی: پردازش داده و تحلیل داده‌های حجیم

موضوع میانی: معماری‌های پردازش داده بدون سرور (Serverless)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده و تحلیل داده‌های حجیم
• 2. اصول اولیه پردازش داده‌های حجیم
• 3. معرفی Apache Beam
• 4. مفاهیم کلیدی Apache Beam
• 5. نوشتن اولین پایپ‌لاین Apache Beam
• 6. اجرای پایپ‌لاین Apache Beam به صورت محلی
• 7. مقدمه‌ای بر پردازش بدون سرور
• 8. مزایای معماری‌های بدون سرور
• 9. Google Cloud Dataflow چیست؟
• 10. معرفی Google Cloud Dataflow
• 11. استقرار پایپ‌لاین Apache Beam بر روی Dataflow
• 12. مدیریت و نظارت بر پایپ‌لاین‌های Dataflow
• 13. مقدمه‌ای بر خطوط لوله ETL
• 14. مراحل پردازش داده ETL
• 15. طراحی یک خط لوله ETL ساده
• 16. استفاده از Python در Apache Beam
• 17. ساختار داده‌ها در Apache Beam: PCollection
• 18. تبدیلات (Transforms) در Apache Beam
• 19. تبدیلات اساسی: Map و FlatMap
• 20. تبدیلات تجمعی: GroupByKey و Combine
• 21. پایپ‌لاین‌های داده‌ای تعاملی (Streaming)
• 22. پردازش داده‌های تعاملی در Dataflow
• 23. مفاهیم کلیدی پردازش تعاملی
• 24. پنجره‌بندی (Windowing) در پردازش تعاملی
• 25. انواع پنجره‌ها
• 26. مدیریت وضعیت (State Management) در پردازش تعاملی
• 27. مدیریت رویدادهای خارج از ترتیب (Late Data)
• 28. مقدمه‌ای بر ذخیره‌سازی داده‌ها
• 29. انواع پایگاه‌های داده برای تحلیل داده
• 30. ذخیره‌سازی داده‌ها در Google Cloud
• 31. استفاده از BigQuery برای تحلیل داده
• 32. بارگذاری داده در BigQuery
• 33. کوئری زدن داده‌ها در BigQuery
• 34. اتصال Dataflow به BigQuery
• 35. پردازش داده‌های از BigQuery با Dataflow
• 36. استفاده از Cloud Storage برای ذخیره‌سازی داده
• 37. بارگذاری داده در Cloud Storage
• 38. دسترسی به داده‌ها از Cloud Storage در Dataflow
• 39. پردازش فایل‌های متنی (CSV, JSON)
• 40. پردازش داده‌های ساختاریافته
• 41. پردازش داده‌های نیمه‌ساختاریافته
• 42. پاکسازی داده‌ها (Data Cleaning)
• 43. اعتبارسنجی داده‌ها (Data Validation)
• 44. تبدیل داده‌ها (Data Transformation)
• 45. تجمیع داده‌ها (Data Aggregation)
• 46. بهینه‌سازی پایپ‌لاین‌های Dataflow
• 47. مانیتورینگ عملکرد پایپ‌لاین Dataflow
• 48. لاگ‌برداری (Logging) در Dataflow
• 49. مدیریت خطا (Error Handling) در Dataflow
• 50. استراتژی‌های بازپردازش (Retries)
• 51. مفاهیم پیشرفته Apache Beam
• 52. الگوهای طراحی در Apache Beam
• 53. استفاده از کتابخانه‌های خارجی در Apache Beam
• 54. مدیریت وابستگی‌ها
• 55. آزمایش پایپ‌لاین‌های Apache Beam
• 56. نوشتن تست‌های واحد
• 57. نوشتن تست‌های یکپارچه‌سازی
• 58. مقدمه‌ای بر امنیت داده‌ها
• 59. اصول امنیتی در پردازش داده
• 60. امنیت داده‌ها در Google Cloud
• 61. مدیریت دسترسی‌ها (IAM)
• 62. رمزنگاری داده‌ها
• 63. ملاحظات حریم خصوصی داده‌ها
• 64. انطباق با مقررات داده‌ها
• 65. پردازش داده‌های مکانی
• 66. مفاهیم GIS
• 67. استفاده از Apache Beam برای داده‌های مکانی
• 68. پردازش داده‌های سری زمانی
• 69. تحلیل داده‌های سری زمانی
• 70. استفاده از Apache Beam برای داده‌های سری زمانی
• 71. مقدمه‌ای بر یادگیری ماشین
• 72. کاربرد یادگیری ماشین در تحلیل داده
• 73. آماده‌سازی داده‌ها برای یادگیری ماشین
• 74. استفاده از Dataflow برای آماده‌سازی داده‌ها
• 75. ادغام با سرویس‌های یادگیری ماشین Google Cloud
• 76. TensorFlow در Apache Beam
• 77. PyTorch در Apache Beam
• 78. مقدمه‌ای بر معماری‌های کلان داده (Big Data Architectures)
• 79. معماری‌های پردازش دسته‌ای (Batch Processing)
• 80. معماری‌های پردازش تعاملی (Streaming Processing)
• 81. معماری‌های ترکیبی (Lambda, Kappa)
• 82. مقایسه معماری‌های پردازش داده
• 83. انتخاب معماری مناسب
• 84. ملاحظات هزینه‌ای در پردازش داده بدون سرور
• 85. بهینه‌سازی هزینه‌ها در Dataflow
• 86. مدیریت منابع در Dataflow
• 87. بهترین شیوه‌ها در طراحی پایپ‌لاین ETL
• 88. مستندسازی پایپ‌لاین‌های ETL
• 89. بازنگری و بهبود پایپ‌لاین‌ها
• 90. مقدمه‌ای بر داده‌های بزرگ و تحلیل پیشرفته
• 91. تحلیل اکتشافی داده‌ها (EDA)
• 92. تجسم داده‌ها (Data Visualization)
• 93. ابزارهای تجسم داده در Google Cloud
• 94. کاربرد تجسم داده در تصمیم‌گیری
• 95. ارزیابی کیفیت داده‌ها
• 96. مدیریت چرخه عمر داده‌ها
• 97. فرهنگ داده‌محور
• 98. آینده پردازش داده بدون سرور
• 99. نوآوری‌ها در Apache Beam
• 100. روندهای جدید در پردازش داده‌های حجیم