فلش‌کارت‌های آموزشی مهندسی خطوط لوله داده Serverless با Apache Beam و Google Cloud Dataflow

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی خطوط لوله داده Serverless با Apache Beam و Google Cloud Dataflow

موضوع کلی: پردازش داده‌های ابری و معماری‌های Serverless

موضوع میانی: طراحی و پیاده‌سازی خطوط لوله داده (Data Pipelines) با استفاده از سرویس‌های ابری

📋 سرفصل‌های دوره

• 1. مقدمه ای بر پردازش داده ابری
• 2. مفاهیم کلیدی معماری Serverless
• 3. مزایای استفاده از Serverless در پردازش داده
• 4. آشنایی با Apache Beam
• 5. اصول طراحی خطوط لوله داده
• 6. اصول طراحی خطوط لوله داده در محیط ابری
• 7. معماری Google Cloud Dataflow
• 8. نصب و پیکربندی محیط توسعه Dataflow
• 9. اولین خط لوله داده با Dataflow
• 10. کار با PCollections در Apache Beam
• 11. تبدیلات ایستا و پویا در Apache Beam
• 12. تبدیلات تجمعی (Aggregations)
• 13. توابع پنجره‌بندی (Windowing)
• 14. مدیریت زمان در پنجره‌ها
• 15. نحوه استفاده از پنجره‌های ثابت (Fixed Windows)
• 16. نحوه استفاده از پنجره‌های لغزان (Sliding Windows)
• 17. نحوه استفاده از پنجره‌های جلسه (Session Windows)
• 18. نحوه استفاده از پنجره‌های Global
• 19. کار با داده‌های ورودی (Sources)
• 20. کار با داده‌های خروجی (Sinks)
• 21. فرمت‌های رایج داده (JSON, CSV, Avro)
• 22. استفاده از Pub/Sub برای ورودی/خروجی داده
• 23. پیکربندی Pub/Sub برای Dataflow
• 24. استفاده از Cloud Storage برای ورودی/خروجی داده
• 25. پیکربندی Cloud Storage برای Dataflow
• 26. پردازش داده‌های جریانی (Streaming Data)
• 27. پردازش داده‌های دسته‌ای (Batch Data)
• 28. تفاوت‌های پردازش جریانی و دسته‌ای
• 29. معماری‌های پردازش داده Real-time
• 30. کار با داده‌های ساختاریافته
• 31. کار با داده‌های نیمه ساختاریافته
• 32. کار با داده‌های بدون ساختار
• 33. استفاده از BigQuery به عنوان Sink
• 34. نحوه ادغام Dataflow با BigQuery
• 35. استفاده از BigQuery به عنوان Source
• 36. بهینه‌سازی خطوط لوله داده
• 37. عیب‌یابی خطوط لوله داده
• 38. مانیتورینگ خطوط لوله داده در Dataflow
• 39. مدیریت خطا در خطوط لوله داده
• 40. استفاده از Cloud Functions در معماری Serverless
• 41. ادغام Cloud Functions با Dataflow
• 42. استفاده از Cloud Run برای پردازش داده
• 43. ادغام Cloud Run با Dataflow
• 44. مفاهیم کلیدی مهندسی داده
• 45. طراحی پایگاه داده NoSQL برای پردازش ابری
• 46. استفاده از Firestore برای ذخیره‌سازی داده
• 47. استفاده از Bigtable برای پردازش کلان داده
• 48. امنیت در پردازش داده ابری
• 49. مدیریت دسترسی در Google Cloud
• 50. رمزنگاری داده‌ها در حالت سکون و انتقال
• 51. قوانین و مقررات حفاظت از داده‌ها
• 52. اصول حاکمیت داده (Data Governance)
• 53. پیاده‌سازی خطوط لوله داده برای تحلیل داده
• 54. کار با داده‌های سری زمانی
• 55. تکنیک‌های پیش‌پردازش داده
• 56. پاکسازی داده‌های ناقص
• 57. شناسایی و حذف داده‌های پرت
• 58. نرمال‌سازی و مقیاس‌بندی داده‌ها
• 59. مهندسی ویژگی (Feature Engineering)
• 60. مدل‌سازی پیش‌بینی‌کننده با داده‌های ابری
• 61. استفاده از AI Platform برای آموزش مدل
• 62. ادغام Dataflow با AI Platform
• 63. پیاده‌سازی خطوط لوله داده برای یادگیری ماشین
• 64. مفاهیم پایگاه داده رابطه‌ای
• 65. طراحی پایگاه داده رابطه‌ای برای محیط ابری
• 66. استفاده از Cloud SQL برای پایگاه داده رابطه‌ای
• 67. بهینه‌سازی کوئری در پایگاه داده رابطه‌ای
• 68. مفاهیم پایگاه داده گراف
• 69. استفاده از Neo4j برای پردازش داده‌های گراف
• 70. ادغام Dataflow با پایگاه داده گراف
• 71. معماری‌های داده مدرن
• 72. انبار داده (Data Warehouse)
• 73. دریاچه داده (Data Lake)
• 74. مفاهیم Data Mesh
• 75. پیاده‌سازی Data Mesh با سرویس‌های ابری
• 76. استفاده از Apache Kafka برای پردازش جریانی
• 77. ادغام Dataflow با Apache Kafka
• 78. معماری‌های رویداد محور (Event-Driven Architectures)
• 79. کار با الگوی Saga برای تراکنش‌های توزیع شده
• 80. استفاده از Cloud Pub/Sub به عنوان Event Bus
• 81. مفاهیم ETL و ELT
• 82. تفاوت‌های ETL و ELT
• 83. پیاده‌سازی ELT با Dataflow و BigQuery
• 84. مفاهیم Data Observability
• 85. نظارت بر کیفیت داده‌ها
• 86. ردیابی منبع داده (Data Lineage)
• 87. پایش عملکرد خطوط لوله داده
• 88. استفاده از ابزارهای مانیتورینگ Cloud Monitoring
• 89. مدیریت هزینه‌ها در پردازش داده ابری
• 90. بهینه‌سازی مصرف منابع در Dataflow
• 91. استراتژی‌های کاهش هزینه پردازش داده
• 92. ملاحظات قانونی در پردازش داده‌های حساس
• 93. حفظ حریم خصوصی داده‌ها
• 94. مقررات مربوط به داده‌های شخصی
• 95. اصول طراحی سیستم‌های مقیاس‌پذیر
• 96. تست و اعتبارسنجی خطوط لوله داده
• 97. استفاده از ابزارهای تست خودکار
• 98. رویکردهای CI/CD برای خطوط لوله داده
• 99. مقدمه‌ای بر معماری‌های Microservices
• 100. ادغام Dataflow با معماری‌های Microservices