فلش‌کارت‌های آموزشی ساخت و مدیریت دریاچه داده مدرن با استفاده از Cloud Composer در Google Cloud

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت و مدیریت دریاچه داده مدرن با استفاده از Cloud Composer در Google Cloud

موضوع کلی: مهندسی داده و زیرساخت‌های ابری

موضوع میانی: مدیریت و پردازش داده در محیط‌های ابری

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده
• 2. مقدمه‌ای بر دریاچه‌های داده
• 3. معماری دریاچه‌های داده مدرن
• 4. مزایای دریاچه‌های داده
• 5. خدمات ابری گوگل برای دریاچه‌های داده
• 6. معرفی Google Cloud
• 7. خدمات ذخیره‌سازی در Google Cloud
• 8. Google Cloud Storage
• 9. انواع کلاس‌های ذخیره‌سازی
• 10. سیاست‌های مدیریت چرخه عمر داده
• 11. معرفی Google Cloud Composer
• 12. Apache Airflow و Cloud Composer
• 13. کاربرد Cloud Composer در مهندسی داده
• 14. نصب و پیکربندی Cloud Composer
• 15. ایجاد محیط Cloud Composer
• 16. اتصال به سرویس‌های Google Cloud
• 17. مفهوم Directed Acyclic Graph (DAG)
• 18. نوشتن DAGهای اولیه
• 19. اجرای DAGها در Cloud Composer
• 20. زمان‌بندی اجرای DAGها
• 21. مدیریت خطا در DAGها
• 22. مانیتورینگ و لاگ‌برداری در Cloud Composer
• 23. استفاده از Variables و Connections
• 24. توسعه DAGهای پیچیده
• 25. پردازش داده‌های دسته‌ای (Batch Processing)
• 26. معرفی پردازش دسته‌ای
• 27. ابزارهای پردازش دسته‌ای در Google Cloud
• 28. Google Cloud Dataflow
• 29. مقدمه‌ای بر Dataflow
• 30. نوشتن Pipelineهای Dataflow
• 31. انتقال داده به Dataflow
• 32. پردازش داده با Dataflow
• 33. استفاده از Apache Beam
• 34. تکنیک‌های پیشرفته Dataflow
• 35. پردازش داده‌های جریانی (Streaming Processing)
• 36. معرفی پردازش جریانی
• 37. Google Cloud Pub/Sub
• 38. مفاهیم Pub/Sub
• 39. ارسال و دریافت پیام
• 40. یکپارچه‌سازی Pub/Sub با Dataflow
• 41. پردازش داده‌های جریانی با Dataflow
• 42. مدیریت وضعیت در پردازش جریانی
• 43. ذخیره‌سازی داده‌های پردازش شده
• 44. Google Cloud BigQuery
• 45. مقدمه‌ای بر BigQuery
• 46. معماری BigQuery
• 47. بارگذاری داده در BigQuery
• 48. پرس‌وجو در BigQuery
• 49. بهینه‌سازی پرس‌وجوها در BigQuery
• 50. امنیت داده در BigQuery
• 51. مدیریت دسترسی در BigQuery
• 52. انواع داده در BigQuery
• 53. Schema Evolution در BigQuery
• 54. Data Catalog در Google Cloud
• 55. مفاهیم Data Catalog
• 56. ثبت متادیتا در Data Catalog
• 57. جستجو و کشف داده
• 58. مدیریت دارایی‌های داده
• 59. حاکمیت داده (Data Governance)
• 60. اصول حاکمیت داده
• 61. اجرای حاکمیت داده در محیط ابری
• 62. مدیریت کیفیت داده (Data Quality)
• 63. اهمیت کیفیت داده
• 64. تکنیک‌های ارزیابی کیفیت داده
• 65. پیاده‌سازی تست‌های کیفیت داده
• 66. پاکسازی و اصلاح داده
• 67. امنیت داده در دریاچه داده
• 68. رمزنگاری داده‌ها
• 69. مدیریت هویت و دسترسی (IAM)
• 70. کنترل دسترسی مبتنی بر نقش (RBAC)
• 71. پایش امنیتی
• 72. پیاده‌سازی بهترین شیوه‌ها در Google Cloud
• 73. مدیریت هزینه‌ها در دریاچه داده ابری
• 74. برنامه‌ریزی و بهینه‌سازی هزینه‌ها
• 75. نظارت بر مصرف منابع
• 76. استراتژی‌های کاهش هزینه
• 77. ملاحظات عملیاتی
• 78. استقرار و نگهداری دریاچه داده
• 79. پایش عملکرد
• 80. بازیابی از فاجعه (Disaster Recovery)
• 81. مستندسازی دریاچه داده
• 82. آموزش کاربران
• 83. مقدمه‌ای بر معماری‌های داده مدرن
• 84. تکامل دریاچه‌های داده
• 85. مزایای دریاچه داده مدرن
• 86. چالش‌های مدرنیزاسیون دریاچه داده
• 87. نقش Cloud Composer در مدرنیزاسیون
• 88. معرفی Google Cloud Dataproc
• 89. کاربرد Dataproc برای Big Data
• 90. اجرای Spark و Hadoop در Dataproc
• 91. مقایسه Dataflow و Dataproc
• 92. یکپارچه‌سازی Dataproc با دریاچه داده
• 93. هوش تجاری (Business Intelligence)
• 94. مقدمه‌ای بر BI
• 95. ابزارهای BI در Google Cloud
• 96. Looker و BigQuery
• 97. ساخت داشبوردهای تحلیلی
• 98. تحلیل داده‌های دریاچه داده
• 99. یادگیری ماشین (Machine Learning)
• 100. مقدمه‌ای بر ML