فلش‌کارت‌های آموزشی یادگیری Apache Airflow با Google Cloud Composer: اتوماسیون گردش کار داده بدون نصب محلی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری Apache Airflow با Google Cloud Composer: اتوماسیون گردش کار داده بدون نصب محلی

موضوع کلی: فناوری اطلاعات و ابزارهای توسعه نرم‌افزار

موضوع میانی: مدیریت فرآیندهای داده و اتوماسیون

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر اتوماسیون گردش کار داده
• 2. آشنایی با Apache Airflow
• 3. نصب و راه‌اندازی Airflow (مفهومی، بدون نصب محلی)
• 4. معرفی Google Cloud Composer
• 5. مزایای استفاده از Cloud Composer
• 6. گردش کار (DAG) در Airflow
• 7. ساختار یک DAG
• 8. اجزای اصلی یک DAG
• 9. اپراتورها در Airflow
• 10. انواع اپراتورهای پایه
• 11. نوشتن اولین DAG ساده
• 12. پارامترهای DAG
• 13. تنظیم زمان‌بندی DAG
• 14. اجرای DAG
• 15. مانیتورینگ DAG ها
• 16. مدیریت DAG ها
• 17. وظایف (Tasks) در Airflow
• 18. تعریف وظایف
• 19. وابستگی بین وظایف
• 20. گذار (Transitions) بین وظایف
• 21. اجرای موازی وظایف
• 22. مدیریت وضعیت وظایف
• 23. لاگ‌های وظایف
• 24. متغیرهای DAG (Variables)
• 25. اتصال‌دهنده‌ها (Connections) در Airflow
• 26. مدیریت اتصال‌دهنده‌ها
• 27. مخازن (XComs) برای تبادل داده
• 28. استفاده از XComs
• 29. انواع داده در XComs
• 30. پایش و عیب‌یابی XComs
• 31. ایجاد DAG های پیچیده
• 32. استفاده از TaskGroups
• 33. دسته‌بندی وظایف با TaskGroups
• 34. ایجاد ساختارهای سلسله مراتبی
• 35. استفاده از SubDAGs (مفهومی)
• 36. ملاحظات امنیتی در SubDAGs
• 37. مدیریت کاربران و نقش‌ها در Airflow
• 38. سطوح دسترسی در Airflow
• 39. تنظیمات امنیتی Cloud Composer
• 40. محیط‌های Cloud Composer
• 41. ایجاد محیط Cloud Composer
• 42. پیکربندی محیط
• 43. مقیاس‌پذیری Cloud Composer
• 44. تنظیمات منابع محاسباتی
• 45. مدیریت هزینه‌ها در Cloud Composer
• 46. بهینه‌سازی عملکرد DAG ها
• 47. شناسایی گلوگاه‌ها در DAG ها
• 48. نوشتن DAG های کارآمد
• 49. استفاده از اپراتورهای سفارشی
• 50. توسعه اپراتورهای سفارشی
• 51. ثبت اپراتورهای سفارشی
• 52. اتصال Airflow به سرویس‌های Google Cloud
• 53. استفاده از اپراتورهای Google Cloud
• 54. BigQuery و Airflow
• 55. Dataproc و Airflow
• 56. Cloud Storage و Airflow
• 57. Dataflow و Airflow
• 58. Vertex AI و Airflow
• 59. امنیت داده در Cloud Composer
• 60. رمزنگاری داده‌ها
• 61. مدیریت کلیدها
• 62. پایش امنیتی محیط
• 63. گزارش‌دهی رویدادهای امنیتی
• 64. اتوماسیون فرآیندهای ETL/ELT
• 65. مثال: ETL با BigQuery
• 66. مثال: ELT با Dataproc
• 67. پردازش داده‌های جریانی با Airflow
• 68. اتصال به Pub/Sub
• 69. پردازش پیام‌ها
• 70. کار با داده‌های حجیم
• 71. استفاده از Batch Processing
• 72. بهینه‌سازی مصرف حافظه
• 73. مدیریت خطا در DAG ها
• 74. استراتژی‌های بازتلاش (Retries)
• 75. مدیریت زمان انقضای وظایف
• 76. اعلان‌دهی خطاها
• 77. ایجاد هشدار (Alerts)
• 78. تنظیم کانال‌های اعلان
• 79. مستندسازی DAG ها
• 80. روش‌های مستندسازی
• 81. اهمیت مستندسازی
• 82. نکات پیشرفته در Airflow
• 83. استفاده از Jinja Templating
• 84. متغیرهای محیطی
• 85. مدیریت وابستگی‌های پکیج
• 86. به‌روزرسانی Cloud Composer
• 87. انتقال DAG ها بین محیط‌ها
• 88. بهترین شیوه‌ها در توسعه Airflow
• 89. اصول طراحی DAG های پایدار
• 90. تست DAG ها
• 91. مراجعات به منابع رسمی Google Cloud
• 92. مقدمه‌ای بر معماری داده مدرن
• 93. نقش اتوماسیون در معماری داده
• 94. آینده اتوماسیون گردش کار داده
• 95. جمع‌بندی و نگاه به آینده