فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله داده دسته‌ای در Google Cloud Platform

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده دسته‌ای در Google Cloud Platform

موضوع کلی: مهندسی داده در محیط ابری

موضوع میانی: ساخت و مدیریت خطوط لوله داده دسته‌ای (Batch)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده در ابر
• 2. مبانی Google Cloud Platform برای مهندسی داده
• 3. آشنایی با سرویس‌های ذخیره‌سازی داده در GCP
• 4. انتخاب سرویس مناسب برای داده‌های دسته‌ای
• 5. مفاهیم خطوط لوله داده دسته‌ای
• 6. معماری خطوط لوله داده دسته‌ای
• 7. ابزارهای ارکستراسیون در GCP
• 8. Google Cloud Dataflow: اصول و مبانی
• 9. ساخت اولین خط لوله داده با Dataflow
• 10. پردازش داده‌های حجیم با Apache Beam
• 11. تکنیک‌های بهینه‌سازی در Dataflow
• 12. مدیریت خطا و بازیابی در خطوط لوله داده
• 13. مانیتورینگ و لاگ‌برداری در GCP
• 14. امنیت در خطوط لوله داده ابری
• 15. اصول طراحی خطوط لوله داده مقیاس‌پذیر
• 16. کار با داده‌های ساختاریافته و نیمه‌ساختاریافته
• 17. استفاده از BigQuery برای تحلیل داده‌های دسته‌ای
• 18. اتصال Dataflow به BigQuery
• 19. پردازش داده‌های متنی و لاگ‌ها
• 20. تکنیک‌های ETL با Dataflow
• 21. ساخت خطوط لوله داده برای گزارش‌گیری
• 22. مدیریت داده‌های تاریخی
• 23. زمان‌بندی اجرای خطوط لوله داده
• 24. Apache Airflow در GCP
• 25. ساخت خطوط لوله داده با Airflow
• 26. مقایسه Dataflow و Airflow
• 27. استفاده از Cloud Functions برای وظایف کوچک
• 28. معرفی Cloud Run برای پردازش‌های کانتینری
• 29. یکپارچه‌سازی سرویس‌های مختلف GCP
• 30. مدیریت وابستگی‌ها در خطوط لوله
• 31. تست خطوط لوله داده
• 32. پیاده‌سازی CI/CD برای خطوط لوله داده
• 33. اصول مهندسی قابل اعتماد داده
• 34. قابلیت اطمینان در خطوط لوله داده
• 35. مدیریت کیفیت داده
• 36. کشف و اعتبارسنجی داده
• 37. مستندسازی خطوط لوله داده
• 38. بهینه‌سازی هزینه‌ها در GCP
• 39. مدیریت چرخه عمر داده
• 40. برنامه‌ریزی ظرفیت در ابر
• 41. مقدمه‌ای بر داده‌های جریانی (Stream Processing)
• 42. تفاوت داده‌های دسته‌ای و جریانی
• 43. معرفی Cloud Pub/Sub
• 44. ساخت خطوط لوله داده جریانی با Dataflow
• 45. پردازش رویدادهای آنی
• 46. تکنیک‌های پنجره‌بندی در پردازش جریانی
• 47. مدیریت حالت در پردازش جریانی
• 48. امنیت داده‌های جریانی
• 49. کاربرد خطوط لوله داده در هوش تجاری
• 50. استفاده از داده‌ها برای پیش‌بینی
• 51. مقدمه‌ای بر یادگیری ماشین در ابر
• 52. آماده‌سازی داده برای مدل‌های ML
• 53. استفاده از Vertex AI برای ML
• 54. ساخت خطوط لوله داده برای ML Operations
• 55. مدیریت مدل‌های ML
• 56. استقرار مدل‌های ML
• 57. مانیتورینگ مدل‌های ML
• 58. اصول داده‌کاوی
• 59. تکنیک‌های خوشه‌بندی داده
• 60. تحلیل سری‌های زمانی
• 61. مقدمه‌ای بر مهندسی ویژگی (Feature Engineering)
• 62. طراحی پایپ‌لاین‌های Feature Store
• 63. کار با داده‌های مکانی
• 64. مقدمه‌ای بر گراف‌های دانش
• 65. ساخت خطوط لوله برای پردازش گراف
• 66. مدیریت داده‌های حجیم غیرساختاریافته
• 67. استفاده از Cloud Storage
• 68. مدیریت دسترسی به داده‌ها در ابر
• 69. رمزنگاری داده‌ها در GCP
• 70. پیکربندی شبکه‌های ابری
• 71. امنیت در سطح سرویس‌ها
• 72. اصول مدیریت پروژه در ابر
• 73. برنامه‌ریزی مهاجرت داده به ابر
• 74. استراتژی‌های بازگردانی اطلاعات
• 75. مفاهیم حاکمیت داده
• 76. استانداردهای کیفیت داده
• 77. مدیریت ریسک در پروژه‌های ابری
• 78. ارزیابی امنیتی خطوط لوله داده
• 79. بهینه‌سازی عملکرد خطوط لوله
• 80. کاهش تأخیر در پردازش داده
• 81. مدیریت منابع محاسباتی
• 82. استفاده از ماشین‌های مجازی در GCP
• 83. کانتینرسازی برنامه‌ها با Docker
• 84. مدیریت کانتینرها با Kubernetes
• 85. مقدمه‌ای بر DevOps
• 86. فرهنگ و اصول DevOps
• 87. ابزارهای DevOps در GCP
• 88. ساخت خطوط لوله داده با رویکرد DevOps
• 89. اتوماسیون در مهندسی داده
• 90. نظارت و هشداردهی پیشرفته
• 91. مدیریت تغییرات در خطوط لوله
• 92. اصول حفظ حریم خصوصی داده‌ها
• 93. مطابقت با مقررات حفاظت از داده
• 94. بررسی‌های امنیتی دوره‌ای
• 95. بهینه‌سازی مصرف انرژی در مراکز داده ابری
• 96. معماری‌های نوین در مهندسی داده
• 97. مقدمه‌ای بر داده‌های توزیع‌شده
• 98. روش‌های موازی‌سازی پردازش داده
• 99. مدیریت تراکنش‌ها در سیستم‌های توزیع‌شده
• 100. اصول طراحی سیستم‌های مقاوم در برابر خطا