فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله داده در ابر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده در ابر

موضوع کلی: فناوری اطلاعات و ارتباطات

موضوع میانی: مدیریت داده و پایگاه‌های داده

📋 سرفصل‌های دوره

• 1. مبانی پایگاه‌های داده و مفاهیم ذخیره‌سازی داده
• 2. ساختار داده‌های رابطه‌ای و اصول طراحی پایگاه داده
• 3. مقدمه‌ای بر پایگاه‌های داده NoSQL
• 4. انواع مدل‌های داده در پایگاه‌های داده NoSQL
• 5. مفاهیم کلیدی در مدیریت پایگاه داده
• 6. اصول معماری و طراحی سیستم‌های پایگاه داده
• 7. مقدمه‌ای بر خدمات ابری و زیرساخت‌های ابری
• 8. معرفی Google Cloud Platform (GCP)
• 9. خدمات ذخیره‌سازی داده در GCP
• 10. Cloud Storage: معرفی و کاربردها
• 11. Cloud SQL: پایگاه داده رابطه‌ای مدیریت شده در GCP
• 12. Cloud Spanner: پایگاه داده توزیع شده و مقیاس‌پذیر
• 13. معرفی BigQuery: انبار داده تحلیلی در GCP
• 14. معماری BigQuery و مزایای آن
• 15. بارگذاری داده در BigQuery
• 16. پرس‌وجو و تحلیل داده در BigQuery
• 17. بهینه‌سازی عملکرد در BigQuery
• 18. امنیت داده‌ها در Google Cloud
• 19. مدیریت دسترسی و احراز هویت در GCP
• 20. رمزنگاری داده‌ها در حالت سکون و در حال انتقال
• 21. مقدمه‌ای بر خطوط لوله داده (Data Pipelines)
• 22. مفهوم پردازش دسته‌ای (Batch Processing)
• 23. مفهوم پردازش جریانی (Stream Processing)
• 24. تفاوت پردازش دسته‌ای و جریانی
• 25. ابزارهای ساخت خطوط لوله داده در GCP
• 26. Dataflow: سرویس پردازش جریانی و دسته‌ای در GCP
• 27. مقدمه‌ای بر Dataflow
• 28. نوشتن برنامه‌های Dataflow با Apache Beam
• 29. مدل برنامه‌نویسی Apache Beam
• 30. اجرای Dataflow در GCP
• 31. پایش و اشکال‌زدایی در Dataflow
• 32. Cloud Dataproc: سرویس مدیریت شده Hadoop و Spark در GCP
• 33. معرفی Cloud Dataproc
• 34. استفاده از Spark برای پردازش داده در Dataproc
• 35. استفاده از Hadoop MapReduce در Dataproc
• 36. انتقال داده بین سرویس‌های GCP
• 37. Data Fusion: سرویس یکپارچه‌سازی داده در GCP
• 38. معرفی Data Fusion
• 39. ساخت خطوط لوله داده با استفاده از Data Fusion
• 40. اتصال‌دهنده‌ها (Connectors) در Data Fusion
• 41. Cloud Composer: سرویس ارکستراسیون جریان کار در GCP
• 42. مقدمه‌ای بر Cloud Composer و Apache Airflow
• 43. طراحی جریان‌های کاری (DAGs) در Composer
• 44. اجرا و پایش جریان‌های کاری در Composer
• 45. مدیریت وابستگی‌ها و زمان‌بندی در Composer
• 46. امنیت و دسترسی در Cloud Composer
• 47. استفاده از Dataflow با Composer
• 48. استفاده از Dataproc با Composer
• 49. استفاده از BigQuery با Composer
• 50. طراحی خطوط لوله داده برای سناریوهای مختلف
• 51. خطوط لوله داده برای ETL (Extract, Transform, Load)
• 52. خطوط لوله داده برای ELT (Extract, Load, Transform)
• 53. خطوط لوله داده برای پردازش گزارشات
• 54. خطوط لوله داده برای یادگیری ماشین
• 55. بهینه‌سازی هزینه‌ها در خطوط لوله داده GCP
• 56. انتخاب سرویس مناسب برای نیازهای داده‌ای
• 57. بررسی الگوهای رایج در ساخت خطوط لوله داده
• 58. پایش و مدیریت خطوط لوله داده
• 59. مانیتورینگ و هشداردهی در GCP
• 60. مدیریت خطا و بازیابی در خطوط لوله داده
• 61. روش‌های تست خطوط لوله داده
• 62. مستندسازی خطوط لوله داده
• 63. مقدمه‌ای بر معماری میکروسرویس و داده
• 64. نقش پایگاه‌های داده در معماری میکروسرویس
• 65. استفاده از Kafka برای پردازش جریانی
• 66. مقدمه‌ای بر Data Catalog در GCP
• 67. اهمیت کاتالوگ داده برای مدیریت داده
• 68. تگ‌گذاری و طبقه‌بندی داده‌ها
• 69. جستجو و کشف داده‌ها با Data Catalog
• 70. امنیت داده‌ها و حاکمیت داده
• 71. مقدمه‌ای بر Data Loss Prevention (DLP) API
• 72. شناسایی و محافظت از داده‌های حساس
• 73. پایش و گزارش‌دهی فعالیت‌های داده‌ای
• 74. اصول مهندسی داده در محیط ابری
• 75. ابزارهای توسعه و مدیریت کد در GCP
• 76. کنترل نسخه و استقرار خطوط لوله داده
• 77. مقدمه‌ای بر Serverless Computing برای پردازش داده
• 78. استفاده از Cloud Functions برای پردازش رویداد
• 79. استفاده از Cloud Run برای اجرای کانتینرها
• 80. اخلاق در مهندسی داده
• 81. مسئولیت‌پذیری در مدیریت داده
• 82. حفظ حریم خصوصی کاربران
• 83. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین
• 84. نقش خطوط لوله داده در چرخه حیات ML
• 85. آماده‌سازی داده برای مدل‌های ML
• 86. استفاده از Vertex AI برای ML Ops
• 87. مقدمه‌ای بر Data Governance در GCP
• 88. اهمیت حاکمیت داده در سازمان‌ها
• 89. پیاده‌سازی سیاست‌های حاکمیت داده
• 90. بررسی چالش‌های پیاده‌سازی خطوط لوله داده
• 91. بهترین شیوه‌ها در ساخت خطوط لوله داده
• 92. آینده خطوط لوله داده در محیط ابری
• 93. نوآوری‌ها و روندهای جدید در پردازش داده
• 94. تکنیک‌های پیشرفته در BigQuery
• 95. بهینه‌سازی پایگاه‌های داده رابطه‌ای در GCP
• 96. مدیریت داده‌های حجیم (Big Data)
• 97. مقدمه‌ای بر Data Mesh
• 98. اصول Data Mesh و مزایای آن
• 99. مقایسه Data Mesh با معماری‌های سنتی