فلش‌کارت‌های آموزشی تسلط بر Google Dataform برای مدیریت و مهندسی داده در BigQuery

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر Google Dataform برای مدیریت و مهندسی داده در BigQuery

موضوع کلی: مدیریت و تحلیل داده‌های کلان

موضوع میانی: ابزارهای پیشرفته تحلیل و پردازش داده در ابر

📋 سرفصل‌های دوره

• 1. مقدمه ای بر مهندسی داده و BigQuery
• 2. آشنایی با Google Dataform
• 3. نصب و پیکربندی اولیه Dataform
• 4. مفاهیم کلیدی Dataform: جداول، ویوها، و اسکیماها
• 5. ایجاد اولین اسکریپت SQL در Dataform
• 6. مدیریت وابستگی‌ها در Dataform
• 7. اجرای اسکریپت‌ها و مشاهده نتایج
• 8. تنظیمات و پارامترهای Dataform
• 9. استفاده از متغیرها در Dataform
• 10. قالب‌بندی کد SQL در Dataform
• 11. مستندسازی کد در Dataform
• 12. مدیریت خطاها و اشکال‌زدایی
• 13. کنترل نسخه و ادغام کد با Git
• 14. کار با Git در Dataform
• 15. ادغام Dataform با Google Cloud Platform
• 16. اتصال Dataform به BigQuery
• 17. ساخت جداول داده‌ای در BigQuery با Dataform
• 18. ایجاد ویوهای داده‌ای در BigQuery
• 19. استفاده از مدل‌های داده‌ای در Dataform
• 20. انواع مدل‌های داده‌ای: جداول، ویوها، و Incremental
• 21. مدل‌های Incremental برای بهینه‌سازی پردازش
• 22. استفاده از کتابخانه‌های Dataform
• 23. ساخت کتابخانه‌های سفارشی
• 24. مدیریت اسکیماهای پیچیده
• 25. استراتژی‌های نام‌گذاری در Dataform
• 26. بهینه‌سازی کوئری‌های BigQuery با Dataform
• 27. استفاده از کامنت‌ها و توضیحات در کد
• 28. مدیریت ران‌های Dataform
• 29. زمان‌بندی اجرای Dataform
• 30. نظارت بر اجرای Dataform
• 31. بررسی لاگ‌های Dataform
• 32. مدیریت دسترسی‌ها و مجوزها در Dataform
• 33. استفاده از Service Accounts
• 34. امنیت در Dataform و BigQuery
• 35. مفاهیم انبار داده (Data Warehousing)
• 36. معماری انبار داده در BigQuery
• 37. طراحی شمای ستاره‌ای (Star Schema)
• 38. طراحی شمای برف‌دانه‌ای (Snowflake Schema)
• 39. مدل‌سازی داده برای تحلیل‌های تجاری
• 40. مفاهیم ETL و ELT
• 41. پیاده‌سازی ELT با Dataform و BigQuery
• 42. استفاده از Dataform برای دگرگونی داده (Data Transformation)
• 43. بهینه‌سازی عملکرد BigQuery
• 44. استفاده از پارتیشن‌بندی در BigQuery
• 45. استفاده از خوشه‌بندی (Clustering) در BigQuery
• 46. مدیریت هزینه‌ها در BigQuery
• 47. پایش هزینه‌ها با Dataform
• 48. مفاهیم داده‌های حجیم (Big Data)
• 49. معماری داده‌های حجیم در Google Cloud
• 50. ابزارهای اکوسیستم Google Cloud برای داده
• 51. Data Catalog و مدیریت ابرداده
• 52. Data Loss Prevention (DLP)
• 53. Dataform و Data Catalog
• 54. یکپارچه‌سازی Dataform با ابزارهای BI
• 55. Google Looker Studio (Data Studio)
• 56. اتصال Dataform به Looker Studio
• 57. ساخت داشبوردهای تحلیلی
• 58. مفاهیم کیفیت داده (Data Quality)
• 59. اهمیت کیفیت داده در تحلیل
• 60. پیاده‌سازی بررسی‌های کیفیت داده در Dataform
• 61. مدیریت داده‌های کثیف (Dirty Data)
• 62. تکنیک‌های پاکسازی داده
• 63. آموزش Dataform برای تیم‌های مهندسی داده
• 64. مدیریت پروژه‌های داده با Dataform
• 65. استقرار Dataform در محیط‌های تولیدی
• 66. بهترین شیوه‌ها در مهندسی داده
• 67. استفاده از Dataform برای Data Observability
• 68. مانیتورینگ و هشداردهی در Dataform
• 69. مدیریت چرخه عمر داده (Data Lifecycle Management)
• 70. مفاهیم Data Governance
• 71. پیاده‌سازی Data Governance با Dataform
• 72. امنیت داده در BigQuery و Dataform
• 73. ملاحظات حریم خصوصی داده
• 74. قوانین و مقررات حفاظت از داده
• 75. استفاده از Dataform برای گزارش‌گیری مالی
• 76. مدیریت داده‌های مشتریان
• 77. تحلیل رفتار مشتری با Dataform
• 78. بهینه‌سازی فرآیندهای کسب و کار
• 79. کاربرد Dataform در هوش تجاری (BI)
• 80. مفاهیم یادگیری ماشین (ML)
• 81. آماده‌سازی داده برای ML با Dataform
• 82. اتصال Dataform به Vertex AI
• 83. استفاده از Dataform برای آموزش مدل‌های ML
• 84. استقرار مدل‌های ML با BigQuery
• 85. مفاهیم داده‌های سری زمانی (Time Series Data)
• 86. تحلیل داده‌های سری زمانی با Dataform
• 87. پیش‌بینی با استفاده از داده‌های سری زمانی
• 88. مدیریت داده‌های مکانی (Geospatial Data)
• 89. تحلیل داده‌های مکانی با BigQuery
• 90. استفاده از Dataform برای داده‌های مکانی
• 91. مفاهیم داده‌های گراف (Graph Data)
• 92. مدیریت داده‌های گراف در BigQuery
• 93. تحلیل داده‌های گراف با Dataform
• 94. ملاحظات اخلاقی در تحلیل داده
• 95. مسئولیت‌پذیری در مهندسی داده
• 96. آینده مهندسی داده و Dataform
• 97. منابع تکمیلی و یادگیری بیشتر
• 98. تمرین‌های عملی پیشرفته
• 99. پروژه‌های کاربردی Dataform
• 100. خلاصه‌ای از تکنیک‌های پیشرفته Dataform