فلش‌کارت‌های آموزشی بهینه‌سازی فرآیندهای داده با BigQuery و DataForm

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی فرآیندهای داده با BigQuery و DataForm

موضوع کلی: مدیریت و تحلیل داده‌های کلان

موضوع میانی: ابزارهای پیشرفته مدیریت و تبدیل داده در محیط ابری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر داده‌های کلان و اهمیت آن‌ها
• 2. آشنایی با اکوسیستم داده‌های کلان
• 3. معرفی Google Cloud Platform برای داده‌های کلان
• 4. اصول طراحی انبار داده مدرن
• 5. مفاهیم کلیدی BigQuery: جداول، مجموعه‌ها، پروژه‌ها
• 6. ساختار داده در BigQuery: ستونی در مقابل سطری
• 7. پرس‌وجوهای اساسی در BigQuery با SQL
• 8. بهینه‌سازی پرس‌وجوها در BigQuery
• 9. توابع و عبارات SQL در BigQuery
• 10. کار با انواع داده‌های پیچیده در BigQuery
• 11. تقسیم‌بندی (Partitioning) جداول در BigQuery
• 12. کلاسترینگ (Clustering) جداول در BigQuery
• 13. مدیریت هزینه‌ها در BigQuery
• 14. امنیت داده‌ها در BigQuery: کنترل دسترسی
• 15. مدیریت کاربران و نقش‌ها در BigQuery
• 16. استفاده از BigQuery ML برای یادگیری ماشین
• 17. مقدمه‌ای بر DataForm
• 18. چرا DataForm؟ مزایا و کاربردها
• 19. نصب و پیکربندی DataForm
• 20. اصول توسعه با DataForm: فایل‌های SQLX
• 21. تعریف جداول و نماها (Views) در DataForm
• 22. ایجاد و مدیریت تبدیل‌های داده (Data Transformations)
• 23. تعریف وابستگی‌ها بین جداول و تبدیل‌ها
• 24. مدیریت کیفیت داده‌ها با DataForm
• 25. اجرای گردش کار (Workflow) در DataForm
• 26. نشر (Deploy) کد DataForm
• 27. مدیریت نسخه (Versioning) در DataForm
• 28. بررسی و اعتبارسنجی کد DataForm
• 29. اتصال BigQuery و DataForm
• 30. استفاده از متغیرها در DataForm
• 31. مدیریت پیکربندی در DataForm
• 32. استفاده از Git برای کنترل نسخه در DataForm
• 33. روش‌های پیشرفته در DataForm: ماکروها
• 34. مدیریت داده‌های جریانی (Streaming Data) با BigQuery
• 35. بارگذاری داده‌ها در BigQuery: روش‌های مختلف
• 36. یکپارچه‌سازی BigQuery با سرویس‌های Google Cloud دیگر
• 37. تحلیل داده‌های کلان با استفاده از ابزارهای بصری‌سازی
• 38. مقدمه‌ای بر هوش تجاری (BI) و داده‌های کلان
• 39. استانداردهای مهندسی داده در ایران
• 40. ملاحظات امنیتی در پردازش داده‌های کلان در ایران
• 41. قوانین و مقررات حریم خصوصی داده‌ها در ایران
• 42. مدیریت داده‌های حساس در محیط ابری
• 43. اصول اخلاقی در تحلیل داده‌های کلان
• 44. کاربرد BigQuery در تحلیل داده‌های سازمانی
• 45. بهینه‌سازی عملکرد BigQuery برای پرس‌وجوهای پیچیده
• 46. استفاده از BigQuery BI Engine برای داشبوردهای سریع
• 47. مقدمه‌ای بر Data Mesh و ارتباط آن با BigQuery و DataForm
• 48. طراحی استراتژی داده در سازمان
• 49. نقش مهندس داده در چرخه حیات داده
• 50. مدیریت چرخه حیات داده (Data Lifecycle Management)
• 51. ملاحظات مربوط به ذخیره‌سازی داده در BigQuery
• 52. بازیابی داده‌ها و طرح‌های اضطراری (Disaster Recovery)
• 53. امنیت لایه‌ای در BigQuery
• 54. مدیریت هزینه‌های ابری و بهینه‌سازی آن
• 55. مقدمه‌ای بر داده‌های مکانی (Geospatial Data) در BigQuery
• 56. تحلیل داده‌های مکانی با BigQuery
• 57. کاربرد BigQuery در تحلیل داده‌های مشتریان
• 58. مقدمه‌ای بر داده‌های سری زمانی (Time Series Data)
• 59. تحلیل داده‌های سری زمانی با BigQuery
• 60. استفاده از DataForm برای مدیریت داده‌های حجیم
• 61. بهینه‌سازی فرآیندهای ETL/ELT با DataForm
• 62. استراتژی‌های مدیریت داده‌های پاک و قابل اعتماد
• 63. ساختاردهی مجدد داده‌ها با DataForm
• 64. مستندسازی فرآیندهای داده با DataForm
• 65. مدیریت تغییرات داده‌ای با DataForm
• 66. استفاده از DataForm در پروژه‌های بزرگ مقیاس
• 67. بهینه‌سازی هزینه‌های پردازش داده در DataForm
• 68. امنیت در DataForm: کنترل دسترسی به مخازن
• 69. معرفی ابزارهای مدیریت داده در اکوسیستم Google Cloud
• 70. کاربرد BigQuery برای تحلیل داده‌های مالی
• 71. تحلیل داده‌های بازاریابی با BigQuery
• 72. مقدمه‌ای بر الگوریتم‌های یادگیری ماشین در BigQuery
• 73. آموزش مدل‌های یادگیری ماشین ساده در BigQuery ML
• 74. ارزیابی مدل‌های یادگیری ماشین در BigQuery ML
• 75. کاربرد BigQuery در حوزه سلامت (با رعایت قوانین)
• 76. مدیریت داده‌های آموزشی در BigQuery
• 77. تحلیل داده‌های حمل و نقل با BigQuery
• 78. مقدمه‌ای بر داده‌های شبکه‌های اجتماعی (با رعایت قوانین)
• 79. تحلیل داده‌های شبکه‌های اجتماعی با BigQuery
• 80. استفاده از DataForm برای خودکارسازی گزارش‌دهی
• 81. مدیریت داده‌های ورود (Log Data) با BigQuery
• 82. بهینه‌سازی پرس‌وجوها برای گزارش‌دهی مستمر
• 83. انتقال داده‌ها از منابع مختلف به BigQuery
• 84. استفاده از Dataform برای مدیریت داده‌های خام
• 85. اصول طراحی پایدار برای فرآیندهای داده
• 86. مدیریت کیفیت داده در مقیاس سازمانی
• 87. استراتژی‌های پاکسازی داده با DataForm
• 88. برنامه‌ریزی برای مقیاس‌پذیری در BigQuery
• 89. ارتباط BigQuery با ابزارهای داده‌کاوی
• 90. مقدمه‌ای بر مفاهیم داده‌های بزرگ در صنعت
• 91. کاربرد BigQuery در تحلیل داده‌های تولید
• 92. مدیریت داده‌های مربوط به زنجیره تأمین با BigQuery
• 93. اصول حاکمیت داده (Data Governance)
• 94. استفاده از DataForm برای ایجاد مخازن داده (Data Marts)
• 95. بهینه‌سازی زمان پردازش داده‌ها در DataForm
• 96. مدیریت خطاها و استثنائات در DataForm
• 97. اصول توسعه نرم‌افزار در پروژه‌های داده
• 98. مقدمه‌ای بر معماری‌های داده مدرن
• 99. ارتباط BigQuery و DataForm با معماری داده مدرن
• 100. چالش‌های پیاده‌سازی راهکارهای داده کلان