فلش‌کارت‌های آموزشی دگرگونی داده‌های خام به گنجینه‌های اطلاعاتی با Apache Hudi و DBT 4.0

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره دگرگونی داده‌های خام به گنجینه‌های اطلاعاتی با Apache Hudi و DBT 4.0

موضوع کلی: مهندسی داده و مدیریت داده‌های حجیم

موضوع میانی: بهینه‌سازی و آماده‌سازی داده‌ها برای تحلیل

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و اهمیت آن
• 2. مبانی مدیریت داده‌های حجیم
• 3. معرفی Apache Hudi و نقش آن در مهندسی داده
• 4. معرفی DBT و رویکرد آن در دگرگونی داده‌ها
• 5. آشنایی با چرخه حیات داده‌ها
• 6. اهمیت پاکسازی و آماده‌سازی داده‌ها
• 7. چالش‌های کار با داده‌های خام
• 8. اصول دگرگونی داده‌ها (Data Transformation)
• 9. شناخت انواع داده‌ها و ساختار آن‌ها
• 10. مفاهیم کلیدی در مدیریت داده‌های حجیم
• 11. معرفی فرمت‌های ذخیره‌سازی داده‌های حجیم
• 12. انواع ساختارهای داده‌ای در Hudi
• 13. عملیات پایه در Apache Hudi
• 14. مفاهیم ACID در Hudi
• 15. مدیریت تغییرات داده (Change Data Capture - CDC) در Hudi
• 16. استراتژی‌های نوشتن در Hudi (Copy On Write, Merge On Read)
• 17. پیکربندی جداول Hudi
• 18. نحوه ایجاد و مدیریت جداول Hudi
• 19. Querying Data in Hudi
• 20. بهینه‌سازی عملکرد جداول Hudi
• 21. مقدمه‌ای بر DBT (Data Build Tool)
• 22. فلسفه و معماری DBT
• 23. نصب و راه‌اندازی DBT
• 24. نوشتن مدل‌های DBT
• 25. تست‌نویسی در DBT
• 26. مستندسازی در DBT
• 27. مدیریت وابستگی‌ها در DBT
• 28. اجرای پروژه‌های DBT
• 29. استراتژی‌های توسعه در DBT
• 30. مدیریت کیفیت داده با DBT
• 31. یکپارچه‌سازی Hudi و DBT
• 32. استفاده از Hudi به عنوان منبع داده برای DBT
• 33. انتقال داده از Hudi به انبار داده با DBT
• 34. مدل‌سازی داده‌ها در انبار داده با استفاده از Hudi و DBT
• 35. بهینه‌سازی فرآیندهای ETL/ELT با Hudi و DBT
• 36. مدیریت داده‌های تاریخی و نسخه‌بندی با Hudi
• 37. استفاده از Hudi برای ایجاد Data Lakehouse
• 38. پیاده‌سازی استراتژی‌های Data Governance با Hudi و DBT
• 39. مدیریت دسترسی به داده‌ها در Hudi
• 40. امنیت داده‌ها در Hudi و DBT
• 41. پایش و مانیتورینگ فرآیندهای داده
• 42. عیب‌یابی مشکلات رایج در Hudi
• 43. عیب‌یابی مشکلات رایج در DBT
• 44. کار با داده‌های جریانی (Streaming Data) با Hudi
• 45. پردازش داده‌های جریانی با استفاده از Hudi و DBT
• 46. معرفی ابزارهای مرتبط با اکوسیستم Hudi
• 47. معرفی ابزارهای مرتبط با اکوسیستم DBT
• 48. مطالعات موردی (Case Studies) در مهندسی داده
• 49. چالش‌های مقیاس‌پذیری در مدیریت داده
• 50. روش‌های پیشرفته در پاکسازی داده
• 51. شناخت الگوهای داده‌ای (Data Patterns)
• 52. تکنیک‌های اعتبارسنجی داده
• 53. مدیریت داده‌های حساس و حریم خصوصی
• 54. اصول طراحی انبار داده (Data Warehousing)
• 55. اصول طراحی دریاچه داده (Data Lake)
• 56. مفاهیم Data Mesh
• 57. پیاده‌سازی Data Governance در مقیاس بزرگ
• 58. مدیریت داده‌های غیرساختاریافته
• 59. استفاده از Hudi برای داده‌های غیرساختاریافته
• 60. استفاده از DBT برای پردازش داده‌های غیرساختاریافته
• 61. مقدمه‌ای بر هوش تجاری (Business Intelligence)
• 62. کاربرد Hudi و DBT در BI
• 63. اصول داشبوردسازی و گزارش‌گیری
• 64. تکنیک‌های پیشرفته مدل‌سازی داده برای BI
• 65. مدیریت چرخه عمر داده‌ها
• 66. برنامه‌ریزی برای آینده مهندسی داده
• 67. روندهای نوظهور در مدیریت داده‌های حجیم
• 68. یادگیری ماشین و مدیریت داده
• 69. آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین
• 70. استفاده از Hudi و DBT در پروژه‌های ML
• 71. ملاحظات اخلاقی در مدیریت داده
• 72. قوانین و مقررات مرتبط با داده‌ها در ایران
• 73. استانداردهای فنی در مدیریت داده
• 74. بهینه‌سازی زیرساخت‌های ابری برای داده
• 75. مدیریت داده در محیط‌های چند ابری
• 76. استراتژی‌های مهاجرت داده
• 77. نکات عملی برای پیاده‌سازی موفق
• 78. مرور و جمع‌بندی مفاهیم کلیدی
• 79. بررسی پیشرفته قابلیت‌های Hudi
• 80. بررسی پیشرفته قابلیت‌های DBT
• 81. نکات تکمیلی در مورد تست‌نویسی DBT
• 82. مدیریت خطا و بازیابی در Hudi
• 83. پیاده‌سازی CI/CD برای پروژه‌های داده
• 84. استفاده از ابزارهای Orchestration
• 85. اتوماسیون فرآیندهای داده
• 86. جمع‌بندی نقش Hudi و DBT در اکوسیستم داده
• 87. آینده مهندسی داده با ابزارهای مدرن
• 88. آموزش عملی با سناریوهای واقعی
• 89. پروژه‌های تکمیلی برای تسلط بر مفاهیم
• 90. بررسی ابزارهای جایگزین و مقایسه
• 91. نکات مهم در انتخاب ابزار مناسب
• 92. مدیریت داده‌های مکانی (Geospatial Data)
• 93. کاربرد Hudi و DBT در داده‌های مکانی
• 94. کاربرد Hudi و DBT در داده‌های مالی (با رعایت چارچوب)
• 95. کاربرد Hudi و DBT در داده‌های سلامت (با رعایت چارچوب)
• 96. اصول امنیت در انتقال و ذخیره‌سازی داده
• 97. رویکردهای نوین در مهندسی داده