فلش‌کارت‌های آموزشی استریم داده‌های کارآمد در معماری مدالیون با Apache Hudi

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استریم داده‌های کارآمد در معماری مدالیون با Apache Hudi

موضوع کلی: مدیریت داده‌های کلان و معماری‌های داده

موضوع میانی: معماری مدالیون و داده‌های جریانی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدیریت داده‌های کلان
• 2. اصول معماری‌های داده مدرن
• 3. مفاهیم کلیدی داده‌های کلان
• 4. معرفی معماری مدالیون
• 5. لایه‌های معماری مدالیون
• 6. مزایای معماری مدالیون
• 7. مقدمه‌ای بر داده‌های جریانی
• 8. معماری‌های داده جریانی
• 9. چالش‌های داده‌های جریانی
• 10. مقدمه‌ای بر Apache Hudi
• 11. تاریخچه و اهداف Apache Hudi
• 12. قابلیت‌های اصلی Apache Hudi
• 13. مفهوم جدول در Apache Hudi
• 14. انواع جداول در Apache Hudi (CoW, MoR)
• 15. مقایسه CoW و MoR
• 16. نحوه استریم داده به Hudi
• 17. اتصال به منابع داده جریانی
• 18. Apache Kafka و Hudi
• 19. Apache Flink و Hudi
• 20. Apache Spark Streaming و Hudi
• 21. پیاده‌سازی استریم داده در لایه Raw
• 22. پاکسازی و نرمالیزه‌سازی داده‌ها
• 23. انتقال داده به لایه Bronze
• 24. مدیریت تغییرات داده (CDC) با Hudi
• 25. پشتیبانی Hudi از CDC
• 26. استراتژی‌های نوشتن داده در Hudi
• 27. بروزرسانی و حذف داده‌ها در Hudi
• 28. ایندکس‌گذاری در Hudi
• 29. انواع ایندکس‌ها در Hudi
• 30. بهینه‌سازی عملکرد ایندکس‌گذاری
• 31. استفاده از Hudi در لایه Silver
• 32. انتقال داده از Bronze به Silver
• 33. انطباق با استانداردهای داده
• 34. قوانین کسب و کار و تبدیل داده
• 35. مدیریت کیفیت داده در لایه Silver
• 36. کاربرد Hudi در لایه Silver
• 37. استفاده از Hudi در لایه Gold
• 38. انتقال داده از Silver به Gold
• 39. تجمیع و خلاصه‌سازی داده‌ها
• 40. تحلیل داده و گزارش‌گیری
• 41. بهینه‌سازی برای کوئری‌های تحلیلی
• 42. کاربرد Hudi در لایه Gold
• 43. معماری مدالیون و داده‌های جریانی با Hudi
• 44. طراحی معماری داده جریانی
• 45. انتخاب ابزار مناسب برای استریم
• 46. پیکربندی Apache Hudi
• 47. تنظیمات اولیه Hudi
• 48. پیکربندی انواع جداول (CoW/MoR)
• 49. تنظیمات ایندکس‌گذاری Hudi
• 50. مدیریت طرح‌بندی داده (Schema)
• 51. تکامل طرح‌بندی داده در Hudi
• 52. ملاحظات امنیتی در معماری داده
• 53. کنترل دسترسی به داده‌ها
• 54. مدیریت هزینه‌ها در معماری داده
• 55. نظارت و مانیتورینگ سیستم
• 56. عیب‌یابی و رفع مشکلات
• 57. بهترین شیوه‌ها در معماری مدالیون
• 58. بهترین شیوه‌ها در داده‌های جریانی
• 59. بهترین شیوه‌ها با Apache Hudi
• 60. ملاحظات عملیاتی Hudi
• 61. مدیریت عملیات Hudi
• 62. تست و اعتبارسنجی داده‌ها
• 63. خودکارسازی فرآیندهای داده
• 64. مهاجرت به معماری مدالیون
• 65. مقیاس‌پذیری معماری داده
• 66. ملاحظات مربوط به حاکمیت داده
• 67. مقدمه‌ای بر امنیت داده‌ها
• 68. رمزنگاری داده‌ها
• 69. ملاحظات قانونی و انطباق
• 70. حفاظت از داده‌های شخصی
• 71. مدیریت چرخه عمر داده
• 72. استفاده از Hudi با پلتفرم‌های ابری
• 73. AWS S3 و Hudi
• 74. Azure Data Lake Storage و Hudi
• 75. Google Cloud Storage و Hudi
• 76. یکپارچه‌سازی Hudi با ابزارهای BI
• 77. مقدمه‌ای بر یادگیری ماشین و داده‌های جریانی
• 78. کاربرد داده‌های جریانی در ML
• 79. کاربرد Hudi در خطوط لوله ML
• 80. مدیریت داده‌های سری زمانی
• 81. تحلیل رویدادهای بلادرنگ
• 82. معماری‌های داده پیشرفته
• 83. مقایسه معماری مدالیون با سایر معماری‌ها
• 84. آینده معماری‌های داده
• 85. چالش‌های پیاده‌سازی
• 86. درس‌های آموخته شده
• 87. مطالعه موردی: پیاده‌سازی موفق
• 88. مطالعه موردی: چالش‌های رایج
• 89. جمع‌بندی مباحث
• 90. پرسش و پاسخ