فلش‌کارت‌های آموزشی پردازش بهینه داده‌های جریانی در معماری مدالیون با Apache Hudi

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش بهینه داده‌های جریانی در معماری مدالیون با Apache Hudi

موضوع کلی: مهندسی داده و معماری‌های داده مدرن

موضوع میانی: پیاده‌سازی معماری مدالیون در پردازش داده‌های جریانی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های جریانی
• 2. مفاهیم کلیدی معماری داده
• 3. انواع معماری‌های داده
• 4. معماری دریاچه داده (Data Lake)
• 5. معماری انبار داده (Data Warehouse)
• 6. معماری مدالیون (Medallion Architecture)
• 7. مزایای معماری مدالیون
• 8. مراحل پیاده‌سازی معماری مدالیون
• 9. لایه برنز (Bronze Layer)
• 10. لایه نقره‌ای (Silver Layer)
• 11. لایه طلایی (Gold Layer)
• 12. اهمیت داده‌های جریانی
• 13. چالش‌های پردازش داده‌های جریانی
• 14. معرفی Apache Hudi
• 15. مفاهیم اصلی Apache Hudi
• 16. جدول‌های Hudi (Hudi Tables)
• 17. عملیات CRUD در Hudi
• 18. پشتیبانی از تراکنش‌ها در Hudi
• 19. انواع جداول Hudi (Copy on Write, Merge on Read)
• 20. مزایای استفاده از Hudi
• 21. کاربرد Hudi در معماری مدالیون
• 22. جریان داده به لایه برنز
• 23. فناوری‌های پردازش جریانی
• 24. Apache Kafka به عنوان منبع داده
• 25. RabbitMQ به عنوان منبع داده
• 26. Amazon Kinesis به عنوان منبع داده
• 27. Google Cloud Pub/Sub به عنوان منبع داده
• 28. تنظیمات اولیه Hudi
• 29. ایجاد جدول Hudi در لایه برنز
• 30. نوشتن داده‌های جریانی به جدول Hudi (برنز)
• 31. فرمت داده در لایه برنز
• 32. پاکسازی و اعتبارسنجی داده‌ها در لایه برنز
• 33. تبدیل داده‌ها از لایه برنز به نقره‌ای
• 34. عملیات تبدیل داده (Transformation)
• 35. استفاده از Spark برای تبدیل داده
• 36. پارتیشن‌بندی داده‌ها در Hudi
• 37. بهینه‌سازی پارتیشن‌بندی
• 38. فشرده‌سازی داده‌ها در Hudi
• 39. مدیریت طرحواره (Schema Management)
• 40. تکامل طرحواره (Schema Evolution)
• 41. نوشتن داده‌های جریانی به جدول Hudi (نقره)
• 42. کیفیت داده‌ها در لایه نقره‌ای
• 43. پاکسازی و نرمال‌سازی داده‌ها
• 44. تجمیع داده‌ها (Aggregation)
• 45. ساخت جداول تحلیلی در لایه نقره‌ای
• 46. تبدیل داده‌ها از لایه نقره‌ای به طلایی
• 47. کاربردهای لایه طلایی
• 48. ایجاد داشبوردهای تحلیلی
• 49. بهینه‌سازی پرس‌وجوها (Query Optimization)
• 50. نمایه‌سازی داده‌ها (Indexing)
• 51. زمان‌بندی وظایف (Job Scheduling)
• 52. Apache Airflow برای زمان‌بندی
• 53. استفاده از Hudi در سناریوهای واقعی
• 54. پردازش داده‌های IoT
• 55. پردازش داده‌های کلیک استریم
• 56. پردازش داده‌های مالی
• 57. پردازش داده‌های شبکه‌های اجتماعی
• 58. مدیریت چرخه عمر داده‌ها
• 59. حاکمیت داده‌ها (Data Governance)
• 60. امنیت داده‌ها در معماری مدالیون
• 61. نظارت و مانیتورینگ سیستم
• 62. عیب‌یابی مشکلات رایج
• 63. بهینه‌سازی عملکرد Apache Hudi
• 64. مقایسه Hudi با سایر ابزارها
• 65. Apache Iceberg
• 66. Delta Lake
• 67. ملاحظات عملیاتی
• 68. استقرار Hudi در محیط‌های ابری
• 69. استقرار Hudi در محیط‌های داخلی
• 70. مدیریت هزینه در معماری مدالیون
• 71. آموزش تیم توسعه
• 72. آینده پردازش داده‌های جریانی
• 73. روندهای جدید در معماری داده
• 74. کاربرد هوش مصنوعی در پردازش داده
• 75. یادگیری ماشین برای بهینه‌سازی
• 76. معماری‌های داده رویداد محور (Event-Driven Architectures)
• 77. امنیت داده‌ها در استانداردهای ملی
• 78. مقررات حفاظت از داده‌ها
• 79. اصول اخلاقی در پردازش داده
• 80. ملاحظات قانونی در استفاده از داده
• 81. اصول بانکداری بدون ربا در پردازش داده
• 82. عقود اسلامی در تراکنش‌های داده
• 83. مقررات بانک مرکزی در رمزارزها (ذکر کلی)
• 84. چارچوب‌های رسمی وزارت بهداشت (در صورت نیاز پزشکی)
• 85. خانواده ایرانی-اسلامی در تحلیل داده‌ها
• 86. منافع ملی در تحلیل داده‌های کلان
• 87. چارچوب رسمی در روابط بین‌الملل داده
• 88. مدیریت داده‌های حساس
• 89. مطابقت با استانداردهای ملی
• 90. اصول فقهی در نظام‌های اطلاعاتی
• 91. کلام اسلامی در مبانی داده
• 92. عرفان اسلامی در درک داده
• 93. پرهیز از عرفان‌های نوظهور
• 94. پرهیز از فرقه‌های انحرافی
• 95. پرهیز از هرگونه توهین به مقدسات
• 96. پرهیز از ترویج محتوای حرام
• 97. پرهیز از محتوای مبتذل
• 98. پرهیز از الگوهای پوششی غیرشرعی
• 99. پرهیز از ترویج بی‌حجابی
• 100. پرهیز از روابط خارج از چارچوب شرع