دوره مبانی پایگاه داده‌های دریاچه (Lakehouse) در Databricks همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی پایگاه داده‌های دریاچه (Lakehouse) در Databricks

موضوع کلی: فناوری اطلاعات و علوم داده

موضوع میانی: مدیریت و پردازش داده‌های کلان

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پایگاه داده‌های دریاچه
• 2. معماری پایگاه داده‌های دریاچه
• 3. مزایای پایگاه داده‌های دریاچه
• 4. تفاوت پایگاه داده‌های دریاچه با انباره‌های داده و دریاچه‌های داده سنتی
• 5. معرفی پلتفرم Databricks
• 6. اجزای اصلی Databricks Lakehouse
• 7. مدیریت داده در Databricks
• 8. ذخیره‌سازی داده در Databricks
• 9. فرمت‌های فایل در Databricks (Parquet, Delta Lake)
• 10. معرفی Delta Lake
• 11. ویژگی‌های Delta Lake
• 12. قابلیت‌های ACID در Delta Lake
• 13. تکنیک‌های Time Travel در Delta Lake
• 14. Schema Evolution در Delta Lake
• 15. پارتیشن‌بندی داده در Delta Lake
• 16. بهینه‌سازی جداول Delta Lake
• 17. فشرده‌سازی داده در Delta Lake
• 18. فشرده‌سازی داده با استفاده از Z-Ordering
• 19. مدیریت داده‌های کلان (Big Data)
• 20. مفاهیم پردازش داده‌های کلان
• 21. معرفی Spark
• 22. معماری Spark
• 23. اجزای Spark (Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX)
• 24. Spark SQL و کار با داده‌های ساختاریافته
• 25. DataFrame API در Spark
• 26. عملیات روی DataFrame ها
• 27. توابع و عبارات در Spark SQL
• 28. انواع داده در Spark SQL
• 29. عملیات Join در Spark SQL
• 30. توابع پنجره‌ای (Window Functions)
• 31. کار با داده‌های بدون ساختار (Unstructured Data)
• 32. کار با داده‌های نیمه‌ساختاریافته (Semi-structured Data)
• 33. JSON در Spark SQL
• 34. XML در Spark SQL
• 35. امنیت داده در Databricks
• 36. مدیریت دسترسی به داده‌ها
• 37. سطوح دسترسی در Databricks
• 38. رمزنگاری داده‌ها
• 39. حاکمیت داده (Data Governance)
• 40. اصول حاکمیت داده
• 41. مدیریت کیفیت داده (Data Quality)
• 42. روش‌های تضمین کیفیت داده
• 43. مانیتورینگ کیفیت داده
• 44. پاکسازی داده (Data Cleaning)
• 45. تحول داده (Data Transformation)
• 46. پردازش دسته‌ای (Batch Processing)
• 47. پردازش جریانی (Streaming Processing)
• 48. معرفی Spark Streaming
• 49. کار با داده‌های جریانی در Databricks
• 50. پایپ‌لاین‌های داده (Data Pipelines)
• 51. طراحی پایپ‌لاین‌های داده
• 52. اتوماسیون پایپ‌لاین‌های داده
• 53. نظارت بر پایپ‌لاین‌های داده
• 54. ابزارهای Orchestration (مانند Airflow)
• 55. یکپارچگی با سایر سیستم‌ها
• 56. اتصال به منابع داده خارجی
• 57. اتصال به پایگاه‌های داده رابطه‌ای
• 58. اتصال به سرویس‌های ابری (AWS S3, Azure Data Lake Storage, Google Cloud Storage)
• 59. اتصال به سیستم‌های پیام‌رسانی (Kafka)
• 60. معرفی ابزارهای BI و مصورسازی داده
• 61. اتصال Databricks به ابزارهای BI
• 62. مصورسازی داده با استفاده از Databricks Notebooks
• 63. کار با کتابخانه‌های مصورسازی (Matplotlib, Seaborn, Plotly)
• 64. مقدمه‌ای بر یادگیری ماشین
• 65. کاربرد یادگیری ماشین در Databricks
• 66. معرفی MLflow
• 67. مدیریت چرخه عمر مدل‌های یادگیری ماشین
• 68. ردیابی آزمایش‌های یادگیری ماشین
• 69. بسته‌بندی مدل‌ها
• 70. استقرار مدل‌ها
• 71. تکنیک‌های پیشرفته در Databricks
• 72. کار با جداول دلتا بهینه شده
• 73. مدیریت داده‌های حجیم و پیچیده
• 74. بهینه‌سازی عملکرد پرس‌وجوها
• 75. مقیاس‌پذیری در Databricks
• 76. مدیریت هزینه‌ها در Databricks
• 77. ملاحظات امنیتی و انطباق با مقررات
• 78. مقررات حفاظت از داده‌ها (مانند GDPR)
• 79. اصول مدیریت داده اسلامی
• 80. مبانی فقهی در اقتصاد و بانکداری
• 81. عقود اسلامی در معاملات مالی
• 82. بانکداری بدون ربا
• 83. قوانین و مقررات بانک مرکزی جمهوری اسلامی ایران
• 84. شفافیت در معاملات مالی
• 85. نقش داده در تصمیم‌گیری‌های استراتژیک
• 86. اهمیت داده‌های صحیح و قابل اتکا
• 87. کاربرد داده در تحلیل کسب‌وکار
• 88. فرهنگ داده‌محور (Data-Driven Culture)
• 89. اخلاق در علم داده
• 90. مسئولیت‌پذیری در پردازش داده
• 91. حفظ حریم خصوصی افراد
• 92. اصول اخلاقی در جمع‌آوری و استفاده از داده
• 93. مبانی حقوقی داده در ایران
• 94. قوانین مربوط به داده‌های شخصی
• 95. حفاظت از اطلاعات حساس
• 96. انطباق با قوانین داخلی
• 97. توسعه پایدار و نقش داده‌ها
• 98. کاربرد داده در بهبود خدمات عمومی
• 99. تحلیل داده‌های اجتماعی
• 100. مدیریت منابع با استفاده از داده