فلش‌کارت‌های آموزشی جامع مهندسی داده: از مفاهیم پایه تا پیاده‌سازی عملی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مهندسی داده: از مفاهیم پایه تا پیاده‌سازی عملی

موضوع کلی: مهندسی داده و زیرساخت‌های نرم‌افزاری

موضوع میانی: طراحی و پیاده‌سازی سیستم‌های پردازش داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و زیرساخت‌های نرم‌افزاری
• 2. اصول طراحی سیستم‌های نرم‌افزاری مقیاس‌پذیر
• 3. مفاهیم کلیدی در معماری نرم‌افزار
• 4. چرخه حیات توسعه نرم‌افزار (SDLC)
• 5. روش‌های توسعه چابک (Agile) و اسکرام
• 6. مبانی پایگاه‌های داده رابطه‌ای (SQL)
• 7. طراحی شمای پایگاه داده رابطه‌ای
• 8. بهینه‌سازی کوئری‌های SQL
• 9. مبانی پایگاه‌های داده NoSQL
• 10. انواع پایگاه‌های داده NoSQL و موارد استفاده
• 11. مقدمه‌ای بر پردازش داده‌های بزرگ (Big Data)
• 12. معماری هادوپ (Hadoop) و اکوسیستم آن
• 13. سیستم فایل توزیع شده هادوپ (HDFS)
• 14. مدیریت منابع در هادوپ (YARN)
• 15. پردازش دسته‌ای با MapReduce
• 16. مقدمه‌ای بر پردازش جریانی (Stream Processing)
• 17. Apache Spark: معماری و اصول
• 18. کار با Spark Core برای پردازش دسته‌ای
• 19. Spark SQL برای پردازش داده‌های ساختاریافته
• 20. Spark Streaming برای پردازش داده‌های جریانی
• 21. Apache Kafka: معماری و اصول
• 22. تولید و مصرف پیام در Kafka
• 23. مدیریت موضوعات (Topics) و پارتیشن‌ها در Kafka
• 24. پایپ‌لاین‌های داده (Data Pipelines)
• 25. اصول ETL (Extract, Transform, Load)
• 26. ابزارهای ETL و پیاده‌سازی
• 27. مقدمه‌ای بر Data Warehousing
• 28. طراحی Data Warehouse: Star Schema و Snowflake Schema
• 29. مفاهیم OLAP و OLTP
• 30. هوش تجاری (Business Intelligence) و ابزارهای آن
• 31. مقدمه‌ای بر Data Lake
• 32. تفاوت Data Lake و Data Warehouse
• 33. معماری Data Lake و اجزای آن
• 34. ذخیره‌سازی داده در Data Lake (Parquet, ORC)
• 35. مدیریت داده در Data Lake
• 36. امنیت در سیستم‌های داده
• 37. کنترل دسترسی و مجوزها
• 38. رمزنگاری داده‌ها
• 39. مقدمه‌ای بر مهندسی داده ابری
• 40. سرویس‌های ذخیره‌سازی ابری (مانند S3, ADLS)
• 41. سرویس‌های پردازش ابری (مانند EMR, Databricks)
• 42. سرویس‌های پایگاه داده ابری (مانند RDS, Aurora)
• 43. معماری‌های داده مدرن
• 44. معماری Lambda
• 45. معماری Kappa
• 46. معماری Delta Lake
• 47. مقدمه‌ای بر مهندسی داده با پایتون
• 48. کتابخانه‌های کلیدی پایتون برای داده (Pandas, NumPy)
• 49. کار با Apache Spark با PySpark
• 50. توسعه پایپ‌لاین‌های داده با Apache Airflow
• 51. مدیریت وظایف و گردش کار با Airflow
• 52. مانیتورینگ و لاگ‌گیری در سیستم‌های داده
• 53. عیب‌یابی در سیستم‌های داده
• 54. نظارت بر عملکرد (Performance Monitoring)
• 55. بهبود عملکرد پایپ‌لاین‌های داده
• 56. استقرار (Deployment) سیستم‌های داده
• 57. مقدمه‌ای بر DevOps برای مهندسی داده
• 58. کانتینرسازی (Containerization) با Docker
• 59. ارکستراسیون کانتینر با Kubernetes
• 60. مدیریت پیکربندی (Configuration Management)
• 61. مقدمه‌ای بر کیفیت داده (Data Quality)
• 62. قوانین و اعتبارسنجی داده
• 63. پاکسازی داده (Data Cleaning)
• 64. نظارت بر کیفیت داده
• 65. مقدمه‌ای بر مهندسی داده در زمان واقعی (Real-time)
• 66. الگوهای معماری برای پردازش زمان واقعی
• 67. ابزارهای پردازش زمان واقعی (مانند Flink, Storm)
• 68. کاربرد پردازش زمان واقعی در سناریوهای عملی
• 69. مقدمه‌ای بر مدیریت کلان‌داده (Metadata Management)
• 70. کاتالوگ داده (Data Catalog)
• 71. ردیابی داده (Data Lineage)
• 72. حاکمیت داده (Data Governance)
• 73. مقدمه‌ای بر امنیت داده در مقیاس بزرگ
• 74. رمزنگاری در حالت استراحت و در حال انتقال
• 75. مدیریت هویت و دسترسی (IAM)
• 76. قوانین و مقررات حفاظت از داده
• 77. مقدمه‌ای بر مدل‌سازی داده برای یادگیری ماشین
• 78. آماده‌سازی داده برای مدل‌های ML
• 79. مهندسی ویژگی (Feature Engineering)
• 80. ذخیره‌سازی و سرویس‌دهی به ویژگی‌ها
• 81. مقدمه‌ای بر اتوماسیون در مهندسی داده
• 82. اسکریپت‌نویسی برای وظایف تکراری
• 83. ابزارهای اتوماسیون گردش کار
• 84. بهینه‌سازی فرآیندهای مهندسی داده
• 85. مقدمه‌ای بر معماری‌های میکروسرویس و داده
• 86. الگوهای ارتباطی بین میکروسرویس‌ها
• 87. مدیریت داده در معماری میکروسرویس
• 88. چالش‌های مهندسی داده در سیستم‌های توزیع شده
• 89. مقدمه‌ای بر مباحث پیشرفته پایگاه‌های داده
• 90. پایگاه‌های داده گراف (Graph Databases)
• 91. پایگاه‌های داده ستونی (Columnar Databases)
• 92. پایگاه‌های داده کلید-مقدار (Key-Value Stores)
• 93. مقدمه‌ای بر مباحث پیشرفته پردازش داده
• 94. پردازش گراف با Spark GraphX
• 95. پردازش داده‌های مکانی-زمانی
• 96. استفاده از ابزارهای مدیریت داده مدرن
• 97. ابزارهای مدیریت داده در ابر
• 98. پلتفرم‌های یکپارچه داده
• 99. اصول و ابزارهای داده‌کاوی (Data Mining)
• 100. تکنیک‌های خوشه‌بندی (Clustering)