فلش‌کارت‌های آموزشی ساخت pipelines داده‌ای انعطاف‌پذیر

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب ساخت pipelines داده‌ای انعطاف‌پذیر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدیریت داده‌های بزرگ

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه بر ساختارهای داده و پایپ‌لاین‌های داده
• 2. مفاهیم اساسی پایپ‌لاین داده
• 3. چرا پایپ‌لاین‌های داده انعطاف‌پذیر مهم هستند؟
• 4. اصول طراحی پایپ‌لاین داده انعطاف‌پذیر
• 5. معماری‌های رایج پایپ‌لاین داده
• 6. ارزیابی ابزارهای موجود برای ساخت پایپ‌لاین داده
• 7. محیط‌های توسعه پایپ‌لاین داده
• 8. شناخت نیازهای کسب‌وکار و داده
• 9. جمع‌آوری نیازمندی‌های فنی و عملیاتی
• 10. تعریف مقیاس‌پذیری و انعطاف‌پذیری در پایپ‌لاین داده
• 11. مدل‌سازی داده برای پایپ‌لاین‌های انعطاف‌پذیر
• 12. انواع داده‌ها و منابع داده
• 13. مدیریت داده‌های ساختاریافته، نیمه‌ساختاریافته و بدون ساختار
• 14. استانداردسازی فرمت‌های داده
• 15. طراحی طرح‌واره (Schema) پویا و تطبیقی
• 16. استفاده از ابزارهای مدیریت طرح‌واره
• 17. مراحل اصلی پایپ‌لاین داده (ETL/ELT)
• 18. استخراج داده (Extraction)
• 19. تبدیل داده (Transformation)
• 20. بارگذاری داده (Loading)
• 21. مفاهیم داده‌سازی (Data Modeling) در پایپ‌لاین
• 22. مدل‌سازی ابعادی (Dimensional Modeling)
• 23. مدل‌سازی داده‌محور (Data Vault Modeling)
• 24. استفاده از پایپ‌لاین‌های داده برای تحلیل داده
• 25. پایپ‌لاین‌های داده برای هوش تجاری (BI)
• 26. پایپ‌لاین‌های داده برای یادگیری ماشین (ML)
• 27. پایپ‌لاین‌های داده برای پردازش جریان داده (Stream Processing)
• 28. ابزارهای استخراج داده
• 29. اتصال به پایگاه‌های داده رابطه‌ای
• 30. اتصال به پایگاه‌های داده NoSQL
• 31. اتصال به APIها و سرویس‌های وب
• 32. اتصال به فایل‌ها (CSV, JSON, Parquet, Avro)
• 33. اتصال به سیستم‌های ذخیره‌سازی ابری (S3, GCS, ADLS)
• 34. ابزارهای تبدیل داده
• 35. عملیات فیلترینگ و مرتب‌سازی
• 36. عملیات تجمیع و گروه‌بندی
• 37. عملیات ادغام و پیوستن (Join)
• 38. عملیات نرمال‌سازی و پاکسازی داده
• 39. مدیریت داده‌های گمشده و پرت
• 40. تبدیلات مبتنی بر زبان برنامه‌نویسی (Python, SQL)
• 41. استفاده از کتابخانه‌های پردازش داده (Pandas, Spark)
• 42. ابزارهای بارگذاری داده
• 43. بارگذاری در پایگاه‌های داده رابطه‌ای
• 44. بارگذاری در پایگاه‌های داده NoSQL
• 45. بارگذاری در انبار داده (Data Warehouse)
• 46. بارگذاری در دریاچه داده (Data Lake)
• 47. بارگذاری در سیستم‌های پیام‌رسانی (Kafka, RabbitMQ)
• 48. فرهنگ داده (Data Governance) در پایپ‌لاین
• 49. اهمیت کیفیت داده
• 50. استراتژی‌های تضمین کیفیت داده
• 51. مدیریت فراداده (Metadata Management)
• 52. کتابخانه داده (Data Catalog)
• 53. امنیت داده در پایپ‌لاین
• 54. حریم خصوصی داده
• 55. مدیریت دسترسی به داده
• 56. رمزنگاری داده
• 57. مدیریت خطا و بازگردانی (Error Handling and Recovery)
• 58. شناسایی خطاها در مراحل مختلف پایپ‌لاین
• 59. استراتژی‌های مدیریت خطا
• 60. استراتژی‌های بازگردانی و تکرار
• 61. مستندسازی پایپ‌لاین داده
• 62. اهمیت مستندسازی
• 63. نحوه مستندسازی اجزای پایپ‌لاین
• 64. ابزارهای مستندسازی خودکار
• 65. نظارت و پایش (Monitoring and Alerting)
• 66. شاخص‌های کلیدی عملکرد (KPIs) برای پایپ‌لاین
• 67. ابزارهای نظارت بر عملکرد
• 68. تنظیم هشدار برای رویدادهای بحرانی
• 69. خودکارسازی پایپ‌لاین داده
• 70. ابزارهای زمان‌بندی (Scheduling Tools)
• 71. مدیریت وابستگی‌ها (Dependency Management)
• 72. اجرای خودکار پایپ‌لاین بر اساس رویداد
• 73. تست پایپ‌لاین داده
• 74. اهمیت تست
• 75. انواع تست (واحد، یکپارچگی، عملکرد)
• 76. استراتژی‌های تست خودکار
• 77. انعطاف‌پذیری در معماری پایپ‌لاین
• 78. طراحی ماژولار
• 79. استفاده از میکروسرویس‌ها
• 80. استانداردسازی رابط‌های بین اجزا
• 81. مدیریت پیکربندی (Configuration Management)
• 82. ذخیره‌سازی متمرکز پیکربندی
• 83. استفاده از متغیرهای محیطی
• 84. پشتیبانی از سناریوهای مختلف
• 85. تغییرات در منابع داده
• 86. تغییرات در نیازمندی‌های کسب‌وکار
• 87. تغییرات در الگوریتم‌های پردازش
• 88. پایپ‌لاین‌های داده برای پردازش دسته‌ای (Batch Processing)
• 89. پایپ‌لاین‌های داده برای پردازش جریانی (Stream Processing)
• 90. تفاوت‌های کلیدی و چالش‌ها
• 91. ابزارهای پردازش جریانی (Kafka Streams, Spark Streaming, Flink)
• 92. معماری‌های مبتنی بر رویداد (Event-Driven Architectures)
• 93. استفاده از صف‌های پیام (Message Queues)
• 94. طراحی پایپ‌لاین‌های قابل مقیاس‌پذیری افقی
• 95. استفاده از پردازش توزیع‌شده
• 96. مدیریت منابع در مقیاس بزرگ
• 97. هزینه‌بندی و بهینه‌سازی هزینه‌ها
• 98. پایپ‌لاین‌های داده در محیط‌های ابری (Cloud Environments)
• 99. AWS (S3, Glue, EMR, Lambda, Kinesis)
• 100. Azure (Blob Storage, Data Factory, Databricks, Event Hubs)