دوره ساخت pipelines داده‌ای انعطاف‌پذیر و مقیاس‌پذیر همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت pipelines داده‌ای انعطاف‌پذیر و مقیاس‌پذیر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدیریت داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. مبانی پایپ‌لاین‌های داده‌ای
• 2. مفاهیم کلیدی در پردازش داده
• 3. انواع ساختارهای پایپ‌لاین داده
• 4. معماری‌های پایپ‌لاین داده
• 5. مراحل اصلی پایپ‌لاین داده
• 6. جمع‌آوری داده از منابع مختلف
• 7. پاکسازی و پیش‌پردازش داده
• 8. تبدیل و نرمال‌سازی داده
• 9. ذخیره‌سازی داده‌های پردازش‌شده
• 10. انواع پایگاه‌های داده رابطه‌ای
• 11. انواع پایگاه‌های داده NoSQL
• 12. انتخاب پایگاه داده مناسب
• 13. مفاهیم داده‌های جریانی (Streaming Data)
• 14. پردازش داده‌های جریانی در زمان واقعی
• 15. ابزارهای پردازش داده‌های جریانی
• 16. معماری‌های داده‌های جریانی
• 17. مفاهیم داده‌های دسته‌ای (Batch Data)
• 18. پردازش داده‌های دسته‌ای
• 19. ابزارهای پردازش داده‌های دسته‌ای
• 20. مقایسه داده‌های جریانی و دسته‌ای
• 21. مفهوم Data Lake
• 22. طراحی و پیاده‌سازی Data Lake
• 23. مدیریت و حکمرانی داده در Data Lake
• 24. مفهوم Data Warehouse
• 25. طراحی و پیاده‌سازی Data Warehouse
• 26. مقایسه Data Lake و Data Warehouse
• 27. مفاهیم ETL و ELT
• 28. ابزارهای ETL
• 29. طراحی فرآیندهای ETL
• 30. مفاهیم Data Governance
• 31. استانداردهای کیفیت داده
• 32. مدیریت ابرداده (Metadata Management)
• 33. امنیت داده در پایپ‌لاین‌ها
• 34. رمزنگاری داده‌ها
• 35. کنترل دسترسی به داده‌ها
• 36. مدیریت هویت و دسترسی
• 37. مفاهیم DevOps در پایپ‌لاین‌های داده
• 38. اتوماسیون در پایپ‌لاین‌های داده
• 39. مدیریت پیکربندی
• 40. نظارت و لاگ‌گیری در پایپ‌لاین‌ها
• 41. شناسایی و رفع خطاها
• 42. مدیریت نسخه‌بندی در پایپ‌لاین‌ها
• 43. مفهوم IaC (Infrastructure as Code)
• 44. پیاده‌سازی IaC برای پایپ‌لاین‌ها
• 45. مقدمه‌ای بر کانتینرسازی (Containerization)
• 46. مفاهیم Docker
• 47. ساخت و مدیریت ایمیج‌های Docker
• 48. مفاهیم Kubernetes
• 49. استقرار پایپ‌لاین‌ها با Kubernetes
• 50. مدیریت منابع در Kubernetes
• 51. مقدمه‌ای بر پردازش ابری
• 52. سرویس‌های ابری برای پایپ‌لاین‌های داده
• 53. AWS برای پایپ‌لاین‌های داده
• 54. Azure برای پایپ‌لاین‌های داده
• 55. Google Cloud برای پایپ‌لاین‌های داده
• 56. مقایسه پلتفرم‌های ابری
• 57. طراحی پایپ‌لاین‌های مقیاس‌پذیر
• 58. تکنیک‌های مقیاس‌پذیری افقی
• 59. تکنیک‌های مقیاس‌پذیری عمودی
• 60. مدیریت هزینه‌ها در پایپ‌لاین‌های ابری
• 61. بهینه‌سازی عملکرد پایپ‌لاین‌ها
• 62. تست در پایپ‌لاین‌های داده
• 63. انواع تست (واحد، یکپارچه‌سازی، پذیرش)
• 64. خودکارسازی تست‌ها
• 65. مستندسازی پایپ‌لاین‌های داده
• 66. اصول مستندسازی مؤثر
• 67. ابزارهای مستندسازی
• 68. ملاحظات قانونی و شرعی در پردازش داده
• 69. حریم خصوصی داده‌ها
• 70. مقررات مربوط به داده در ایران
• 71. انطباق با قوانین داخلی
• 72. مدیریت ریسک در پایپ‌لاین‌های داده
• 73. برنامه‌ریزی بازیابی از فاجعه (Disaster Recovery)
• 74. پایداری سیستم‌ها
• 75. مفاهیم هوش مصنوعی در پایپ‌لاین‌ها
• 76. یادگیری ماشین برای پردازش داده
• 77. شبکه‌های عصبی در پایپ‌لاین‌ها
• 78. پردازش زبان طبیعی در پایپ‌لاین‌ها
• 79. مدل‌های زبانی بزرگ (LLMs) و کاربرد آن‌ها
• 80. ملاحظات اخلاقی در استفاده از هوش مصنوعی
• 81. پایپ‌لاین‌های داده برای تحلیل کسب‌وکار
• 82. گزارش‌دهی و داشبوردهای داده‌ای
• 83. تصویرسازی داده (Data Visualization)
• 84. ابزارهای تصویرسازی داده
• 85. مقدمه‌ای بر معماری میکروسرویس
• 86. کاربرد میکروسرویس در پایپ‌لاین‌های داده
• 87. مباحث پیشرفته در مدیریت داده
• 88. تکنیک‌های فشرده‌سازی داده
• 89. فشرده‌سازی داده‌های جریانی
• 90. مدیریت داده‌های حجیم (Big Data)
• 91. معماری‌های پیشرفته برای Big Data
• 92. مبانی امنیت سایبری در پایپ‌لاین‌ها
• 93. حملات رایج و روش‌های مقابله
• 94. بررسی آسیب‌پذیری‌ها
• 95. اصول مهندسی داده
• 96. نقش مهندس داده در سازمان
• 97. مسیر شغلی مهندس داده
• 98. آخرین روندها در پایپ‌لاین‌های داده