فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله داده با ابزارهای متن‌باز

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده با ابزارهای متن‌باز

موضوع کلی: مدیریت و پردازش داده‌ها

موضوع میانی: مهندسی داده و خطوط لوله پردازش

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدیریت و پردازش داده‌ها
• 2. مبانی پایگاه داده و مفاهیم کلیدی
• 3. مقدمه‌ای بر سیستم‌عامل لینوکس برای پردازش داده
• 4. دستورات پایه خط فرمان لینوکس
• 5. کار با فایل‌ها و دایرکتوری‌ها در لینوکس
• 6. مدیریت فرآیندها در لینوکس
• 7. اسکریپت‌نویسی شل (Bash) برای اتوماسیون
• 8. مفاهیم ETL: استخراج، تبدیل، بارگذاری
• 9. مراحل استخراج داده از منابع مختلف
• 10. روش‌های پاکسازی و اعتبارسنجی داده‌ها
• 11. تکنیک‌های تبدیل داده برای همگام‌سازی
• 12. بارگذاری داده‌ها در پایگاه‌های داده مقصد
• 13. معماری خطوط لوله داده (Data Pipelines)
• 14. اجزای اصلی یک خط لوله داده
• 15. مفهوم داده‌های جریانی (Streaming Data)
• 16. مقدمه‌ای بر Apache Kafka
• 17. معماری Kafka: Broker، Producer، Consumer
• 18. نصب و پیکربندی Kafka
• 19. نوشتن Producers و Consumers ساده با Kafka
• 20. مفاهیم موضوع (Topic) و پارتیشن (Partition) در Kafka
• 21. مدیریت Offset در Kafka
• 22. کاربرد Kafka در پردازش داده‌های جریانی
• 23. مقدمه‌ای بر Apache Airflow
• 24. معماری Airflow: Scheduler، Webserver، Worker
• 25. نصب و پیکربندی Airflow
• 26. مفهوم DAG (Directed Acyclic Graph)
• 27. نوشتن DAGهای ساده در Airflow
• 28. وظایف (Tasks) و اپراتورها (Operators) در Airflow
• 29. ارتباط بین وظایف در DAG
• 30. برنامه‌ریزی و اجرای DAGها
• 31. مدیریت متغیرها و اتصالات در Airflow
• 32. پیاده‌سازی خطوط لوله ETL با Airflow
• 33. اتصال Airflow به منابع داده مختلف
• 34. استفاده از اپراتورهای سفارشی در Airflow
• 35. مانیتورینگ و لاگ‌برداری در Airflow
• 36. مدیریت خطا و بازاجرای وظایف در Airflow
• 37. بهینه‌سازی عملکرد خطوط لوله داده
• 38. مقیاس‌پذیری خطوط لوله داده
• 39. روش‌های تست خطوط لوله داده
• 40. امنیت در خطوط لوله داده
• 41. ملاحظات قانونی و شرعی در پردازش داده‌ها
• 42. حفظ حریم خصوصی داده‌ها بر اساس قوانین ایران
• 43. قوانین مربوط به داده‌های حساس در ایران
• 44. استفاده از داده‌ها در چارچوب اخلاق اسلامی
• 45. مدیریت امن اطلاعات در پایگاه‌های داده
• 46. پشتیبان‌گیری و بازیابی داده‌ها
• 47. مقدمه‌ای بر داده‌کاوی و تحلیل داده
• 48. تکنیک‌های اولیه تحلیل داده
• 49. مصورسازی داده‌ها برای درک بهتر
• 50. کاربرد داده‌ها در تصمیم‌گیری‌های سازمانی
• 51. مفاهیم انبار داده (Data Warehouse)
• 52. مفاهیم دریاچه داده (Data Lake)
• 53. تفاوت انبار داده و دریاچه داده
• 54. طراحی طرح‌واره (Schema Design) برای پایگاه داده
• 55. بهینه‌سازی کوئری‌ها در پایگاه داده
• 56. شاخص‌گذاری (Indexing) در پایگاه داده
• 57. مدیریت تراکنش‌ها (Transactions)
• 58. قفل‌گذاری (Locking) در پایگاه داده
• 59. مفاهیم NoSQL و پایگاه‌های داده NoSQL
• 60. مزایا و معایب پایگاه‌های داده NoSQL
• 61. کاربرد پایگاه‌های داده NoSQL در پردازش داده
• 62. مقدمه‌ای بر پردازش داده‌های بزرگ (Big Data)
• 63. معماری Hadoop و اکوسیستم آن
• 64. مفهوم HDFS (Hadoop Distributed File System)
• 65. مفهوم MapReduce
• 66. کاربرد Spark در پردازش داده‌های بزرگ
• 67. مقایسه Spark با MapReduce
• 68. پردازش داده‌های جریانی با Spark Streaming
• 69. معرفی ابزارهای مدیریت داده در ایران
• 70. قوانین و مقررات مربوط به داده در ایران
• 71. استانداردهای داده در ایران
• 72. ملاحظات شرعی در استفاده از داده‌های مالی
• 73. ملاحظات شرعی در استفاده از داده‌های پزشکی
• 74. ملاحظات شرعی در استفاده از داده‌های شخصی
• 75. اصول اخلاقی در جمع‌آوری و پردازش داده
• 76. نقش داده‌ها در توسعه اقتصادی کشور
• 77. کاربرد داده‌ها در بهبود خدمات عمومی
• 78. تکنیک‌های پیشرفته ETL
• 79. بهینه‌سازی بارگذاری داده‌ها
• 80. مدیریت تغییرات طرح‌واره (Schema Evolution)
• 81. خطوط لوله داده برای هوش مصنوعی و یادگیری ماشین
• 82. مقدمه‌ای بر مفاهیم یادگیری ماشین
• 83. نقش داده‌ها در آموزش مدل‌های یادگیری ماشین
• 84. پردازش داده‌های متنی (Text Data Processing)
• 85. پردازش داده‌های تصویری (Image Data Processing)
• 86. مقدمه‌ای بر معماری میکروسرویس‌ها
• 87. تأثیر میکروسرویس‌ها بر خطوط لوله داده
• 88. مدیریت کیفیت داده (Data Quality Management)
• 89. تکنیک‌های تشخیص و اصلاح خطا در داده‌ها
• 90. مستندسازی خطوط لوله داده
• 91. پایش و نگهداری خطوط لوله داده
• 92. ارزیابی عملکرد خطوط لوله داده
• 93. آینده خطوط لوله داده و ابزارهای مرتبط
• 94. روش‌های نوین پردازش داده
• 95. اهمیت داده‌های پاک و معتبر
• 96. نقش داده‌ها در تحول دیجیتال
• 97. ملاحظات حقوقی در حوزه داده‌ها در ایران
• 98. قوانین مربوط به حفاظت از داده‌های شهروندان
• 99. پروتکل‌های امنیتی برای انتقال داده‌ها
• 100. مفاهیم حاکمیت داده (Data Governance)