فلش‌کارت‌های آموزشی مهندسی داده با Hadoop: طراحی و پیاده‌سازی راه‌حل‌های مقیاس‌پذیر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با Hadoop: طراحی و پیاده‌سازی راه‌حل‌های مقیاس‌پذیر

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و اکوسیستم Hadoop
• 2. معرفی مفاهیم کلیدی Big Data و مزایای آن
• 3. مروری بر معماری Hadoop: HDFS و YARN
• 4. نصب و پیکربندی Hadoop در حالت Standalone
• 5. نصب و پیکربندی Hadoop در حالت Pseudo-Distributed
• 6. نصب و پیکربندی Hadoop در حالت Fully-Distributed
• 7. مفاهیم ذخیره‌سازی داده در HDFS: بلاک‌ها و Replication
• 8. دستورات پایه کار با HDFS: کپی، جابجایی و حذف فایل‌ها
• 9. مدیریت فضای ذخیره‌سازی در HDFS
• 10. معرفی YARN: مدیریت منابع و زمان‌بندی پردازش‌ها
• 11. مؤلفه‌های کلیدی YARN: ResourceManager, NodeManager, ApplicationMaster
• 12. چرخه حیات یک برنامه در YARN
• 13. مقدمه‌ای بر MapReduce: پارادایم پردازش موازی
• 14. نوشتن اولین برنامه MapReduce: Word Count
• 15. مراحل اجرای MapReduce: Map, Shuffle, Sort, Reduce
• 16. تنظیمات و پارامترهای MapReduce
• 17. بهینه‌سازی برنامه‌های MapReduce
• 18. معرفی انواع ورودی و خروجی در MapReduce
• 19. استفاده از Custom Input/Output Formats
• 20. مقدمه‌ای بر Hadoop Ecosystem: ابزارهای مرتبط
• 21. معرفی Apache Hive: انباره داده رابطه‌ای بر Hadoop
• 22. نصب و پیکربندی Hive
• 23. کار با HiveQL: دستورات SELECT, INSERT, CREATE TABLE
• 24. انواع جداول در Hive: Managed و External Tables
• 25. بهینه‌سازی کوئری‌ها در Hive
• 26. معرفی Apache Pig: ابزار پردازش داده‌های نیمه‌ساختاریافته
• 27. نوشتن اسکریپت‌های Pig Latin
• 28. عملیات پایه در Pig: LOAD, STORE, FILTER, GROUP
• 29. توابع و UDFها در Pig
• 30. معرفی Apache HBase: پایگاه داده NoSQL ستونی
• 31. معماری HBase و مفاهیم آن
• 32. عملیات CRUD در HBase
• 33. طراحی Schema در HBase
• 34. کاربرد HBase در سناریوهای Big Data
• 35. معرفی Apache Spark: موتور پردازش سریع‌تر
• 36. معماری Spark: RDD, DataFrame, DataSet
• 37. نصب و پیکربندی Spark
• 38. نوشتن برنامه‌های Spark Core
• 39. انتقال از MapReduce به Spark
• 40. Spark SQL: کار با داده‌های ساختاریافته
• 41. Spark Streaming: پردازش داده‌های جریانی
• 42. Machine Learning با Spark MLlib
• 43. معرفی Apache Kafka: سیستم پیام‌رسانی توزیع‌شده
• 44. معماری Kafka: Producer, Consumer, Broker, Topic
• 45. نصب و پیکربندی Kafka
• 46. ارسال و دریافت پیام در Kafka
• 47. کاربرد Kafka در مهندسی داده
• 48. معرفی Apache Sqoop: انتقال داده بین Hadoop و پایگاه‌های داده رابطه‌ای
• 49. انتقال داده از پایگاه داده رابطه‌ای به Hadoop
• 50. انتقال داده از Hadoop به پایگاه داده رابطه‌ای
• 51. تنظیمات و پارامترهای Sqoop
• 52. معرفی Apache Flume: جمع‌آوری و انتقال لاگ‌ها
• 53. معماری Flume: Agent, Source, Channel, Sink
• 54. پیکربندی Flume برای جمع‌آوری لاگ
• 55. معرفی Apache Zookeeper: هماهنگ‌کننده توزیع‌شده
• 56. نقش Zookeeper در اکوسیستم Hadoop
• 57. مفاهیم پایه‌ای Zookeeper
• 58. مدیریت Cluster Hadoop با Zookeeper
• 59. معرفی ابزارهای مانیتورینگ Hadoop: Ganglia, Nagios
• 60. اصول طراحی Data Lake
• 61. استراتژی‌های Ingestion داده در Data Lake
• 62. مدیریت Metadata در Data Lake
• 63. امنیت در Hadoop و Data Lake
• 64. حریم خصوصی داده‌ها در Big Data
• 65. اصول ETL با Hadoop
• 66. پیاده‌سازی ELT با Hadoop
• 67. مفاهیم Data Governance در Big Data
• 68. کیفیت داده‌ها و روش‌های بهبود آن
• 69. تحلیل داده‌های مکانی با Hadoop
• 70. تحلیل داده‌های سری زمانی با Hadoop
• 71. مقدمه‌ای بر Data Virtualization
• 72. استفاده از ابزارهای Orchestration: Apache Oozie
• 73. مدیریت Workflow با Oozie
• 74. معرفی Apache Airflow
• 75. طراحی DAG در Airflow
• 76. پیاده‌سازی Pipeline داده با Airflow
• 77. مقدمه‌ای بر Data Mesh
• 78. اصول طراحی Data Mesh
• 79. چالش‌های پیاده‌سازی Data Mesh
• 80. معماری Data Mesh: Data Product, Data Platform, Data Governance
• 81. نقش مهندس داده در عصر Data Mesh
• 82. مقدمه‌ای بر DataOps
• 83. اصول و متدولوژی‌های DataOps
• 84. پیاده‌سازی DataOps در اکوسیستم Hadoop
• 85. ابزارهای DataOps برای مهندسی داده
• 86. مقدمه‌ای بر Data Observability
• 87. اهمیت Data Observability
• 88. معیارهای کلیدی در Data Observability
• 89. پیاده‌سازی Data Observability در pipelines
• 90. مقدمه‌ای بر Cloud Hadoop Services: AWS EMR, Azure HDInsight, Google Cloud Dataproc
• 91. مقایسه سرویس‌های ابری Hadoop
• 92. استفاده از Hadoop در محیط‌های ابری
• 93. هزینه‌بندی و بهینه‌سازی در سرویس‌های ابری
• 94. معرفی ابزارهای مرتبط با Data Catalog
• 95. اهمیت Data Catalog در سازمان
• 96. طراحی و پیاده‌سازی Data Catalog
• 97. استفاده از Data Catalog برای کشف داده
• 98. مقدمه‌ای بر Data Lineage
• 99. اهمیت Data Lineage
• 100. ردیابی Data Lineage در pipelines