دوره ابزارهای مرتبط با Hadoop برای ETL و آماده‌سازی داده همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ابزارهای مرتبط با Hadoop برای ETL و آماده‌سازی داده

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر اکوسیستم Hadoop و کاربردهای آن
• 2. آشنایی با مفاهیم ETL و آماده‌سازی داده
• 3. نصب و پیکربندی Hadoop (HDFS و YARN)
• 4. آشنایی با Hadoop Distributed File System (HDFS)
• 5. مفاهیم MapReduce و نحوه کار آن
• 6. نوشتن اولین برنامه MapReduce
• 7. کار با ابزارهای خط فرمان Hadoop
• 8. مدیریت منابع با YARN
• 9. آشنایی با Hive: انبار داده بر روی Hadoop
• 10. نصب و پیکربندی Hive
• 11. مفاهیم زبان پرس و جوی HiveQL
• 12. نوشتن پرس و جوهای ساده در Hive
• 13. بهینه‌سازی پرس و جوهای Hive
• 14. آشنایی با Pig: پلتفرم تحلیل داده
• 15. نصب و پیکربندی Pig
• 16. مفاهیم زبان Pig Latin
• 17. نوشتن اسکریپت‌های Pig
• 18. تبدیل داده با Pig
• 19. آشنایی با Spark: موتور پردازش داده سریع
• 20. نصب و پیکربندی Spark
• 21. مفاهیم Spark Core و RDDها
• 22. عملیات تبدیل و اکشن در RDDها
• 23. آشنایی با Spark SQL
• 24. کار با DataFrameها در Spark SQL
• 25. نوشتن پرس و جوهای Spark SQL
• 26. آشنایی با Spark Streaming
• 27. پردازش داده‌های جریانی با Spark Streaming
• 28. تلفیق Spark با Hadoop
• 29. آشنایی با Flume: جمع‌آوری و انتقال داده‌های جریانی
• 30. نصب و پیکربندی Flume
• 31. مفاهیم Source، Channel و Sink در Flume
• 32. پیکربندی Flume برای سناریوهای مختلف
• 33. آشنایی با Sqoop: انتقال داده بین Hadoop و پایگاه‌های داده رابطه‌ای
• 34. نصب و پیکربندی Sqoop
• 35. وارد کردن داده از پایگاه داده به HDFS
• 36. استخراج داده از HDFS به پایگاه داده
• 37. آشنایی با Oozie: مدیریت گردش کار Hadoop
• 38. نوشتن گردش کارهای Oozie
• 39. اجرا و نظارت بر گردش کارهای Oozie
• 40. آشنایی با Zookeeper: هماهنگ‌سازی توزیع‌شده
• 41. کاربرد Zookeeper در Hadoop
• 42. آشنایی با HDFS Federation
• 43. بهینه‌سازی عملکرد HDFS
• 44. مفاهیم Data Lake و Data Warehouse
• 45. طراحی Data Lake با Hadoop
• 46. بهترین شیوه‌ها در آماده‌سازی داده
• 47. پاکسازی داده‌ها با ابزارهای Hadoop
• 48. شناسایی و حذف داده‌های تکراری
• 49. مدیریت داده‌های از دست رفته
• 50. اعتبارسنجی داده‌ها
• 51. تبدیل فرمت داده‌ها (CSV، JSON، Parquet، ORC)
• 52. فشرده‌سازی داده‌ها در HDFS
• 53. مفاهیم Schema Evolution
• 54. کار با داده‌های نیمه‌ساختاریافته
• 55. استفاده از Spark برای ETL
• 56. طراحی Pipelineهای ETL با Spark
• 57. پردازش داده‌های حجیم با Spark
• 58. امنیت در اکوسیستم Hadoop
• 59. مفاهیم Kerberos
• 60. رمزنگاری داده‌ها در HDFS
• 61. مدیریت دسترسی با Apache Ranger
• 62. مانیتورینگ و گزارش‌گیری در Hadoop
• 63. استفاده از ابزارهای مانیتورینگ Hadoop
• 64. نوشتن لاگ‌های سفارشی
• 65. تحلیل لاگ‌ها برای عیب‌یابی
• 66. مفاهیم Data Governance
• 67. پیاده‌سازی Data Governance در پروژه‌های ETL
• 68. آشنایی با ابزارهای ETL ابری (به صورت کلی)
• 69. مقایسه ابزارهای ETL Hadoop با ابزارهای ابری
• 70. سناریوهای عملی ETL با Hadoop
• 71. مثال کاربردی: ETL برای تحلیل ترافیک وب
• 72. مثال کاربردی: ETL برای پردازش داده‌های سنسور
• 73. مثال کاربردی: ETL برای آماده‌سازی داده‌های مالی
• 74. مثال کاربردی: ETL برای داده‌های شبکه‌های اجتماعی
• 75. مقدمه‌ای بر پردازش داده‌های مکانی
• 76. کار با داده‌های مکانی در Hadoop
• 77. مقدمه‌ای بر یادگیری ماشین و Hadoop
• 78. آماده‌سازی داده برای مدل‌های یادگیری ماشین
• 79. کار با Spark MLlib
• 80. مفاهیم Data Lineage
• 81. ردیابی Data Lineage در ETL
• 82. تست و اعتبارسنجی فرآیندهای ETL
• 83. مستندسازی فرآیندهای ETL
• 84. بهینه‌سازی هزینه‌ها در Hadoop
• 85. انتخاب سخت‌افزار مناسب برای Hadoop
• 86. مدیریت چرخه عمر داده
• 87. آینده Hadoop و ابزارهای پردازش داده
• 88. جمع‌بندی و نکات کلیدی
• 89. مرور مفاهیم کلیدی ETL و Hadoop
• 90. پروژه‌های پیشرفته ETL با Hadoop
• 91. کار با داده‌های Real-time
• 92. استفاده از Kafka در معماری ETL
• 93. یکپارچه‌سازی Kafka با Spark Streaming
• 94. معماری‌های مدرن داده
• 95. چالش‌های پردازش داده‌های عظیم