فلش‌کارت‌های آموزشی بهینه‌سازی عملکرد Hadoop برای تحلیل‌های پیچیده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی عملکرد Hadoop برای تحلیل‌های پیچیده

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر اکوسیستم Hadoop و اجزای آن
• 2. معماری Hadoop: HDFS و YARN
• 3. مدیریت و پیکربندی Hadoop
• 4. مبانی ذخیره‌سازی توزیع‌شده در HDFS
• 5. مدیریت داده‌ها در HDFS: بلوک‌ها و کپی‌ها
• 6. بهینه‌سازی ذخیره‌سازی در HDFS
• 7. مقدمه‌ای بر پردازش توزیع‌شده با MapReduce
• 8. طراحی الگوریتم‌های MapReduce
• 9. بهینه‌سازی فاز Map در MapReduce
• 10. بهینه‌سازی فاز Reduce در MapReduce
• 11. مدیریت منابع با YARN
• 12. طراحی Application Master در YARN
• 13. بهینه‌سازی زمان‌بندی وظایف در YARN
• 14. مقدمه‌ای بر Spark و معماری آن
• 15. تفاوت‌های Spark با MapReduce
• 16. RDD ها: ساختار داده اصلی Spark
• 17. عملیات تبدیل و اکشن در RDD ها
• 18. بهینه‌سازی کار با RDD ها
• 19. Spark SQL: پردازش داده‌های ساختاریافته
• 20. DataFrame ها و Dataset ها در Spark
• 21. بهینه‌سازی پرس‌وجو در Spark SQL
• 22. Spark Streaming: پردازش داده‌های جریانی
• 23. مفاهیم Latency و Throughput در Spark Streaming
• 24. بهینه‌سازی پردازش جریانی با Spark
• 25. GraphX: پردازش گراف در Spark
• 26. مبانی پردازش گراف
• 27. الگوریتم‌های رایج پردازش گراف
• 28. MLlib: کتابخانه یادگیری ماشین Spark
• 29. الگوریتم‌های طبقه‌بندی در MLlib
• 30. الگوریتم‌های خوشه‌بندی در MLlib
• 31. الگوریتم‌های رگرسیون در MLlib
• 32. تکنیک‌های پیش‌پردازش داده در MLlib
• 33. تکنیک‌های ارزیابی مدل در MLlib
• 34. بهینه‌سازی عملکرد مدل‌های MLlib
• 35. مقدمه‌ای بر NoSQL و انواع آن
• 36. HBase: پایگاه داده ستونی در اکوسیستم Hadoop
• 37. مدل داده‌ای HBase
• 38. عملیات CRUD در HBase
• 39. بهینه‌سازی HBase برای پرس‌وجوهای پیچیده
• 40. Hive: انبار داده برای Hadoop
• 41. مبانی HiveQL
• 42. بهینه‌سازی پرس‌وجوهای Hive
• 43. کار با UDF ها در Hive
• 44. Impala: موتور کوئری تعاملی برای Hadoop
• 45. مقایسه Impala با Hive
• 46. بهینه‌سازی Impala برای تحلیل‌های سریع
• 47. Zookeeper: هماهنگ‌کننده توزیع‌شده
• 48. کاربرد Zookeeper در Hadoop
• 49. مدیریت وضعیت و هماهنگی در سیستم‌های توزیع‌شده
• 50. Kafka: پلتفرم پیام‌رسانی توزیع‌شده
• 51. مبانی Kafka: Producer و Consumer
• 52. مدیریت داده‌های جریانی با Kafka
• 53. بهینه‌سازی Kafka برای حجم بالای ترافیک
• 54. Flume: جمع‌آوری و انتقال لاگ
• 55. معماری Flume
• 56. پیکربندی Flume برای سناریوهای مختلف
• 57. Sqoop: انتقال داده بین Hadoop و پایگاه داده رابطه‌ای
• 58. کاربرد Sqoop در ETL
• 59. بهینه‌سازی انتقال داده با Sqoop
• 60. Oozie: ارکستراتور گردش کار Hadoop
• 61. طراحی و اجرای گردش کار با Oozie
• 62. مدیریت وابستگی‌ها در Oozie
• 63. Hue: رابط کاربری برای اکوسیستم Hadoop
• 64. کار با ابزارهای Hue
• 65. مدیریت و نظارت بر Hadoop با Hue
• 66. امنیت در Hadoop: Kerberos
• 67. احراز هویت و مجوزها در Hadoop
• 68. بهینه‌سازی امنیت در محیط Hadoop
• 69. مانیتورینگ و لاگینگ در Hadoop
• 70. ابزارهای مانیتورینگ Hadoop
• 71. استراتژی‌های لاگینگ برای تحلیل
• 72. مقدمه‌ای بر تحلیل داده‌های بزرگ
• 73. چالش‌های تحلیل داده‌های بزرگ
• 74. روش‌های حل چالش‌های تحلیل داده
• 75. بهینه‌سازی معماری تحلیل داده
• 76. انتخاب ابزار مناسب برای تحلیل
• 77. مقایسه ابزارهای اکوسیستم Hadoop
• 78. معیارهای انتخاب ابزار
• 79. بهینه‌سازی برای داده‌های حجیم و پیچیده
• 80. کاربرد Hadoop در هوش تجاری
• 81. پایپ‌لاین‌های ETL با Hadoop
• 82. تحلیل داده‌های زمانی با Hadoop
• 83. تحلیل داده‌های مکانی با Hadoop
• 84. خوشه‌بندی داده‌ها با Hadoop
• 85. طبقه‌بندی داده‌ها با Hadoop
• 86. تحلیل متن با Hadoop
• 87. پردازش زبان طبیعی در Hadoop
• 88. پیش‌بینی سری‌های زمانی با Hadoop
• 89. بهینه‌سازی عملکرد پردازش موازی
• 90. تکنیک‌های موازی‌سازی در Hadoop
• 91. مقیاس‌پذیری سیستم‌های Hadoop
• 92. مدیریت داده‌های نامنظم
• 93. استراتژی‌های پاکسازی داده
• 94. اعتبارسنجی داده‌ها در Hadoop
• 95. تجسم داده‌ها در اکوسیستم Hadoop
• 96. ابزارهای تجسم داده
• 97. بهینه‌سازی نمایش داده‌ها
• 98. نقش Hadoop در یادگیری عمیق
• 99. آموزش مدل‌های یادگیری عمیق با Spark
• 100. استفاده از Spark برای پیش‌پردازش داده‌های یادگیری عمیق