فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی سیستم‌های تحلیل داده‌های کلان با استفاده از اکوسیستم هادوپ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی سیستم‌های تحلیل داده‌های کلان با استفاده از اکوسیستم هادوپ

موضوع کلی: پردازش کلان داده و هوش تجاری

موضوع میانی: اکوسیستم هادوپ و تحلیل داده‌های حجیم

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر تحلیل داده‌های کلان و هوش تجاری
• 2. مفاهیم بنیادین داده‌های حجیم (Big Data)
• 3. چالش‌های داده‌های حجیم
• 4. معماری‌های داده‌های حجیم
• 5. معرفی اکوسیستم هادوپ
• 6. تاریخچه و تکامل هادوپ
• 7. اجزای اصلی هادوپ: HDFS
• 8. طراحی و پیاده‌سازی HDFS
• 9. مدیریت و نگهداری HDFS
• 10. مقیاس‌پذیری و تحمل خطا در HDFS
• 11. اجزای اصلی هادوپ: MapReduce
• 12. مفاهیم MapReduce
• 13. نوشتن برنامه‌های MapReduce
• 14. بهینه‌سازی برنامه‌های MapReduce
• 15. مدیریت وظایف در MapReduce
• 16. اجزای اکوسیستم هادوپ: YARN
• 17. معماری YARN
• 18. مدیریت منابع در YARN
• 19. مدیریت برنامه‌ها در YARN
• 20. معرفی چارچوب‌های پردازش داده حجیم
• 21. Apache Spark: معماری و مفاهیم
• 22. Spark Core: پردازش داده‌ها
• 23. Spark SQL: تحلیل داده‌های ساختاریافته
• 24. Spark Streaming: پردازش داده‌های جریانی
• 25. Spark MLlib: یادگیری ماشین در مقیاس کلان
• 26. Apache Hive: انبار داده بر روی هادوپ
• 27. زبان HiveQL
• 28. طراحی اسکیم در Hive
• 29. بهینه‌سازی کوئری در Hive
• 30. Apache Pig: پردازش داده‌های حجیم با اسکریپت‌نویسی
• 31. زبان Pig Latin
• 32. اجرای اسکریپت‌های Pig
• 33. Apache HBase: پایگاه داده NoSQL ستونی
• 34. معماری HBase
• 35. طراحی مدل داده در HBase
• 36. عملکرد و بهینه‌سازی HBase
• 37. Apache Kafka: سیستم پیام‌رسانی توزیع‌شده
• 38. معماری Kafka
• 39. تولید و مصرف پیام در Kafka
• 40. کاربرد Kafka در تحلیل داده‌های جریانی
• 41. Apache Flink: پردازش جریانی و دسته‌ای
• 42. معماری Flink
• 43. پردازش جریانی در Flink
• 44. پردازش دسته‌ای در Flink
• 45. Apache Cassandra: پایگاه داده NoSQL توزیع‌شده
• 46. معماری Cassandra
• 47. مدل داده در Cassandra
• 48. مدیریت و مقیاس‌پذیری Cassandra
• 49. ابزارهای مدیریت داده‌های حجیم
• 50. Apache Zookeeper: هماهنگ‌سازی توزیع‌شده
• 51. نقش Zookeeper در اکوسیستم هادوپ
• 52. Apache Sqoop: انتقال داده بین هادوپ و پایگاه داده رابطه‌ای
• 53. استفاده از Sqoop
• 54. Apache Flume: جمع‌آوری و انتقال لاگ‌ها
• 55. معماری Flume
• 56. پیکربندی Flume
• 57. ابزارهای مصورسازی داده‌های حجیم
• 58. Apache Superset
• 59. Tableau (با تمرکز بر قابلیت اتصال به منابع داده حجیم)
• 60. Power BI (با تمرکز بر قابلیت اتصال به منابع داده حجیم)
• 61. مفاهیم هوش تجاری (Business Intelligence)
• 62. استراتژی‌های هوش تجاری
• 63. طراحی انبار داده (Data Warehouse)
• 64. مدل‌سازی داده برای انبار داده (Star Schema, Snowflake Schema)
• 65. فرایندهای ETL (Extract, Transform, Load) در هوش تجاری
• 66. مؤلفه‌های سیستم‌های هوش تجاری
• 67. تحلیل داده‌های اکتشافی (Exploratory Data Analysis - EDA)
• 68. ابزارهای EDA در اکوسیستم هادوپ
• 69. تکنیک‌های پیش‌پردازش داده‌ها
• 70. پاکسازی داده‌ها
• 71. تبدیل داده‌ها
• 72. مهندسی ویژگی (Feature Engineering)
• 73. مدل‌های آماری در تحلیل داده
• 74. رگرسیون خطی و لجستیک
• 75. دسته‌بندی (Classification)
• 76. خوشه‌بندی (Clustering)
• 77. تحلیل سری‌های زمانی (Time Series Analysis)
• 78. مقدمه‌ای بر یادگیری ماشین در هوش تجاری
• 79. الگوریتم‌های یادگیری ماشین پرکاربرد
• 80. مدل‌های پیش‌بینی (Predictive Modeling)
• 81. تحلیل سبد بازار (Market Basket Analysis)
• 82. سیستم‌های توصیه‌گر (Recommender Systems)
• 83. امنیت داده‌ها در اکوسیستم هادوپ
• 84. مدیریت دسترسی و احراز هویت (Kerberos)
• 85. رمزنگاری داده‌ها
• 86. حریم خصوصی داده‌ها
• 87. ملاحظات قانونی و اخلاقی در تحلیل داده‌های کلان
• 88. استانداردهای داده در سازمان‌ها
• 89. مدیریت کیفیت داده‌ها
• 90. پایش و نگهداری سیستم‌های هادوپ
• 91. عیب‌یابی در اکوسیستم هادوپ
• 92. بهینه‌سازی عملکرد کلی سیستم
• 93. مقیاس‌پذیری سیستم‌های تحلیل داده
• 94. آیندهٔ تحلیل داده‌های کلان و هوش تجاری
• 95. روندهای نوظهور در هوش تجاری
• 96. یادگیری عمیق (Deep Learning) و کاربردهای آن
• 97. هوش مصنوعی (AI) و ادغام آن با هوش تجاری
• 98. تکنیک‌های پیشرفته تحلیل داده
• 99. تحلیل متن (Text Analytics)
• 100. تحلیل شبکه‌های اجتماعی (Social Network Analysis)