دوره معماری مدرن کلان داده با Hadoop و اکوسیستم آن همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری مدرن کلان داده با Hadoop و اکوسیستم آن

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری مدرن کلان داده
• 2. مفاهیم کلیدی در کلان داده
• 3. چالش‌های کلان داده
• 4. معرفی اکوسیستم Hadoop
• 5. HDFS: سیستم فایل توزیع شده Hadoop
• 6. مفاهیم اصلی HDFS
• 7. عملیات پایه‌ای در HDFS
• 8. مدیریت فضای ذخیره‌سازی در HDFS
• 9. YARN: مدیر منابع Hadoop
• 10. معماری YARN
• 11. نحوه اجرای اپلیکیشن‌ها در YARN
• 12. مدیریت منابع در YARN
• 13. MapReduce: چارچوب پردازش موازی
• 14. مفاهیم MapReduce
• 15. چرخه حیات MapReduce
• 16. نوشتن برنامه‌های MapReduce
• 17. بهینه‌سازی MapReduce
• 18. Apache Spark: پردازش سریع داده
• 19. معرفی Spark
• 20. معماری Spark
• 21. Spark Core: مفاهیم اصلی
• 22. RDD ها در Spark
• 23. عملیات تبدیل و اجرای RDD
• 24. Spark SQL: پردازش داده‌های ساختاریافته
• 25. DataFrames و Datasets در Spark
• 26. نوشتن کوئری با Spark SQL
• 27. Spark Streaming: پردازش داده‌های جریانی
• 28. مفاهیم Spark Streaming
• 29. عملیات در Spark Streaming
• 30. Spark MLlib: یادگیری ماشین در Spark
• 31. الگوریتم‌های MLlib
• 32. کار با مدل‌ها در MLlib
• 33. Apache Hive: انبار داده بر روی Hadoop
• 34. مفاهیم Hive
• 35. نوشتن کوئری‌های HiveQL
• 36. مدیریت جداول در Hive
• 37. Apache Pig: زبان برنامه‌نویسی سطح بالا
• 38. مفاهیم Pig Latin
• 39. نوشتن اسکریپت‌های Pig
• 40. Apache HBase: پایگاه داده NoSQL
• 41. مفاهیم HBase
• 42. مدل داده HBase
• 43. عملیات در HBase
• 44. Apache Kafka: سیستم پیام‌رسانی توزیع شده
• 45. معماری Kafka
• 46. تولیدکنندگان و مصرف‌کنندگان در Kafka
• 47. موضوعات و پارتیشن‌ها در Kafka
• 48. Apache Flink: پردازش جریانی پیشرفته
• 49. معماری Flink
• 50. مفاهیم Flink
• 51. پردازش حالت‌دار در Flink
• 52. Apache Zookeeper: هماهنگ‌سازی توزیع شده
• 53. نقش Zookeeper در Hadoop
• 54. کار با Zookeeper
• 55. امنیت در Hadoop
• 56. Kerberos و احراز هویت
• 57. مجوزها و دسترسی‌ها در Hadoop
• 58. انتقال داده به Hadoop
• 59. Apache Sqoop: انتقال داده بین RDBMS و Hadoop
• 60. Apache Flume: جمع‌آوری و انتقال لاگ‌ها
• 61. ابزارهای مدیریت و مانیتورینگ Hadoop
• 62. Hue: رابط کاربری Hadoop
• 63. Apache Oozie: زمان‌بندی گردش کار
• 64. Apache Ambari: مدیریت خوشه Hadoop
• 65. استقرار Hadoop
• 66. پیکربندی Hadoop
• 67. بهینه‌سازی عملکرد Hadoop
• 68. عیب‌یابی مشکلات Hadoop
• 69. معماری‌های کلان داده پیشرفته
• 70. اینترنت اشیاء (IoT) و کلان داده
• 71. یادگیری ماشین و هوش مصنوعی در کلان داده
• 72. تحلیل بلادرنگ داده‌ها
• 73. انباره‌های داده مدرن (Data Warehousing)
• 74. دریاچه داده (Data Lake)
• 75. تفاوت انباره داده و دریاچه داده
• 76. معماری‌های ابری برای کلان داده
• 77. AWS برای کلان داده
• 78. Azure برای کلان داده
• 79. Google Cloud برای کلان داده
• 80. امنیت داده‌ها در محیط‌های ابری
• 81. حریم خصوصی داده‌ها
• 82. قوانین و مقررات حفاظت از داده‌ها
• 83. مدیریت چرخه عمر داده‌ها
• 84. کیفیت داده‌ها
• 85. پاکسازی و اعتبارسنجی داده‌ها
• 86. استانداردسازی داده‌ها
• 87. اهمیت داده‌های تمیز
• 88. استفاده از داده‌های جمع‌آوری شده
• 89. تفسیر نتایج تحلیل داده
• 90. تصویرسازی داده‌ها (Data Visualization)
• 91. ابزارهای تصویرسازی داده
• 92. اصول تصویرسازی موثر
• 93. کاربرد کلان داده در صنایع مختلف
• 94. کلان داده در مالی
• 95. کلان داده در سلامت
• 96. کلان داده در خرده‌فروشی
• 97. کلان داده در بازاریابی
• 98. مطالعات موردی موفق در کلان داده
• 99. آینده معماری کلان داده
• 100. روندهای نوظهور در کلان داده