فلش‌کارت‌های آموزشی تحلیل توزیع‌شده داده با Apache Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل توزیع‌شده داده با Apache Hadoop

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر تحلیل توزیع‌شده داده
• 2. مبانی معماری هادوپ
• 3. سیستم فایل توزیع‌شده هادوپ (HDFS)
• 4. مفاهیم کلیدی HDFS
• 5. ذخیره‌سازی داده در HDFS
• 6. مدیریت داده در HDFS
• 7. معماری NameNode و DataNode
• 8. پروتکل‌های ارتباطی HDFS
• 9. یاپاردازی با MapReduce
• 10. مبانی MapReduce
• 11. چرخه حیات MapReduce
• 12. شغل MapReduce
• 13. وظیفه MapReduce
• 14. تابع Map
• 15. تابع Reduce
• 16. ترکیب‌کننده (Combiner)
• 17. مدیریت منابع با YARN
• 18. معماری YARN
• 19. ApplicationMaster
• 20. NodeManager
• 21. ResourceManager
• 22. Worker Node
• 23. مدیریت وظایف در YARN
• 24. انواع زمان‌بندی در YARN
• 25. پیکربندی YARN
• 26. کار با Hive
• 27. مبانی HiveQL
• 28. ساختار جدول در Hive
• 29. بارگذاری داده در Hive
• 30. کوئری‌نویسی در Hive
• 31. بهینه‌سازی کوئری‌های Hive
• 32. انواع ذخیره‌سازی در Hive
• 33. کار با Pig
• 34. مبانی Pig Latin
• 35. اسکریپت‌نویسی در Pig
• 36. عملیات پایه‌ای Pig
• 37. توابع بارگذاری و ذخیره‌سازی در Pig
• 38. ساختار داده در Pig
• 39. پیاده‌سازی الگوریتم‌های پیچیده با Pig
• 40. کار با Spark
• 41. مبانی Apache Spark
• 42. معماری Spark
• 43. RDD (Resilient Distributed Datasets)
• 44. عملیات ترانسفورماسیون در RDD
• 45. عملیات اکشن در RDD
• 46. Spark SQL
• 47. Spark Streaming
• 48. Spark MLlib
• 49. مقایسه Spark و MapReduce
• 50. کار با HBase
• 51. مبانی HBase
• 52. معماری HBase
• 53. عملیات CRUD در HBase
• 54. پیکربندی و مدیریت HBase
• 55. کار با ZooKeeper
• 56. مبانی NoSQL
• 57. مقایسه پایگاه‌های داده رابطه‌ای و NoSQL
• 58. کار با Flume
• 59. مبانی جمع‌آوری داده
• 60. معماری Flume
• 61. Source, Channel, Sink
• 62. پیکربندی Flume
• 63. کار با Sqoop
• 64. مبانی انتقال داده بین پایگاه‌های داده رابطه‌ای و Hadoop
• 65. کوئری‌نویسی در Sqoop
• 66. انتقال داده از Hadoop به پایگاه داده رابطه‌ای
• 67. انتقال داده از پایگاه داده رابطه‌ای به Hadoop
• 68. امنیت در Hadoop
• 69. مبانی امنیت در Hadoop
• 70. Kerberos
• 71. ACL ها (Access Control Lists)
• 72. رمزنگاری داده
• 73. مانیتورینگ و گزارش‌گیری در Hadoop
• 74. ابزارهای مانیتورینگ
• 75. گزارش‌گیری عملکرد
• 76. بهینه‌سازی عملکرد Hadoop
• 77. تنظیمات HDFS
• 78. تنظیمات MapReduce
• 79. تنظیمات YARN
• 80. بهینه‌سازی کوئری در Hive و Spark
• 81. مدیریت حافظه در Hadoop
• 82. مدیریت I/O در Hadoop
• 83. پردازش جریان داده با Spark Streaming
• 84. مبانی پردازش جریان داده
• 85. پنجره‌های زمانی (Windowing)
• 86. مدیریت حالت (State Management)
• 87. کاربرد Spark Streaming در تحلیل بلادرنگ
• 88. یادگیری ماشین با Spark MLlib
• 89. مبانی یادگیری ماشین
• 90. الگوریتم‌های دسته‌بندی
• 91. الگوریتم‌های رگرسیون
• 92. خوشه‌بندی
• 93. فیلترینگ مشارکتی
• 94. آماده‌سازی داده برای MLlib
• 95. ارزیابی مدل‌ها
• 96. کاربرد MLlib در مسائل واقعی
• 97. تحلیل داده‌های بزرگ در حوزه سلامت
• 98. تحلیل داده‌های بزرگ در حوزه مالی
• 99. تحلیل داده‌های بزرگ در حوزه بازاریابی
• 100. تحلیل داده‌های بزرگ در حوزه علوم اجتماعی