فلش‌کارت‌های آموزشی Hadoop برای دانشمندان داده: ابزارها و تکنیک‌های پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Hadoop برای دانشمندان داده: ابزارها و تکنیک‌های پیشرفته

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر اکوسیستم داده‌های بزرگ و هادوپ
• 2. آشنایی با مفاهیم کلیدی هادوپ (Big Data, Distributed Systems)
• 3. معماری هادوپ: HDFS, MapReduce, YARN
• 4. نصب و پیکربندی اولیه هادوپ (Pseudo-distributed mode)
• 5. کار با سیستم فایل توزیع شده هادوپ (HDFS)
• 6. مبانی برنامه نویسی MapReduce
• 7. نوشتن اولین برنامه MapReduce
• 8. بهینه سازی برنامه های MapReduce
• 9. مقدمه ای بر YARN و مدیریت منابع
• 10. کار با YARN برای اجرای برنامه ها
• 11. معرفی Spark و مقایسه با MapReduce
• 12. نصب و پیکربندی Spark
• 13. مبانی Spark Core: RDD ها
• 14. عملیات تبدیل و اکشن در RDD ها
• 15. بهینه سازی کار با RDD ها
• 16. Spark SQL: کار با داده های ساختاریافته
• 17. DataFrame ها و Dataset ها در Spark
• 18. Queries و Joins در Spark SQL
• 19. Spark Streaming: پردازش داده های جریانی
• 20. مبانی Spark Streaming
• 21. عملیات Windowing در Spark Streaming
• 22. Spark MLlib: یادگیری ماشین در Spark
• 23. الگوریتم های طبقه بندی در MLlib
• 24. الگوریتم های خوشه بندی در MLlib
• 25. الگوریتم های رگرسیون در MLlib
• 26. کار با Pipeline ها در MLlib
• 27. معرفی Hive: انبار داده بر روی هادوپ
• 28. نصب و پیکربندی Hive
• 29. نوشتن کوئری های HiveQL
• 30. بهینه سازی کوئری های Hive
• 31. آشنایی با Parquet و ORC فرمت ها
• 32. کار با فرمت های ستونی در Hive
• 33. معرفی Pig: زبان اسکریپت نویسی برای هادوپ
• 34. نوشتن اسکریپت های Pig Latin
• 35. بهینه سازی اسکریپت های Pig
• 36. معرفی HBase: پایگاه داده NoSQL بر روی هادوپ
• 37. مدل داده ای HBase
• 38. عملیات CRUD در HBase
• 39. کار با کوئری های HBase
• 40. معرفی ZooKeeper برای هماهنگی در هادوپ
• 41. نقش ZooKeeper در اکوسیستم هادوپ
• 42. مقدمه ای بر ابزارهای جمع آوری داده (Flume, Sqoop)
• 43. نصب و پیکربندی Apache Flume
• 44. انتقال داده با Flume
• 45. نصب و پیکربندی Apache Sqoop
• 46. انتقال داده بین پایگاه داده رابطه‌ای و هادوپ با Sqoop
• 47. کاربرد Sqoop برای داده کاوی
• 48. مقدمه ای بر ابزارهای زمان بندی (Oozie)
• 49. نوشتن Workflows با Oozie
• 50. مدیریت و نظارت بر Job ها با Oozie
• 51. امنیت در هادوپ: Kerberos
• 52. پیکربندی Kerberos برای هادوپ
• 53. مدیریت دسترسی ها در HDFS
• 54. مقدمه ای بر پردازش داده های مکانی در هادوپ
• 55. استفاده از Spark برای داده های مکانی
• 56. استفاده از Hive برای داده های مکانی
• 57. مقدمه ای بر پردازش زبان طبیعی (NLP) با هادوپ
• 58. ابزارهای NLP در اکوسیستم هادوپ
• 59. کاربرد NLP در تحلیل متن
• 60. مقدمه ای بر یادگیری عمیق با هادوپ
• 61. فریمورک های یادگیری عمیق سازگار با هادوپ (TensorFlow, PyTorch)
• 62. تنظیم محیط برای یادگیری عمیق توزیع شده
• 63. پردازش داده های بزرگ برای مدل های یادگیری عمیق
• 64. بهینه سازی عملکرد مدل های یادگیری عمیق
• 65. مقدمه ای بر ابزارهای مشاهده و مانیتورینگ (Ambari, Cloudera Manager)
• 66. نصب و پیکربندی Ambari
• 67. مانیتورینگ خوشه هادوپ با Ambari
• 68. مقدمه ای بر معماری داده (Data Architecture) در مقیاس بزرگ
• 69. طراحی Data Lake با استفاده از هادوپ
• 70. طراحی Data Warehouse بر روی هادوپ
• 71. ملاحظات مربوط به کیفیت داده در هادوپ
• 72. مدیریت چرخه حیات داده در هادوپ
• 73. مقدمه ای بر روش های استخراج ویژگی (Feature Engineering) برای داده های بزرگ
• 74. تکنیک های استخراج ویژگی با Spark
• 75. تکنیک های استخراج ویژگی با Hive
• 76. مقدمه ای بر مدل سازی داده های سری زمانی با هادوپ
• 77. کاربرد Spark برای تحلیل سری زمانی
• 78. کاربرد Hive برای تحلیل سری زمانی
• 79. مقدمه ای بر روش های تشخیص ناهنجاری (Anomaly Detection) در داده های بزرگ
• 80. الگوریتم های تشخیص ناهنجاری با Spark MLlib
• 81. الگوریتم های تشخیص ناهنجاری با Hive
• 82. مقدمه ای بر تحلیل شبکه های اجتماعی با هادوپ
• 83. ابزارهای تحلیل گراف در هادوپ
• 84. کاربرد Spark GraphX
• 85. مقدمه ای بر ذخیره سازی داده های NoSQL دیگر (Cassandra)
• 86. مقایسه Cassandra با HBase
• 87. کاربرد Cassandra در سناریوهای خاص
• 88. مقدمه ای بر مفاهیم ابری (Cloud Computing) و هادوپ
• 89. استفاده از هادوپ بر روی سرویس های ابری (AWS EMR, Azure HDInsight)
• 90. مدیریت هزینه در هادوپ ابری
• 91. مقدمه ای بر مفاهیم DevOps برای هادوپ
• 92. اتوماسیون استقرار هادوپ
• 93. مانیتورینگ و مدیریت خودکار خوشه هادوپ
• 94. مقدمه ای بر معماری میکروسرویس و هادوپ
• 95. ادغام هادوپ با معماری میکروسرویس
• 96. استفاده از هادوپ برای پشتیبانی از میکروسرویس ها
• 97. مقدمه ای بر استراتژی های مهاجرت داده به هادوپ
• 98. برنامه ریزی برای مهاجرت داده
• 99. چالش های مهاجرت داده
• 100. مقدمه ای بر اصول حکمرانی داده (Data Governance) در مقیاس بزرگ