فلش‌کارت‌های آموزشی توسعه برنامه‌های کاربردی توزیع‌شده با Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره توسعه برنامه‌های کاربردی توزیع‌شده با Hadoop

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر سیستم‌های توزیع‌شده و Hadoop
• 2. معماری Hadoop: HDFS و MapReduce
• 3. نصب و پیکربندی Hadoop در حالت مستقل
• 4. نصب و پیکربندی Hadoop در حالت کلاستر
• 5. مفاهیم کلیدی HDFS: بلاک‌ها، DataNodes، NameNode
• 6. عملیات پایه HDFS: ایجاد، خواندن، نوشتن، حذف فایل
• 7. مدیریت فضای ذخیره‌سازی در HDFS
• 8. مفاهیم کلیدی MapReduce: Job، Task، Mapper، Reducer
• 9. چرخه حیات یک برنامه MapReduce
• 10. نوشتن اولین برنامه MapReduce: شمارش کلمات
• 11. انواع داده در Hadoop و فرمت‌های فایل (Text, SequenceFile, Avro, Parquet)
• 12. فشرده‌سازی داده در Hadoop (Gzip, Bzip2, Snappy)
• 13. اصول طراحی الگوریتم‌های MapReduce
• 14. بهینه‌سازی برنامه‌های MapReduce
• 15. مدیریت منابع در Hadoop با YARN
• 16. معماری YARN: ResourceManager، NodeManager، ApplicationMaster
• 17. نوشتن برنامه‌های YARN (Application)
• 18. مقدمه‌ای بر Spark
• 19. معماری Spark و RDDها
• 20. تفاوت‌های Spark و MapReduce
• 21. نصب و پیکربندی Spark
• 22. کار با RDDها در Spark
• 23. عملیات Transformational در RDDها
• 24. عملیات Actional در RDDها
• 25. Spark SQL و DataFrameها
• 26. کار با داده‌های ساختاریافته در Spark SQL
• 27. Spark Streaming: پردازش داده‌های زنده
• 28. معماری Spark Streaming
• 29. توسعه برنامه‌های Spark Streaming
• 30. مقدمه‌ای بر Hive
• 31. معماری Hive
• 32. نصب و پیکربندی Hive
• 33. کار با HiveQL
• 34. ایجاد جداول و بارگذاری داده در Hive
• 35. کوئری زدن در Hive
• 36. بهینه‌سازی کوئری‌های Hive
• 37. مقدمه‌ای بر HBase
• 38. معماری HBase
• 39. نصب و پیکربندی HBase
• 40. کار با HBase Shell
• 41. مدل داده‌ای HBase
• 42. عملیات CRUD در HBase
• 43. مفاهیم کلیدی در HBase: Region، RegionServer، Master
• 44. HBase و MapReduce/Spark
• 45. مقدمه‌ای بر ZooKeeper
• 46. نقش ZooKeeper در Hadoop
• 47. نصب و پیکربندی ZooKeeper
• 48. مفاهیم کلیدی ZooKeeper: Znode، Watcher
• 49. استفاده از ZooKeeper برای هماهنگ‌سازی
• 50. آموزش طراحی سیستم‌های توزیع‌شده
• 51. الگوهای طراحی سیستم‌های توزیع‌شده (Partitioning, Replication, Consistency)
• 52. مدیریت خطا در سیستم‌های توزیع‌شده
• 53. مقیاس‌پذیری عمودی و افقی
• 54. روش‌های هماهنگ‌سازی در سیستم‌های توزیع‌شده
• 55. مدیریت وضعیت در سیستم‌های توزیع‌شده
• 56. الگوهای پیام‌رسانی (Publish/Subscribe, Point-to-Point)
• 57. امنیت در سیستم‌های توزیع‌شده
• 58. مانیتورینگ و لاگینگ در سیستم‌های توزیع‌شده
• 59. تست برنامه‌های کاربردی توزیع‌شده
• 60. مقدمه‌ای بر مفاهیم پایگاه داده NoSQL
• 61. مقایسه پایگاه داده‌های NoSQL و رابطه‌ای
• 62. انواع پایگاه داده‌های NoSQL (Key-Value, Document, Column-Family, Graph)
• 63. کاربرد پایگاه داده‌های NoSQL در برنامه‌های توزیع‌شده
• 64. انتخاب پایگاه داده مناسب برای نیازهای پروژه
• 65. مقدمه‌ای بر پردازش داده‌های بزرگ (Big Data)
• 66. چالش‌های داده‌های بزرگ
• 67. معماری‌های پردازش داده‌های بزرگ
• 68. کاربرد Hadoop در اکوسیستم داده‌های بزرگ
• 69. تحلیل داده‌های بزرگ با ابزارهای Hadoop
• 70. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین در Hadoop
• 71. پیاده‌سازی الگوریتم‌های یادگیری ماشین با Spark MLlib
• 72. پردازش زبان طبیعی (NLP) با Hadoop
• 73. پردازش تصاویر با Hadoop
• 74. مقدمه‌ای بر اینترنت اشیاء (IoT) و داده‌های آن
• 75. پردازش داده‌های IoT با Hadoop
• 76. استفاده از Hadoop برای تحلیل داده‌های زمان واقعی
• 77. طراحی معماری‌های مقیاس‌پذیر برای داده‌های حجیم
• 78. مباحث پیشرفته در HDFS (Quotas, Erasure Coding)
• 79. مباحث پیشرفته در YARN (Capacity Scheduler, Fair Scheduler)
• 80. مباحث پیشرفته در Spark (Tuning, Optimization)
• 81. مباحث پیشرفته در Hive (Indexing, Partitioning)
• 82. مباحث پیشرفته در HBase (Compaction, Bloom Filters)
• 83. امنیت داده‌ها در Hadoop (Kerberos, Sentry)
• 84. مدیریت چرخه عمر داده‌ها در Hadoop
• 85. معرفی ابزارهای اکوسیستم Hadoop (Sqoop, Flume, Oozie)
• 86. کار با Sqoop برای انتقال داده بین RDBMS و Hadoop
• 87. کار با Flume برای جمع‌آوری و انتقال داده‌های لاگ
• 88. کار با Oozie برای مدیریت گردش کار (Workflow)
• 89. مقدمه‌ای بر داده‌کاوی در Hadoop
• 90. تکنیک‌های داده‌کاوی در Hadoop
• 91. کاربرد Hadoop در تحلیل داده‌های شبکه‌های اجتماعی
• 92. کاربرد Hadoop در تحلیل داده‌های مالی
• 93. کاربرد Hadoop در تحلیل داده‌های سلامت
• 94. مقدمه‌ای بر مفاهیم Cloud Computing و Hadoop
• 95. استقرار Hadoop بر روی پلتفرم‌های ابری (AWS EMR, Azure HDInsight, GCP Dataproc)
• 96. مزایای استفاده از Hadoop در محیط ابری
• 97. معماری‌های مدرن پردازش داده
• 98. آینده Hadoop و پردازش داده‌های توزیع‌شده