فلش‌کارت‌های آموزشی مبانی برنامه‌نویسی MapReduce در Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی برنامه‌نویسی MapReduce در Hadoop

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش توزیع‌شده کلان‌داده
• 2. معرفی چارچوب Hadoop
• 3. معماری Hadoop: HDFS و YARN
• 4. مبانی Hadoop Distributed File System (HDFS)
• 5. ذخیره‌سازی داده‌ها در HDFS
• 6. مدیریت فضای نام در HDFS
• 7. کار با فایل‌ها و دایرکتوری‌ها در HDFS
• 8. معرفی YARN: مدیریت منابع در Hadoop
• 9. اجزای اصلی YARN: ResourceManager و NodeManager
• 10. مدیریت برنامه‌های کاربردی در YARN
• 11. مبانی MapReduce
• 12. فاز Map در MapReduce
• 13. فاز Reduce در MapReduce
• 14. چرخه حیات یک برنامه MapReduce
• 15. توابع کلیدی MapReduce
• 16. انواع ورودی و خروجی در MapReduce
• 17. کلاس‌های Mapper و Reducer
• 18. کلاس Partitioner
• 19. کلاس Combiner
• 20. کلاس Comparator
• 21. کلاس Writable و WritableComparable
• 22. انواع داده‌های Writable
• 23. مدیریت پیکربندی در MapReduce
• 24. تنظیمات JobTracker و TaskTracker (مدل قدیمی)
• 25. تنظیمات ResourceManager و NodeManager (مدل جدید)
• 26. نوشتن اولین برنامه MapReduce
• 27. مثال ساده MapReduce: شمارش کلمات
• 28. اجرای برنامه MapReduce
• 29. مانیتورینگ و دیباگ کردن برنامه‌های MapReduce
• 30. مشکلات رایج در MapReduce
• 31. بهینه‌سازی برنامه‌های MapReduce
• 32. تنظیم پارامترهای MapReduce
• 33. تنظیم تعداد Map Taskها
• 34. تنظیم تعداد Reduce Taskها
• 35. تنظیم اندازه Split
• 36. کاهش Shuffle and Sort
• 37. استفاده از Combinerها
• 38. بهینه‌سازی I/O در MapReduce
• 39. کاهش خواندن و نوشتن
• 40. فشرده‌سازی داده‌ها
• 41. استفاده از فرمت‌های فایل بهینه (مانند Parquet و ORC)
• 42. مقدمه‌ای بر فرمت‌های فایل Columnar
• 43. کاربرد Parquet در MapReduce
• 44. کاربرد ORC در MapReduce
• 45. MapReduce با داده‌های ساختاریافته
• 46. پردازش JSON با MapReduce
• 47. پردازش CSV با MapReduce
• 48. پردازش XML با MapReduce
• 49. مرتبط‌سازی داده‌ها با MapReduce
• 50. Join در MapReduce (Map-side Join)
• 51. Join در MapReduce (Reduce-side Join)
• 52. انواع Join در MapReduce
• 53. تکنیک‌های پیشرفته MapReduce
• 54. Custom Input/Output Formats
• 55. Custom Writable Classes
• 56. Custom Partitioner
• 57. Custom Comparator
• 58. Custom Combiner
• 59. استفاده از ابزارهای کمکی MapReduce
• 60. Hive و MapReduce
• 61. Pig و MapReduce
• 62. Spark و MapReduce (مقایسه و همزیستی)
• 63. Hadoop Streaming
• 64. نوشتن برنامه‌های MapReduce با زبان‌های دیگر (Python, Ruby)
• 65. امنیت در Hadoop و MapReduce
• 66. مدیریت دسترسی در HDFS
• 67. مدیریت احراز هویت در Hadoop
• 68. مدیریت مجوزها در MapReduce
• 69. ملاحظات عملیاتی در MapReduce
• 70. نظارت بر کلاستر Hadoop
• 71. تنظیمات پیشرفته YARN
• 72. مدیریت صف‌ها در YARN
• 73. مدیریت ظرفیت در YARN
• 74. کار با انواع مختلف برنامه‌ها در YARN (MapReduce, Spark, Tez)
• 75. تست برنامه‌های MapReduce
• 76. مستندسازی برنامه‌های MapReduce
• 77. مقیاس‌پذیری برنامه‌های MapReduce
• 78. مدیریت خطا در MapReduce
• 79. بازیابی از خطا در MapReduce
• 80. مقدمه‌ای بر پردازش دسته‌ای (Batch Processing)
• 81. تفاوت پردازش دسته‌ای و پردازش آنی (Real-time)
• 82. نقش MapReduce در پردازش دسته‌ای
• 83. کاربردهای MapReduce در صنایع مختلف
• 84. تحلیل لاگ‌ها با MapReduce
• 85. پردازش داده‌های شبکه‌های اجتماعی با MapReduce
• 86. تحلیل داده‌های مالی با MapReduce
• 87. پردازش داده‌های علمی با MapReduce
• 88. مقدمه‌ای بر داده‌های حجیم (Big Data)
• 89. چالش‌های داده‌های حجیم
• 90. معماری‌های پردازش داده‌های حجیم
• 91. مبانی داده‌کاوی با MapReduce
• 92. خوشه‌بندی با MapReduce
• 93. طبقه‌بندی با MapReduce
• 94. قوانین وابستگی (Association Rules) با MapReduce
• 95. مقدمه‌ای بر پردازش گراف با Hadoop (GraphX)
• 96. مبانی GraphX
• 97. الگوریتم‌های پردازش گراف در GraphX
• 98. کاربرد GraphX در تحلیل شبکه‌ها
• 99. مقدمه‌ای بر پردازش داده‌های جریانی با Hadoop (Storm/Spark Streaming)
• 100. تفاوت MapReduce با پردازش جریانی