فلش‌کارت‌های آموزشی استفاده از Spark و Hadoop برای پردازش داده‌های بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده از Spark و Hadoop برای پردازش داده‌های بزرگ

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های بزرگ
• 2. معرفی اکوسیستم Hadoop
• 3. معماری Hadoop: HDFS و YARN
• 4. نصب و پیکربندی Hadoop
• 5. آشنایی با Hadoop Distributed File System (HDFS)
• 6. عملیات پایه در HDFS
• 7. معرفی MapReduce
• 8. نوشتن اولین برنامه MapReduce
• 9. چرخه حیات MapReduce
• 10. بهینه‌سازی برنامه‌های MapReduce
• 11. معرفی Apache Spark
• 12. معماری Spark
• 13. Spark Core: RDDها
• 14. عملیات تبدیل و اکشن در RDDها
• 15. Spark SQL و DataFrames
• 16. کار با DataFrames
• 17. Spark Streaming
• 18. پردازش داده‌های جریانی با Spark Streaming
• 19. Spark MLlib: یادگیری ماشین در Spark
• 20. الگوریتم‌های طبقه‌بندی در MLlib
• 21. الگوریتم‌های رگرسیون در MLlib
• 22. خوشه‌بندی در MLlib
• 23. فیلترینگ مشارکتی در MLlib
• 24. کار با داده‌های متنی در Spark
• 25. پردازش داده‌های گراف با GraphX
• 26. مقدمه‌ای بر NoSQL
• 27. پایگاه‌های داده NoSQL: انواع و کاربردها
• 28. Apache Cassandra
• 29. Apache HBase
• 30. MongoDB
• 31. Redis
• 32. نصب و پیکربندی Cassandra
• 33. عملیات پایه در Cassandra
• 34. نصب و پیکربندی HBase
• 35. عملیات پایه در HBase
• 36. نصب و پیکربندی MongoDB
• 37. عملیات پایه در MongoDB
• 38. نصب و پیکربندی Redis
• 39. عملیات پایه در Redis
• 40. امنیت در Hadoop
• 41. امنیت در Spark
• 42. مدیریت منابع در YARN
• 43. زمان‌بندی در YARN
• 44. مانیتورینگ و دیباگینگ در Hadoop
• 45. مانیتورینگ و دیباگینگ در Spark
• 46. کار با داده‌های حجیم در محیط‌های ابری
• 47. پردازش داده‌های حجیم در AWS
• 48. پردازش داده‌های حجیم در Azure
• 49. پردازش داده‌های حجیم در Google Cloud
• 50. استفاده از Spark در محیط‌های ابری
• 51. استفاده از Hadoop در محیط‌های ابری
• 52. مقدمه‌ای بر معماری‌های داده مدرن
• 53. انبارهای داده (Data Warehouses)
• 54. دریاچه‌های داده (Data Lakes)
• 55. مفهوم Data Lakehouse
• 56. مباحث پیشرفته در HDFS
• 57. مباحث پیشرفته در YARN
• 58. مباحث پیشرفته در MapReduce
• 59. مباحث پیشرفته در Spark Core
• 60. مباحث پیشرفته در Spark SQL
• 61. مباحث پیشرفته در Spark Streaming
• 62. مباحث پیشرفته در MLlib
• 63. مباحث پیشرفته در GraphX
• 64. کاربرد Spark و Hadoop در تحلیل داده‌های مالی
• 65. کاربرد Spark و Hadoop در تحلیل داده‌های بازاریابی
• 66. کاربرد Spark و Hadoop در تحلیل داده‌های سلامت
• 67. کاربرد Spark و Hadoop در تحلیل داده‌های دولتی
• 68. کاربرد Spark و Hadoop در هوش تجاری
• 69. مقدمه‌ای بر مفاهیم داده‌های پاک
• 70. پاکسازی داده‌ها با Spark
• 71. اعتبارسنجی داده‌ها با Spark
• 72. مدیریت کیفیت داده
• 73. مفاهیم داده‌های حجیم و تحلیل آن
• 74. مفاهیم معماری داده توزیع شده
• 75. مباحث مربوط به داده‌های زمانی
• 76. مباحث مربوط به داده‌های مکانی
• 77. مباحث مربوط به داده‌های سنسور
• 78. مباحث مربوط به داده‌های شبکه‌های اجتماعی
• 79. کاربرد Spark در پردازش زبان طبیعی (NLP)
• 80. مقدمه‌ای بر یادگیری عمیق و Big Data
• 81. استفاده از Spark برای آموزش مدل‌های یادگیری عمیق
• 82. کاربرد Spark در پردازش تصویر
• 83. مباحث اخلاقی در پردازش داده‌های بزرگ
• 84. حریم خصوصی داده‌ها در Big Data
• 85. مقررات و چارچوب‌های قانونی پردازش داده در ایران
• 86. مدیریت پروژه در پروژه‌های داده‌های بزرگ
• 87. نقش مهندس داده در اکوسیستم Big Data
• 88. آینده پردازش داده‌های بزرگ
• 89. کاربرد Spark و Hadoop در صنعت نفت و گاز
• 90. کاربرد Spark و Hadoop در صنعت حمل و نقل
• 91. کاربرد Spark و Hadoop در صنعت گردشگری
• 92. کاربرد Spark و Hadoop در شهر هوشمند
• 93. مقدمه‌ای بر داده‌های باز (Open Data)
• 94. پردازش و تحلیل داده‌های باز با Spark و Hadoop
• 95. اصول طراحی سیستم‌های داده مقیاس‌پذیر
• 96. بهینه‌سازی هزینه‌های پردازش داده‌های بزرگ