فلش‌کارت‌های آموزشی کارگاه عملی پردازش موازی کلان‌داده‌ها با Spark و Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کارگاه عملی پردازش موازی کلان‌داده‌ها با Spark و Hadoop

موضوع کلی: علوم کامپیوتر و مهندسی نرم‌افزار

موضوع میانی: سیستم‌های توزیع‌شده و پردازش موازی

📋 سرفصل‌های دوره

• 1. مبانی علوم کامپیوتر و مهندسی نرم‌افزار
• 2. مبانی سیستم‌های توزیع‌شده
• 3. مبانی پردازش موازی
• 4. معرفی کلان‌داده‌ها و چالش‌های آن
• 5. تاریخچه و تکامل پردازش موازی در کلان‌داده‌ها
• 6. معرفی اکوسیستم Hadoop
• 7. معماری Hadoop: HDFS
• 8. معماری Hadoop: YARN
• 9. معماری Hadoop: MapReduce
• 10. مبانی زبان برنامه‌نویسی Scala
• 11. مبانی زبان برنامه‌نویسی Python
• 12. مبانی SQL
• 13. معرفی Apache Spark
• 14. معماری Spark: Spark Core
• 15. Spark RDD ها: ایجاد و عملیات
• 16. Spark RDD ها: تبدیل‌ها (Transformations)
• 17. Spark RDD ها: اقدام‌ها (Actions)
• 18. مدیریت حافظه در Spark
• 19. بهینه‌سازی عملکرد RDD ها
• 20. معرفی Spark SQL
• 21. DataFrame ها در Spark
• 22. عملیات روی DataFrame ها
• 23. توابع درون‌ساخته (Built-in Functions) در Spark SQL
• 24. کار با Schema ها در Spark SQL
• 25. بهینه‌سازی عملکرد Spark SQL
• 26. معرفی Spark Streaming
• 27. مبانی پردازش داده‌های جریانی
• 28. Spark Streaming: Receivers
• 29. Spark Streaming: DStreams
• 30. عملیات روی DStreams
• 31. مدیریت وضعیت (State Management) در Spark Streaming
• 32. Spark Structured Streaming
• 33. مبانی پردازش داده‌های جریانی ساختاریافته
• 34. Structured Streaming: DataFrame API
• 35. Structured Streaming: Queries
• 36. Structured Streaming: Window Operations
• 37. Structured Streaming: Watermarking
• 38. بهینه‌سازی عملکرد Spark Streaming و Structured Streaming
• 39. معرفی Spark MLlib
• 40. یادگیری ماشین در Spark
• 41. الگوریتم‌های دسته‌بندی (Classification) در MLlib
• 42. الگوریتم‌های رگرسیون (Regression) در MLlib
• 43. الگوریتم‌های خوشه‌بندی (Clustering) در MLlib
• 44. الگوریتم‌های کاهش ابعاد (Dimensionality Reduction) در MLlib
• 45. ارزیابی مدل‌ها در MLlib
• 46. لوله کشی (Pipelines) در MLlib
• 47. مهندسی ویژگی (Feature Engineering) در MLlib
• 48. معرفی GraphX
• 49. پردازش گراف در Spark
• 50. الگوریتم‌های گراف در GraphX
• 51. مدل برنامه‌نویسی Pregel در GraphX
• 52. کار با داده‌های گراف در GraphX
• 53. بهینه‌سازی عملکرد GraphX
• 54. مبانی سیستم‌های پایگاه داده توزیع‌شده
• 55. پایگاه داده‌های NoSQL
• 56. معرفی Cassandra
• 57. معماری Cassandra
• 58. مدل داده Cassandra
• 59. کار با Cassandra از طریق Spark
• 60. معرفی HBase
• 61. معماری HBase
• 62. مدل داده HBase
• 63. کار با HBase از طریق Spark
• 64. معرفی Kafka
• 65. مبانی سیستم‌های پیام‌رسانی توزیع‌شده
• 66. Kafka Producers و Consumers
• 67. کار با Kafka از طریق Spark Streaming
• 68. معرفی ZooKeeper
• 69. نقش ZooKeeper در اکوسیستم Hadoop و Spark
• 70. مبانی ذخیره‌سازی توزیع‌شده
• 71. فرمت‌های ذخیره‌سازی کلان‌داده‌ها: Parquet
• 72. فرمت‌های ذخیره‌سازی کلان‌داده‌ها: ORC
• 73. فرمت‌های ذخیره‌سازی کلان‌داده‌ها: Avro
• 74. فشرده‌سازی داده‌ها در کلان‌داده‌ها
• 75. امنیت در Hadoop و Spark
• 76. مدیریت دسترسی در Hadoop
• 77. رمزنگاری داده‌ها در Hadoop
• 78. مانیتورینگ و لاگینگ در Hadoop و Spark
• 79. ابزارهای مانیتورینگ (Monitoring Tools)
• 80. اشکال‌زدایی (Debugging) در برنامه‌های Spark
• 81. مدیریت وظایف (Job Management) در Spark
• 82. کارایی (Performance Tuning) سیستم‌های توزیع‌شده
• 83. استراتژی‌های موازی‌سازی (Parallelization Strategies)
• 84. مدل‌های پردازش موازی (Parallel Processing Models)
• 85. پردازش دسته‌ای (Batch Processing) در مقایسه با پردازش جریانی (Stream Processing)
• 86. معماری‌های کلان‌داده‌های مدرن
• 87. انتخاب ابزار مناسب برای پردازش کلان‌داده‌ها
• 88. ملاحظات مقیاس‌پذیری (Scalability Considerations)
• 89. ملاحظات تحمل خطا (Fault Tolerance Considerations)
• 90. ملاحظات تأخیر (Latency Considerations)
• 91. ملاحظات هزینه (Cost Considerations)
• 92. مطالعات موردی (Case Studies) در پردازش موازی کلان‌داده‌ها
• 93. کاربرد Spark در تحلیل داده‌های شبکه‌های اجتماعی
• 94. کاربرد Spark در تحلیل داده‌های IoT
• 95. کاربرد Spark در تحلیل داده‌های مالی
• 96. کاربرد Spark در پردازش زبان طبیعی (NLP)
• 97. کاربرد Spark در پردازش تصویر و ویدئو
• 98. معرفی ابزارهای Orchestration: Apache Airflow
• 99. مدیریت گردش کار (Workflow Management)
• 100. استقرار (Deployment) برنامه‌های Spark