دوره فریم‌ورک‌های پردازش داده در Spark همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره فریم‌ورک‌های پردازش داده در Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده و کلان داده
• 2. آشنایی با اکوسیستم داده‌های بزرگ
• 3. مبانی Spark و معماری آن
• 4. نصب و راه‌اندازی Spark
• 5. مفاهیم اولیه Spark Core
• 6. APIهای Spark: RDDها
• 7. عملیات تبدیل RDD (Transformations)
• 8. عملیات اقدام RDD (Actions)
• 9. مدیریت حافظه در Spark
• 10. بهینه‌سازی RDDها
• 11. مقدمه‌ای بر Spark SQL
• 12. ساختار داده‌ای DataFrame
• 13. عملیات تبدیل DataFrame
• 14. نوشتن کوئری‌های SQL در Spark
• 15. بهینه‌سازی DataFrame
• 16. مقدمه‌ای بر Spark Streaming
• 17. مبانی پردازش جریانی
• 18. دریافت داده از منابع جریانی
• 19. تبدیلات در Spark Streaming
• 20. عملیات اقدام در Spark Streaming
• 21. مدیریت حالت در Spark Streaming
• 22. پنجره‌ها در Spark Streaming
• 23. Spark Structured Streaming
• 24. APIهای Spark Streaming
• 25. مقدمه‌ای بر Spark MLlib
• 26. مبانی یادگیری ماشین
• 27. الگوریتم‌های طبقه‌بندی در Spark
• 28. الگوریتم‌های رگرسیون در Spark
• 29. الگوریتم‌های خوشه‌بندی در Spark
• 30. کاهش ابعاد در Spark
• 31. پیش‌پردازش داده در Spark MLlib
• 32. ارزیابی مدل‌ها در Spark MLlib
• 33. مقدمه‌ای بر Spark GraphX
• 34. مبانی پردازش گراف
• 35. ساختار داده‌ای GraphFrame
• 36. الگوریتم‌های تحلیل گراف
• 37. کاربرد GraphX در شبکه‌های اجتماعی
• 38. مقدمه‌ای بر Spark Connect
• 39. ارتباط با Spark از طریق Spark Connect
• 40. مقدمه‌ای بر Spark UI
• 41. پایش و اشکال‌زدایی برنامه‌های Spark
• 42. تنظیمات و پیکربندی Spark
• 43. مدیریت منابع در Spark (YARN, Mesos)
• 44. بهینه‌سازی عملکرد Spark
• 45. استفاده از Spark در محیط‌های ابری
• 46. Spark و ذخیره‌سازی توزیع‌شده (HDFS, S3)
• 47. Spark و پایگاه‌های داده NoSQL
• 48. Spark و پایگاه‌های داده رابطه‌ای
• 49. Spark و داده‌های زمانی
• 50. Spark و داده‌های مکانی
• 51. Spark و داده‌های متنی
• 52. Spark و پردازش زبان طبیعی
• 53. Spark و هوش مصنوعی
• 54. Spark و یادگیری عمیق
• 55. Spark و اینترنت اشیاء (IoT)
• 56. Spark و داده‌های علمی
• 57. Spark و تحلیل داده‌های مالی
• 58. Spark و تحلیل داده‌های بهداشتی
• 59. Spark و تحلیل داده‌های بازاریابی
• 60. Spark و تحلیل داده‌های دولتی
• 61. Spark و تحلیل داده‌های حمل و نقل
• 62. Spark و تحلیل داده‌های محیط زیست
• 63. Spark و تحلیل داده‌های انرژی
• 64. Spark و تحلیل داده‌های آموزشی
• 65. Spark و تحلیل داده‌های حقوقی
• 66. Spark و تحلیل داده‌های امنیتی
• 67. Spark و پردازش داده‌های بلادرنگ
• 68. Spark و پردازش دسته‌ای (Batch Processing)
• 69. Spark و پردازش تعاملی (Interactive Processing)
• 70. Spark و معماری‌های داده مدرن
• 71. Spark و Data Lakehouse
• 72. Spark و Data Mesh
• 73. Spark و ETL/ELT
• 74. Spark و Data Governance
• 75. Spark و Data Lineage
• 76. Spark و Data Quality
• 77. Spark و Data Security
• 78. Spark و Data Privacy
• 79. Spark و ابزارهای مانیتورینگ
• 80. Spark و اتوماسیون فرآیندهای داده
• 81. Spark و DevSecOps در داده
• 82. Spark و آینده پردازش داده
• 83. تکنیک‌های پیشرفته RDD
• 84. تکنیک‌های پیشرفته DataFrame
• 85. تکنیک‌های پیشرفته Spark SQL
• 86. تکنیک‌های پیشرفته Spark Streaming
• 87. تکنیک‌های پیشرفته Spark MLlib
• 88. تکنیک‌های پیشرفته GraphX
• 89. استفاده از UDF در Spark
• 90. نوشتن برنامه‌های Spark با Scala
• 91. نوشتن برنامه‌های Spark با Python
• 92. نوشتن برنامه‌های Spark با Java
• 93. نوشتن برنامه‌های Spark با R
• 94. کاربرد Spark در تحلیل کلان داده‌های اقتصادی
• 95. کاربرد Spark در تحلیل کلان داده‌های اجتماعی
• 96. کاربرد Spark در تحلیل کلان داده‌های علمی