فلش‌کارت‌های آموزشی Spark for Big Data Ecosystems

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Spark for Big Data Ecosystems

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. آشنایی با اکوسیستم کلان داده
• 2. مقدمه‌ای بر پردازش توزیع‌شده
• 3. معرفی Apache Spark
• 4. معماری Spark Core
• 5. مفاهیم RDD
• 6. عملیات روی RDDها
• 7. تبدیل‌ها و اقدامات RDD
• 8. بهینه‌سازی عملکرد RDD
• 9. Spark SQL و DataFrames
• 10. ساختار DataFrames
• 11. عملیات روی DataFrames
• 12. بهینه‌سازی پرس‌وجوهای Spark SQL
• 13. Spark Streaming
• 14. مفاهیم Spark Streaming
• 15. عملیات در زمان واقعی
• 16. مدیریت حالت در Spark Streaming
• 17. Spark MLlib
• 18. مقدمه‌ای بر یادگیری ماشین در Spark
• 19. الگوریتم‌های طبقه‌بندی
• 20. الگوریتم‌های رگرسیون
• 21. الگوریتم‌های خوشه‌بندی
• 22. کاهش ابعاد
• 23. تأیید مدل
• 24. GraphX در Spark
• 25. مفاهیم گراف
• 26. عملیات روی گراف‌ها
• 27. الگوریتم‌های گراف
• 28. Spark Deployment Modes
• 29. Standalone Cluster Mode
• 30. YARN Cluster Mode
• 31. Mesos Cluster Mode
• 32. Kubernetes Cluster Mode
• 33. Spark Configuration
• 34. تنظیمات Spark Core
• 35. تنظیمات Spark SQL
• 36. تنظیمات Spark Streaming
• 37. تنظیمات Spark MLlib
• 38. مدیریت حافظه در Spark
• 39. اجرا و پایش برنامه‌های Spark
• 40. Spark UI
• 41. Spark History Server
• 42. لاگ‌گیری در Spark
• 43. اشکال‌زدایی برنامه‌های Spark
• 44. بهترین شیوه‌های بهینه‌سازی Spark
• 45. استفاده از پارتیشن‌بندی
• 46. کاهش shuffle
• 47. فشرده‌سازی داده‌ها
• 48. اجرای موازی
• 49. استفاده از Broadcast Variables
• 50. استفاده از Accumulators
• 51. کار با فایل‌های مختلف (CSV, JSON, Parquet)
• 52. کار با پایگاه‌های داده رابطه‌ای
• 53. کار با NoSQL Databases
• 54. ادغام Spark با Hadoop Ecosystem
• 55. ادغام Spark با Kafka
• 56. ادغام Spark با Cassandra
• 57. ادغام Spark با HBase
• 58. امنیت در Spark
• 59. احراز هویت در Spark
• 60. مجوزدهی در Spark
• 61. رمزنگاری در Spark
• 62. Spark و پردازش داده‌های عظیم
• 63. تحلیل داده‌های حجیم با Spark
• 64. مدل‌سازی داده‌های بزرگ با Spark
• 65. تصویرسازی داده‌های بزرگ با Spark
• 66. کاربرد Spark در تحلیل داده‌های مالی
• 67. کاربرد Spark در تحلیل داده‌های سلامت
• 68. کاربرد Spark در تحلیل داده‌های بازاریابی
• 69. کاربرد Spark در اینترنت اشیاء (IoT)
• 70. کاربرد Spark در پردازش زبان طبیعی (NLP)
• 71. کاربرد Spark در تحلیل شبکه‌های اجتماعی
• 72. کاربرد Spark در سیستم‌های توصیه‌گر
• 73. کاربرد Spark در پردازش تصویر
• 74. اصول معماری نرم‌افزار در اکوسیستم کلان داده
• 75. ملاحظات امنیتی در سیستم‌های کلان داده
• 76. مدیریت چرخه حیات داده‌ها
• 77. اصول مدیریت داده توزیع‌شده
• 78. ساختارهای داده در پردازش توزیع‌شده
• 79. الگوهای طراحی برای کلان داده
• 80. ملاحظات مقیاس‌پذیری در سیستم‌های توزیع‌شده
• 81. روش‌های تست در برنامه‌های کلان داده
• 82. ملاحظات استقرار و نگهداری سیستم‌های کلان داده
• 83. اصول برنامه‌نویسی تابعی در Spark
• 84. مدیریت خطا و بازیابی در سیستم‌های توزیع‌شده
• 85. مروری بر ابزارهای اکوسیستم کلان داده
• 86. تکامل اکوسیستم کلان داده
• 87. آینده پردازش کلان داده
• 88. ملاحظات اخلاقی در کار با داده‌های بزرگ
• 89. حفظ حریم خصوصی در کلان داده
• 90. مدیریت کیفیت داده‌ها
• 91. جمع‌آوری و پاک‌سازی داده‌ها
• 92. تحلیل اکتشافی داده‌ها
• 93. انتخاب ویژگی
• 94. ارزیابی مدل‌های یادگیری ماشین
• 95. تنظیم ابرپارامترها