فلش‌کارت‌های آموزشی Stream Processing with Spark Structured Streaming

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Stream Processing with Spark Structured Streaming

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه ای بر پردازش جریان داده
• 2. مفاهیم کلیدی پردازش جریان
• 3. معماری Spark Structured Streaming
• 4. موتور Spark و معماری آن
• 5. مقدمه ای بر Spark SQL
• 6. کتابخانه Spark SQL
• 7. تفاوت Spark SQL با Spark Core
• 8. آشنایی با DataFrame ها
• 9. عملیات پایه DataFrame
• 10. توابع پنجره ای در Spark SQL
• 11. فهرست نویسی DataFrame
• 12. بهینه سازی پرس و جو در Spark SQL
• 13. مقدمه ای بر Spark Structured Streaming
• 14. مفاهیم اصلی Structured Streaming
• 15. منابع داده در Structured Streaming
• 16. سینک های خروجی در Structured Streaming
• 17. تبدیل داده ها در Structured Streaming
• 18. توابع پنجره ای در Structured Streaming
• 19. حالت در Structured Streaming
• 20. مدیریت حالت در Structured Streaming
• 21. تضمین های پردازش در Structured Streaming
• 22. تحویل تضمینی پیام
• 23. پردازش دقیقاً یک بار
• 24. مدیریت خطا در Structured Streaming
• 25. اشکال زدایی برنامه های Structured Streaming
• 26. مانیتورینگ برنامه های Structured Streaming
• 27. بهینه سازی عملکرد Structured Streaming
• 28. تنظیمات پیشرفته Structured Streaming
• 29. استفاده از Kafka به عنوان منبع داده
• 30. پیکربندی Kafka برای Structured Streaming
• 31. استفاده از Kinesis به عنوان منبع داده
• 32. پیکربندی Kinesis برای Structured Streaming
• 33. استفاده از فایل ها به عنوان منبع داده
• 34. پیکربندی فایل ها برای Structured Streaming
• 35. استفاده از سوکت ها به عنوان منبع داده
• 36. پیکربندی سوکت ها برای Structured Streaming
• 37. تغییرات Schema در طول زمان
• 38. مدیریت Schema Evolution
• 39. تغییرات Schema در منابع مختلف
• 40. تکنیک های پیشرفته تبدیل داده
• 41. توابع سفارشی در Structured Streaming
• 42. استفاده از UDF ها
• 43. مدیریت منابع در Spark
• 44. تنظیمات Executor و Core
• 45. تنظیمات حافظه در Spark
• 46. تنظیمات پارتیشن بندی
• 47. استفاده از Spark UI برای مانیتورینگ
• 48. تحلیل گره های Spark
• 49. تحلیل مراحل Spark
• 50. تحلیل وظایف Spark
• 51. تحلیل مراحل Spark
• 52. تحلیل پرس و جوهای Spark SQL
• 53. بهینه سازی پرس و جوهای پیچیده
• 54. استفاده از Spark Optimizer
• 55. تکنیک های Lead و Lag
• 56. مدیریت حالت با MapWithState
• 57. مدیریت حالت با FlatMapGroupsWithState
• 58. استفاده از Checkpointing
• 59. پیکربندی Checkpointing
• 60. بازیابی از Checkpointing
• 61. تضمین های پردازش در سناریوهای پیچیده
• 62. مدیریت حالت در سناریوهای توزیع شده
• 63. پردازش رویدادهای خارج از ترتیب
• 64. مدیریت داده های تکراری
• 65. تکنیک های Deduplication
• 66. استفاده از Watermarks
• 67. تنظیم Watermarks
• 68. مدیریت داده های قدیمی
• 69. سناریوهای پردازش داده های زنده
• 70. پردازش داده های IoT
• 71. پردازش داده های لاگ
• 72. پردازش داده های مالی
• 73. پردازش داده های شبکه
• 74. استفاده از Structured Streaming با Delta Lake
• 75. مقدمه ای بر Delta Lake
• 76. مزایای Delta Lake
• 77. استفاده از Delta Lake در Structured Streaming
• 78. پیکربندی Delta Lake
• 79. عملیات ACID در Delta Lake
• 80. مدیریت زمان سفر در Delta Lake
• 81. مقدمه ای بر Spark Structured Streaming در محیط عملیاتی
• 82. استقرار برنامه های Structured Streaming
• 83. مدیریت استقرار
• 84. مانیتورینگ در محیط عملیاتی
• 85. بهینه سازی در محیط عملیاتی
• 86. امنیت در Structured Streaming
• 87. مدیریت دسترسی
• 88. رمزگذاری داده ها
• 89. ملاحظات قانونی و شرعی در پردازش داده
• 90. رعایت حریم خصوصی داده ها
• 91. قوانین مربوط به داده های حساس
• 92. ملاحظات اخلاقی در پردازش داده
• 93. کاربرد Structured Streaming در تحلیل داده های کلان
• 94. تحلیل داده های کلان با Spark
• 95. کاربردهای صنعتی Structured Streaming
• 96. آینده Structured Streaming
• 97. روش های نوین پردازش جریان
• 98. جمع بندی و نکات پایانی