دوره آموزش Apache Flink برای پردازش جریان داده همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش Apache Flink برای پردازش جریان داده

موضوع کلی: برنامه نویسی

موضوع میانی: مهندسی داده (Data Engineering)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش جریان داده و Apache Flink
• 2. مفاهیم پایه پردازش جریان داده
• 3. آشنایی با معماری Apache Flink
• 4. نصب و راه‌اندازی Flink
• 5. اولین برنامه Flink: World Hello
• 6. محیط‌های توسعه Flink (IDE, CLI)
• 7. مفاهیم DataStream API
• 8. عملیات Transform در DataStream
• 9. فیلتر کردن و نگاشت داده‌ها
• 10. تولید و مصرف جریان داده
• 11. عملیات KeyedStream
• 12. انواع پنجره‌ها در Flink
• 13. پنجره‌های مبتنی بر زمان
• 14. پنجره‌های مبتنی بر تعداد
• 15. مدیریت وضعیت (State Management)
• 16. توابع وضعیت (State Functions)
• 17. توابع نگاشت (Map Functions)
• 18. توابع کاهش (Reduce Functions)
• 19. توابع تجمعی (Aggregate Functions)
• 20. توابع پنجره‌ای (Window Functions)
• 21. پنجره‌های Sliding و Tumbling
• 22. پنجره‌های Session
• 23. مدیریت زمان رویداد (Event Time)
• 24. مدیریت زمان پردازش (Processing Time)
• 25. مدیریت زمان ورود (Ingestion Time)
• 26. Watermarks و تشخیص زمان رویداد
• 27. تطابق رویدادها (Event Reordering)
• 28. تضمین‌های پردازش (Processing Guarantees)
• 29. Exactly-Once Processing
• 30. At-Least-Once Processing
• 31. Fault Tolerance در Flink
• 32. Checkpoints و Savepoints
• 33. بازیابی از خرابی
• 34. منابع داده (Sources) در Flink
• 35. Kafka Connector
• 36. File System Connector
• 37. Socket Connector
• 38. RabbitMQ Connector
• 39. JDBC Connector
• 40. هدف‌ها (Sinks) در Flink
• 41. Kafka Connector Sink
• 42. File System Connector Sink
• 43. Console Sink
• 44. JDBC Sink
• 45. Elasticsearch Sink
• 46. پردازش رویدادهای پیچیده (CEP)
• 47. موتور CEP Flink
• 48. الگوهای CEP
• 49. یافتن الگوهای رویداد
• 50. شناسایی رویدادهای متوالی
• 51. شناسایی رویدادهای جایگزین
• 52. شناسایی رویدادهای تکراری
• 53. مدیریت شرایط پیچیده رویداد
• 54. کاربرد CEP در تشخیص تقلب
• 55. کاربرد CEP در نظارت بر سیستم
• 56. کاربرد CEP در مدیریت رویدادهای امنیتی
• 57. یادگیری ماشین در Flink
• 58. ادغام با کتابخانه‌های ML
• 59. پردازش داده‌های جریانی برای آموزش مدل
• 60. استفاده از مدل‌های آموزش‌دیده در زمان اجرا
• 61. پیش‌بینی بلادرنگ با Flink ML
• 62. بهینه‌سازی عملکرد Flink
• 63. تنظیم پارامترهای Task Manager
• 64. تنظیم پارامترهای Job Manager
• 65. مدیریت منابع (Memory, CPU)
• 66. بهینه‌سازی Checkpointing
• 67. استفاده از Parallelism مناسب
• 68. شناسایی و رفع گلوگاه‌ها
• 69. مانیتورینگ و لاگینگ در Flink
• 70. داشبوردهای Flink UI
• 71. تحلیل لاگ‌های Flink
• 72. ابزارهای مانیتورینگ خارجی
• 73. کاربرد Flink در تحلیل کلان‌داده
• 74. پردازش داده‌های IoT
• 75. تحلیل داده‌های شبکه‌های اجتماعی
• 76. سیستم‌های توصیه‌گر بلادرنگ
• 77. پردازش تراکنش‌های مالی
• 78. نظارت بر سلامت سیستم‌ها
• 79. معماری Microservices با Flink
• 80. ارتباط بین سرویس‌ها با Flink
• 81. پردازش داده‌های حسگرها
• 82. تحلیل لاگ‌های برنامه‌ها
• 83. ساخت داشبوردهای زنده
• 84. پردازش داده‌های صوتی و تصویری (محدودیت‌ها)
• 85. ملاحظات امنیتی در Flink
• 86. رمزنگاری داده‌ها در حال انتقال
• 87. مدیریت دسترسی و احراز هویت
• 88. امنیت در اتصالات به منابع خارجی
• 89. روش‌های پیاده‌سازی پیشرفته
• 90. استفاده از Table API
• 91. استفاده از SQL در Flink
• 92. ادغام Flink با Apache Kafka
• 93. ادغام Flink با Apache Cassandra
• 94. ادغام Flink با Apache HBase
• 95. ادغام Flink با Apache ZooKeeper
• 96. ملاحظات استقرار Flink
• 97. استقرار بر روی YARN
• 98. استقرار بر روی Kubernetes
• 99. استقرار Standalone
• 100. ساخت برنامه‌های Flink مقاوم در برابر خطا