دوره طوفان داده: از صفر تا استقرار یک سامانه پردازش جریان با Apache Storm همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب طوفان داده: از صفر تا استقرار یک سامانه پردازش جریان با Apache Storm

موضوع کلی: پردازش جریان داده (Stream Processing)

موضوع میانی: آشنایی با Apache Storm و پیاده‌سازی کاربردی

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر پردازش جریان داده
• 2. چالش‌های پردازش داده‌های بزرگ
• 3. مفاهیم کلیدی پردازش جریان
• 4. تفاوت پردازش دسته‌ای و پردازش جریانی
• 5. معرفی Apache Storm
• 6. چرا Apache Storm؟
• 7. مروری بر معماری Apache Storm
• 8. مفهوم Topologies در Storm
• 9. مفهوم Spouts در Storm
• 10. مفهوم Bolts در Storm
• 11. ارتباط Spouts و Bolts
• 12. مفهوم Streams در Storm
• 13. مفهوم Tuples در Storm
• 14. مدل پردازش Storm (پایان‌پذیری در مقابل عدم پایان‌پذیری)
• 15. مدیریت وضعیت (State Management) در Storm
• 16. قابلیت اطمینان (Reliability) در Storm
• 17. تحمل خطا (Fault Tolerance) در Storm
• 18. پردازش قطعی (Guaranteed Processing)
• 19. مکانیسم Acknowledge در Storm
• 20. پردازش حداقل یک بار (At Least Once)
• 21. پردازش دقیقاً یک بار (Exactly Once)
• 22. مفهوم Transactional Topologies
• 23. مفهوم Trident در Storm
• 24. مقایسه Trident با Topologies سنتی
• 25. نصب و پیکربندی Apache Storm (Local Mode)
• 26. اجرای اولین Topology در حالت Local
• 27. پیکربندی Storm برای حالت Distributed
• 28. نصب ZooKeeper برای Storm
• 29. نصب Nimbus و Supervisor
• 30. پیکربندی Supervisor.yaml
• 31. پیکربندی storm.yaml
• 32. دیپلوی کردن اولین Topology در حالت Distributed
• 33. مانیتورینگ Topologies در حالت Distributed
• 34. ابزارهای مانیتورینگ Storm (UI)
• 35. درک متریک‌های Storm
• 36. شخصی‌سازی Spouts
• 37. پیاده‌سازی Spoutهای سفارشی (مثال: خواندن از فایل)
• 38. پیاده‌سازی Spoutهای سفارشی (مثال: خواندن از Kafka)
• 39. پیکربندی Spout برای پارالل بودن
• 40. شخصی‌سازی Bolts
• 41. پیاده‌سازی Bolt سفارشی (مثال: فیلترینگ)
• 42. پیاده‌سازی Bolt سفارشی (مثال: تجميع)
• 43. پیاده‌سازی Bolt سفارشی (مثال: تبدیل داده)
• 44. پیکربندی Bolt برای پارالل بودن
• 45. مفهوم Stream Groupings
• 46. انواع Stream Groupings (Shuffle, Fields, All, Global, Direct)
• 47. نحوه انتخاب Stream Groupings مناسب
• 48. مفهوم Fields Grouping در عمق
• 49. مفهوم Shuffle Grouping در عمق
• 50. مفهوم All Grouping در عمق
• 51. مفهوم Global Grouping در عمق
• 52. مفهوم Direct Grouping در عمق
• 53. مدیریت وضعیت در Spouts
• 54. مدیریت وضعیت در Bolts
• 55. استفاده از Persistent Map در Storm
• 56. استفاده از Persistent State در Storm
• 57. مدیریت وضعیت با استفاده از ZooKeeper
• 58. مفهوم Triggers در Trident
• 59. پیکربندی Triggers در Trident
• 60. توسعه یک Topology پیچیده با Trident
• 61. استفاده از Operations در Trident (Map, Filter, Each)
• 62. استفاده از Aggregations در Trident
• 63. استفاده از Join در Trident
• 64. استفاده از Partitioned Join در Trident
• 65. استفاده از Batch Join در Trident
• 66. استفاده از Persistent Commit در Trident
• 67. مفهوم DRPC (Distributed Remote Procedure Call)
• 68. پیاده‌سازی DRPC در Storm
• 69. کاربرد DRPC در پردازش جریان
• 70. یکپارچه‌سازی Storm با Kafka
• 71. پیاده‌سازی Spout برای خواندن از Kafka
• 72. پیاده‌سازی Bolt برای نوشتن در Kafka
• 73. مدیریت Offset در Kafka Spout
• 74. یکپارچه‌سازی Storm با Kinesis
• 75. استفاده از Kinesis Spout
• 76. استفاده از Kinesis Bolt
• 77. مفاهیم پیشرفته Kafka Spout
• 78. مفاهیم پیشرفته Kinesis Spout
• 79. مدیریت خطا و Rebalancing در Storm
• 80. استراتژی‌های Rebalancing
• 81. تکنیک‌های Debugging در Storm
• 82. مانیتورینگ پیشرفته و Alerting
• 83. بهینه‌سازی کارایی Topologies
• 84. تنظیم پارامترهای Supervisor
• 85. تنظیم پارامترهای Nimbus
• 86. تنظیم پارامترهای Spout و Bolt
• 87. مدیریت حافظه در Storm
• 88. نکات امنیتی در Apache Storm
• 89. استفاده از Storm در محیط‌های ابری (AWS, Azure, GCP)
• 90. مفاهیم پیشرفته Fault Tolerance
• 91. تکنیک‌های تضمین پردازش دقیقاً یک بار (Exactly Once)
• 92. استفاده از Idempotent Bolts
• 93. استفاده از Checkpointing
• 94. پیاده‌سازی یک سیستم Real-time Analytics با Storm
• 95. پیاده‌سازی یک سیستم Real-time Recommendation Engine با Storm
• 96. پیاده‌سازی یک سیستم Real-time Fraud Detection با Storm
• 97. مقایسه Apache Storm با سایر فریم‌ورک‌های پردازش جریان (Spark Streaming, Flink)
• 98. مزایای Storm نسبت به رقبا
• 99. معایب Storm نسبت به رقبا
• 100. تکنیک‌های نوشتن کد تمیز و قابل نگهداری برای Topologies