کتاب صوتی پردازش و تحلیل جریان داده

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب پردازش و تحلیل جریان داده

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر برنامه‌نویسی سطح بالا (HPC)
• 2. معماری سیستم‌های مدرن و چالش‌های مقیاس‌پذیری
• 3. مفاهیم داده‌های بزرگ (Big Data) و پارادایم‌های پردازش
• 4. تعریف داده‌های جریانی (Stream Data) و تفاوت با داده‌های دسته‌ای
• 5. ویژگی‌های جریان داده: سرعت، حجم، تنوع و صحت (4Vs)
• 6. مروری بر نیازمندی‌ها و کاربردهای پردازش جریان داده
• 7. مفاهیم پایه سیستم‌های توزیع‌شده: هماهنگی و تحمل‌پذیری خطا
• 8. قضیه CAP و مدل‌های سازگاری (Consistency Models)
• 9. مقدمه‌ای بر محاسبات موازی و هم‌روند
• 10. مبانی مدل برنامه‌نویسی رویدادمحور (Event-Driven Programming)
• 11. اصول طراحی سیستم‌های توزیع‌شده
• 12. ارتباطات بین‌فرایندی در سیستم‌های توزیع‌شده
• 13. RPC و REST در معماری‌های توزیع‌شده
• 14. الگوهای طراحی میکروسرویس‌ها
• 15. کانتینرسازی با Docker برای برنامه‌های توزیع‌شده
• 16. ارکستراسیون کانتینرها با Kubernetes (مقدماتی)
• 17. برنامه‌نویسی ناهمگام (Asynchronous Programming)
• 18. مفهوم واکنش‌گرایی (Reactive Programming)
• 19. اصول و الگوهای تحمل‌پذیری خطا
• 20. مفهوم idempotency در سیستم‌های توزیع‌شده
• 21. ضمانت‌های تحویل پیام (Delivery Guarantees)
• 22. مدیریت وضعیت (State Management) در سیستم‌های توزیع‌شده
• 23. زمان‌بندی و هماهنگی توزیع‌شده
• 24. پارتیشن‌بندی و تکثیر داده‌ها
• 25. تکنیک‌های توازن بار (Load Balancing)
• 26. پنجره‌بندی داده‌های جریانی (Windowing): مفاهیم و انواع
• 27. پنجره‌های زمانی و شمارشی
• 28. مدیریت زمان رویداد و زمان پردازش (Event Time vs Processing Time)
• 29. نشانه‌های آبی (Watermarks) برای مدیریت تاخیر در جریان‌ها
• 30. الگوریتم‌های تقریبی و اسکچینگ برای جریان‌ها
• 31. شمارش عناصر متمایز (Count-Distinct) در جریان‌ها (HyperLogLog)
• 32. شناسایی ترندها و فرکانس اقلام در جریان‌ها
• 33. نمونه‌برداری از جریان‌ها (Stream Sampling)
• 34. تخمین میانه و چارک‌ها در جریان‌ها
• 35. فیلتر بلوم (Bloom Filter) برای بررسی عضویت
• 36. مقدمه‌ای بر سیستم‌های صف پیام (Message Queues)
• 37. مفهوم انتشار/عضویت (Publish/Subscribe)
• 38. Apache Kafka: معماری و مفاهیم کلیدی
• 39. طراحی و بهینه‌سازی Kafka Producers
• 40. طراحی و بهینه‌سازی Kafka Consumers و گروه‌های مصرف‌کننده
• 41. Kafka Streams API برای پردازش سبک
• 42. Apache Pulsar: مفاهیم و ویژگی‌ها
• 43. مقایسه Kafka و Pulsar
• 44. RabbitMQ و سایر بروکرهای پیام
• 45. الگوهای طراحی برای سیستم‌های پیام‌رسان توزیع‌شده
• 46. مقدمه‌ای بر Apache Flink و ویژگی‌های آن
• 47. معماری Flink: JobManager, TaskManager, Slots
• 48. مدل برنامه‌نویسی Flink: DataStream API
• 49. منابع داده (Sources) و گیرنده‌های داده (Sinks) در Flink
• 50. عملیات‌های پایه Flink: Map, Filter, FlatMap
• 51. عملیات‌های کلیدی (Keyed Operations) و توابع حالت‌مند (Stateful Functions)
• 52. مدیریت وضعیت (State Management) در Flink: انواع و کاربردها
• 53. Checkpointing و Savepoints در Flink برای تحمل‌پذیری خطا
• 54. عملیات‌های پنجره‌ای (Window Operations) در Flink
• 55. جوین‌های جریانی (Stream Joins) در Flink
• 56. زمان‌بندی و زمان رویداد در Flink
• 57. پردازش دقیقاً یک‌بار (Exactly-Once Semantics) در Flink
• 58. استقرار Flink بر روی YARN یا Kubernetes
• 59. بهینه‌سازی عملکرد و پارامترهای Flink
• 60. توسعه برنامه‌های Flink در Scala و Java
• 61. Flink Table API & SQL برای پردازش جریانی
• 62. معرفی Flink CEP (Complex Event Processing)
• 63. Debugging و Monitoring برنامه‌های Flink
• 64. بهترین روش‌ها برای توسعه برنامه‌های Flink
• 65. الگوهای پیشرفته در Flink: ProcessFunction, CoProcessFunction
• 66. مقدمه‌ای بر Apache Spark و Spark Core
• 67. Spark Streaming در مقابل Spark Structured Streaming
• 68. معماری Spark Structured Streaming
• 69. منابع و Sinkهای Structured Streaming
• 70. عملیات‌های تبدیلی (Transformations) در Structured Streaming
• 71. مدیریت حالت و پنجره‌بندی در Structured Streaming
• 72. Watermarking و مدیریت تاخیر در Structured Streaming
• 73. ضمانت‌های معنایی در Structured Streaming
• 74. یکپارچه‌سازی Structured Streaming با Kafka
• 75. استقرار و بهینه‌سازی Structured Streaming
• 76. پایگاه‌های داده NoSQL برای داده‌های جریانی (Cassandra, HBase)
• 77. پایگاه‌های داده زمان-سری (Time-Series Databases): InfluxDB, Prometheus
• 78. طراحی شمای داده برای ذخیره‌سازی جریان‌ها
• 79. داده‌کاوی (Data Mining) در جریان‌های داده
• 80. تحلیل‌های تجمیعی (Aggregations) و Rollups در لحظه
• 81. تشخیص ناهنجاری (Anomaly Detection) در جریان‌ها
• 82. مدل‌های پیش‌بینی در زمان واقعی (Real-time Prediction Models)
• 83. پیاده‌سازی یادگیری ماشین بر روی جریان‌ها (Online Machine Learning)
• 84. ویژگی‌سازی (Feature Engineering) برای داده‌های جریانی
• 85. تحلیل احساسات (Sentiment Analysis) بر روی جریان متن
• 86. شاخص‌های عملکرد: تاخیر، توان عملیاتی، توان پاسخ‌دهی
• 87. تکنیک‌های کاهش تاخیر (Low Latency Techniques)
• 88. بهینه‌سازی مصرف منابع: CPU, Memory, Network
• 89. نظارت و لاگ‌برداری در سیستم‌های توزیع‌شده
• 90. ابزارهای نظارتی (Monitoring Tools): Prometheus, Grafana
• 91. مدیریت و خودکارسازی استقرار (Deployment Automation)
• 92. امنیت در پردازش جریان: احراز هویت و مجوزدهی
• 93. رمزنگاری داده‌ها در حال انتقال و در حالت استراحت
• 94. حفظ حریم خصوصی (Data Privacy) و GDPR در جریان‌ها
• 95. مدیریت داده‌های حساس و ناشناس‌سازی
• 96. پردازش رویدادهای پیچیده (Complex Event Processing - CEP) پیشرفته
• 97. معماری Lambda و Kappa برای پردازش داده
• 98. پردازش جریانی بدون سرور (Serverless Stream Processing)
• 99. کاربردهای صنعتی: IoT، مالی، امنیت سایبری و سلامت
• 100. آینده پردازش جریان داده و روندهای نوظهور