دوره Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Apache Beam (پیشرفته) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Apache Beam (پیشرفته)

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم محاسبات دسته‌ای (Batch Computing)
• 2. مبانی Apache Beam
• 3. معماری Apache Beam: مدل برنامه‌نویسی
• 4. منابع داده (Sources) در Apache Beam
• 5. سینک‌های داده (Sinks) در Apache Beam
• 6. تبدیلات (Transforms) در Apache Beam
• 7. توابع PTransform و PCollection
• 8. مدل داده‌ای Apache Beam: عناصر و پنجره‌ها
• 9. مدیریت پنجره‌ها: پنجره‌های ثابت و متحرک
• 10. مدیریت پنجره‌ها: پنجره‌های سفارشی
• 11. مدیریت رویداد زمان (Event Time)
• 12. مدیریت زمان پردازش (Processing Time)
• 13. علامت‌گذاری انتهای پنجره (Watermarks)
• 14. مدیریت تاخیر در داده‌ها (Late Data)
• 15. تجمع (Triggers) در Apache Beam
• 16. انواع تجمع‌گرها (Triggers)
• 17. ترکیب تجمع‌گرها
• 18. مدیریت حالت (State) در Apache Beam
• 19. عملیات ترکیبی (Combine Operations)
• 20. تجمع‌گرهای سفارشی (Custom Triggers)
• 21. تجمع‌گرهای پنجره‌ای (Windowing Triggers)
• 22. مدیریت وضعیت پنجره (Window State Management)
• 23. مدل اجرایی Apache Beam
• 24. اجراکننده‌های Apache Beam (Runners)
• 25. اجراکننده Dataflow (Google Cloud)
• 26. اجراکننده Flink
• 27. اجراکننده Spark
• 28. اجراکننده Direct Runner (برای تست)
• 29. نصب و پیکربندی Apache Beam SDK
• 30. نوشتن اولین برنامه Apache Beam
• 31. اجرای برنامه Apache Beam با Direct Runner
• 32. استقرار برنامه Apache Beam بر روی Dataflow
• 33. پیکربندی Dataflow برای اجرای برنامه‌ها
• 34. مانیتورینگ و اشکال‌زدایی برنامه‌های Dataflow
• 35. استفاده از Pub/Sub به عنوان منبع داده
• 36. استفاده از BigQuery به عنوان سینک داده
• 37. استفاده از Cloud Storage به عنوان منبع/سینک
• 38. پردازش داده‌های لاگ با Apache Beam
• 39. تحلیل داده‌های کاربر با Apache Beam
• 40. پردازش داده‌های سری زمانی با Apache Beam
• 41. بهینه‌سازی عملکرد در Apache Beam
• 42. تکنیک‌های پارالل‌سازی در Apache Beam
• 43. مدیریت حافظه در Apache Beam
• 44. استفاده از انواع داده‌های بهینه
• 45. بهینه‌سازی تبدیل‌ها (Transforms)
• 46. مدیریت اتصالات (Side Inputs)
• 47. استفاده از Join در Apache Beam
• 48. استفاده از GroupByKey در Apache Beam
• 49. مدیریت خطا و استثناها در Apache Beam
• 50. بازسازی و تحمل خطا (Fault Tolerance)
• 51. میکروسرویس‌ها و Apache Beam
• 52. یکپارچه‌سازی با سایر سرویس‌های Google Cloud
• 53. استفاده از AI Platform با Apache Beam
• 54. پردازش داده‌های زنده (Streaming) با Apache Beam
• 55. مفاهیم پردازش زنده
• 56. مدیریت پنجره‌ها در پردازش زنده
• 57. تجمع‌گرها در پردازش زنده
• 58. مدیریت تاخیر در پردازش زنده
• 59. استقرار برنامه‌های زنده بر روی Dataflow
• 60. مانیتورینگ برنامه‌های زنده
• 61. طراحی معماری‌های پردازش زنده مقیاس‌پذیر
• 62. امنیت در Apache Beam و Dataflow
• 63. مدیریت دسترسی‌ها (IAM) در Google Cloud
• 64. انتقال داده‌های حجیم به Google Cloud
• 65. پردازش داده‌های حجیم در Google Cloud
• 66. استفاده از Dataproc برای پردازش دسته‌ای
• 67. مفاهیم Big Data و پردازش توزیع‌شده
• 68. انواع پردازش داده: دسته‌ای، زنده، تعاملی
• 69. معماری‌های داده مدرن
• 70. نقش Apache Beam در معماری‌های داده
• 71. استفاده از Dataflow SQL
• 72. مفاهیم Data Engineering
• 73. اصول ETL و ELT
• 74. مدیریت کیفیت داده
• 75. خودکارسازی فرآیندهای داده
• 76. نکات پیشرفته در پنجره‌سازی
• 77. نکات پیشرفته در تجمع‌گرها
• 78. ساخت تبدیل‌های سفارشی پیچیده
• 79. استفاده از کتابخانه‌های Apache Beam
• 80. پشتیبانی از زبان‌های برنامه‌نویسی مختلف
• 81. ملاحظات هزینه در Dataflow
• 82. بهینه‌سازی هزینه‌ها در Dataflow
• 83. مستندسازی برنامه‌های Apache Beam
• 84. تست واحد و تست یکپارچه‌سازی
• 85. مدیریت چرخه عمر برنامه
• 86. بهترین روش‌ها برای استقرار و مدیریت
• 87. مقایسه Apache Beam با ابزارهای مشابه
• 88. چالش‌ها و راهکارها در پردازش دسته‌ای
• 89. آینده Apache Beam و پردازش داده
• 90. جمع‌بندی و گام‌های بعدی
• 91. مقدمه‌ای بر پردازش گراف (Graph Processing)
• 92. مفاهیم پردازش گراف با Apache Beam
• 93. پیاده‌سازی الگوریتم‌های گراف با Beam
• 94. استفاده از BigQuery ML با Apache Beam
• 95. تکنیک‌های یادگیری ماشین بر روی داده‌های دسته‌ای
• 96. مدیریت داده‌های مکانی با Apache Beam
• 97. پردازش داده‌های جغرافیایی با Beam
• 98. استفاده از Apache Beam در صنعت مالی
• 99. کاربردها در پردازش داده‌های IoT
• 100. مدیریت داده‌های سلامت با Apache Beam