فلش‌کارت‌های آموزشی Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Spark

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Spark

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه ای بر Google Cloud Platform (GCP)
• 2. مقدمه ای بر پردازش دسته ای (Batch Processing)
• 3. معرفی Apache Spark
• 4. کاربرد Spark در پردازش دسته ای
• 5. چرا GCP برای برنامه های Spark؟
• 6. مزایای استفاده از GCP برای Spark
• 7. معماری کلی برنامه های Spark در GCP
• 8. مفاهیم کلیدی GCP برای Spark
• 9. معرفی Dataproc
• 10. Dataproc چیست؟
• 11. چرا Dataproc؟
• 12. مقایسه Dataproc با راهکارهای دیگر
• 13. مراحل استقرار Dataproc
• 14. ایجاد یک کلاستر Dataproc
• 15. انواع کلاستر Dataproc (Standard, High Availability)
• 16. پیکربندی کلاستر Dataproc (نودها، ماشین ها)
• 17. نصب و پیکربندی Spark بر روی Dataproc
• 18. اجرای اولین برنامه Spark بر روی Dataproc
• 19. انتقال داده به GCP برای پردازش Spark
• 20. ذخیره سازی داده در Cloud Storage
• 21. استفاده از BigQuery برای داده های ساختاریافته
• 22. انتقال داده از منابع محلی به GCP
• 23. انتقال داده از پایگاه داده های دیگر به GCP
• 24. استفاده از Cloud Dataflow برای ETL
• 25. مقدمه ای بر برنامه های Spark (Spark Applications)
• 26. انواع برنامه های Spark (Batch, Streaming, ML)
• 27. نوشتن برنامه های Spark با Scala
• 28. نوشتن برنامه های Spark با Python (PySpark)
• 29. نوشتن برنامه های Spark با Java
• 30. مفاهیم Spark Core
• 31. RDD ها (Resilient Distributed Datasets)
• 32. عملیات Transform و Action در RDD ها
• 33. انواع RDD ها
• 34. Spark SQL
• 35. DataFrames
• 36. Datasets
• 37. عملکرد Spark SQL
• 38. استفاده از Spark SQL برای پرس و جوی داده
• 39. Spark Streaming
• 40. مفاهیم Spark Streaming
• 41. DStreams (Discretized Streams)
• 42. پردازش داده های جریانی با Spark
• 43. Spark MLlib
• 44. مقدمه ای بر یادگیری ماشین با Spark
• 45. الگوریتم های MLlib
• 46. آموزش مدل های یادگیری ماشین با Spark
• 47. مراحل کلی استقرار برنامه Spark در GCP
• 48. توسعه برنامه Spark
• 49. بسته بندی (Packaging) برنامه Spark
• 50. ذخیره سازی کد برنامه Spark
• 51. استقرار برنامه Spark بر روی Dataproc
• 52. روش های اجرای برنامه Spark
• 53. ارسال برنامه Spark به کلاستر Dataproc
• 54. مدیریت Jobs در Dataproc
• 55. زمان بندی (Scheduling) Jobs در Dataproc
• 56. استفاده از Cloud Composer (Airflow) برای زمان بندی
• 57. مقدمه ای بر مدیریت برنامه های Spark
• 58. نظارت (Monitoring) بر کلاسترهای Dataproc
• 59. مانیتورینگ عملکرد Spark Jobs
• 60. استفاده از Cloud Monitoring
• 61. تنظیم هشدار (Alerting)
• 62. مدیریت هزینه ها در Dataproc
• 63. بهینه سازی هزینه کلاسترها
• 64. استفاده از Preemptible VMs
• 65. مدیریت دسترسی و امنیت در GCP
• 66. IAM (Identity and Access Management)
• 67. کنترل دسترسی به کلاسترهای Dataproc
• 68. امنیت داده ها در Cloud Storage و BigQuery
• 69. رمزنگاری داده ها
• 70. استفاده از VPC (Virtual Private Cloud)
• 71. شبکه سازی در GCP برای Dataproc
• 72. Firewall Rules
• 73. Private Google Access
• 74. پیکربندی شبکه برای Dataproc
• 75. بهینه سازی عملکرد برنامه های Spark
• 76. بهینه سازی RDD ها
• 77. بهینه سازی DataFrames و Spark SQL
• 78. تنظیم پارامترهای Spark
• 79. مدیریت حافظه در Spark
• 80. مدیریت ذخیره سازی در Spark
• 81. استفاده از Caching و Persistence
• 82. بهینه سازی I/O
• 83. مدیریت خطاهای برنامه های Spark
• 84. عیب یابی (Troubleshooting) کلاسترهای Dataproc
• 85. تحلیل لاگ ها (Logs)
• 86. استفاده از Spark UI
• 87. مدیریت خطاهای برنامه Spark
• 88. بازیابی از خطاها (Fault Tolerance)
• 89. استفاده از checkpoints
• 90. مفاهیم پیشرفته Dataproc
• 91. Dataproc Metastore
• 92. استفاده از Hive Metastore
• 93. Hive on Dataproc
• 94. Pig on Dataproc
• 95. استفاده از Spark Shell
• 96. استفاده از PySpark Shell
• 97. استفاده از Spark Submit
• 98. مدیریت پارامترهای برنامه Spark
• 99. استفاده از Cluster Initialization Scripts
• 100. انجام تنظیمات خودکار در زمان ایجاد کلاستر