اپلیکیشن اندرویدی فلش‌کارت آموزشی راه‌اندازی و مدیریت خوشه‌های پردازش داده در محیط ابری با استفاده از Google Cloud Dataproc

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راه‌اندازی و مدیریت خوشه‌های پردازش داده در محیط ابری با استفاده از Google Cloud Dataproc

موضوع کلی: فناوری اطلاعات و هوش مصنوعی

موضوع میانی: پردازش داده‌های کلان

📋 سرفصل‌های دوره

• 1. مبانی پردازش داده‌های کلان
• 2. آشنایی با معماری پردازش توزیع‌شده
• 3. مفاهیم کلیدی Hadoop و Spark
• 4. معرفی Google Cloud Dataproc
• 5. مزایای استفاده از Dataproc
• 6. مراحل راه‌اندازی یک خوشه Dataproc
• 7. انواع خوشه‌ها در Dataproc
• 8. پیکربندی اولیه خوشه
• 9. انتخاب نوع ماشین و تعداد نودها
• 10. تنظیمات شبکه و امنیت خوشه
• 11. مدیریت دسترسی‌ها با IAM
• 12. راه‌اندازی خوشه با استفاده از کنسول Google Cloud
• 13. ایجاد یک خوشه ساده
• 14. تنظیمات پیشرفته در زمان راه‌اندازی
• 15. استفاده از تصاویر سفارشی
• 16. پیکربندی نرم‌افزار بر روی خوشه
• 17. مدیریت خوشه‌های موجود
• 18. مشاهده جزئیات خوشه
• 19. توقف و حذف خوشه‌ها
• 20. مقیاس‌پذیری خوشه‌ها
• 21. افزایش و کاهش نودهای خوشه
• 22. تنظیمات خودکار مقیاس‌پذیری
• 23. نظارت بر عملکرد خوشه
• 24. استفاده از Cloud Monitoring
• 25. نمودارها و متریک‌های کلیدی
• 26. شناسایی گلوگاه‌های عملکرد
• 27. بهینه‌سازی عملکرد خوشه‌ها
• 28. تنظیمات Spark برای عملکرد بهتر
• 29. تنظیمات Hadoop برای عملکرد بهتر
• 30. استفاده از ابزارهای بهینه‌سازی
• 31. اجرای پردازش‌ها بر روی Dataproc
• 32. مقدمه‌ای بر Apache Spark
• 33. اجرای برنامه‌های Spark با `spark-submit`
• 34. انواع ورودی و خروجی داده
• 35. پردازش داده‌های ساختاریافته
• 36. پردازش داده‌های نیمه‌ساختاریافته
• 37. پردازش داده‌های بدون ساختار
• 38. مقدمه‌ای بر Apache Hive
• 39. اجرای کوئری‌های Hive بر روی Dataproc
• 40. کار با جداول Hive
• 41. مدیریت پارتیشن‌ها در Hive
• 42. مقدمه‌ای بر Apache Pig
• 43. نوشتن اسکریپت‌های Pig
• 44. اجرای اسکریپت‌های Pig
• 45. کار با عملیات پایه‌ای Pig
• 46. مقدمه‌ای بر TensorFlow Enterprise
• 47. اجرای مدل‌های یادگیری ماشین با TensorFlow
• 48. استفاده از Dataproc برای آموزش مدل‌ها
• 49. مقدمه‌ای بر Apache Flink
• 50. اجرای پردازش‌های جریانی با Flink
• 51. کار با پنجره‌های زمانی در Flink
• 52. مقدمه‌ای بر Apache Kafka
• 53. اتصال Dataproc به Kafka
• 54. پردازش پیام‌های Kafka
• 55. امنیت در Dataproc
• 56. رمزنگاری داده‌ها در حالت سکون و در حال انتقال
• 57. مدیریت کلیدهای رمزنگاری
• 58. کنترل دسترسی مبتنی بر نقش (RBAC)
• 59. شبکه‌بندی امن خوشه‌ها
• 60. استفاده از VPC Service Controls
• 61. پایش و ثبت وقایع امنیتی
• 62. مدیریت هزینه‌ها
• 63. بررسی هزینه‌های Dataproc
• 64. بهینه‌سازی مصرف منابع برای کاهش هزینه
• 65. استفاده از Spot VMs
• 66. مدیریت چرخه عمر خوشه‌ها
• 67. اتوماسیون وظایف مدیریتی
• 68. استفاده از Cloud Composer برای ارکستراسیون
• 69. یکپارچه‌سازی با سایر سرویس‌های Google Cloud
• 70. اتصال به Cloud Storage
• 71. استفاده از BigQuery با Dataproc
• 72. یکپارچه‌سازی با AI Platform
• 73. مطالعه موردی: تحلیل داده‌های وب
• 74. مطالعه موردی: پردازش لاگ‌های سرور
• 75. مطالعه موردی: تحلیل داده‌های سنسورها
• 76. مطالعه موردی: پردازش داده‌های مالی
• 77. ملاحظات عملیاتی در محیط‌های تولیدی
• 78. بهترین شیوه‌ها برای راه‌اندازی و مدیریت
• 79. عیب‌یابی رایج در Dataproc
• 80. منابع آموزشی اضافی
• 81. نکات پیشرفته برای مدیران سیستم
• 82. کار با انواع مختلف داده‌ها
• 83. پردازش داده‌های مکانی
• 84. پردازش داده‌های گراف
• 85. مقدمه‌ای بر داده‌های سری زمانی
• 86. تحلیل داده‌های سری زمانی با Dataproc
• 87. مفاهیم پیشرفته Spark SQL
• 88. بهینه‌سازی کوئری‌های Spark SQL
• 89. استفاده از UDFها در Spark
• 90. کار با داده‌های باینری
• 91. پیکربندی Spark Streaming
• 92. پردازش رویدادهای آنی
• 93. نظارت بر پردازش‌های جریانی
• 94. مدیریت حالت در پردازش‌های جریانی
• 95. مقدمه‌ای بر داده‌های تله‌متری
• 96. تحلیل داده‌های تله‌متری
• 97. استفاده از Dataproc برای ETL
• 98. مراحل استخراج، تبدیل و بارگذاری داده
• 99. بهینه‌سازی فرآیندهای ETL
• 100. مقدمه‌ای بر داده‌های مکانی-زمانی