دوره آشنایی با ابزارهای خط فرمان پردازش داده‌های کلان (Dataproc) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آشنایی با ابزارهای خط فرمان پردازش داده‌های کلان (Dataproc)

موضوع کلی: فناوری اطلاعات و ارتباطات

موضوع میانی: مدیریت و پردازش داده‌های کلان

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم پردازش داده‌های کلان
• 2. مقدمه‌ای بر ابزارهای خط فرمان
• 3. نصب و پیکربندی محیط توسعه
• 4. آشنایی با ابزارهای پایه خط فرمان لینوکس
• 5. دستورات ناوبری در سیستم فایل
• 6. مدیریت فایل‌ها و دایرکتوری‌ها
• 7. کار با متن و ویرایشگرهای خط فرمان
• 8. مقدمه‌ای بر اسکریپت‌نویسی شل
• 9. دستورات پردازش متن (grep, sed, awk)
• 10. مقدمه‌ای بر پردازش داده‌های کلان
• 11. معرفی Google Cloud Platform (GCP)
• 12. آشنایی با سرویس Dataproc
• 13. ایجاد و مدیریت کلاستر Dataproc
• 14. پیکربندی کلاستر Dataproc
• 15. اتصال به کلاستر Dataproc
• 16. اجرای دستورات روی کلاستر
• 17. مقدمه‌ای بر Apache Spark
• 18. نوشتن و اجرای برنامه‌های Spark
• 19. انتقال داده به و از Dataproc
• 20. کار با فایل‌های CSV در Dataproc
• 21. کار با فایل‌های JSON در Dataproc
• 22. کار با فایل‌های Parquet در Dataproc
• 23. انتقال داده از Cloud Storage
• 24. انتقال داده به Cloud Storage
• 25. مقدمه‌ای بر Apache Hive
• 26. اجرای کوئری‌های Hive روی Dataproc
• 27. پیکربندی Hive Metastore
• 28. کار با جداول Hive
• 29. بهینه‌سازی کوئری‌های Hive
• 30. مقدمه‌ای بر Apache Flink
• 31. اجرای برنامه‌های Flink روی Dataproc
• 32. کار با داده‌های جریانی (Streaming)
• 33. پردازش داده‌های جریانی با Flink
• 34. مقدمه‌ای بر TensorFlow
• 35. اجرای TensorFlow روی Dataproc
• 36. آموزش مدل‌های یادگیری ماشین
• 37. استقرار مدل‌های یادگیری ماشین
• 38. مقدمه‌ای بر Distributed Computing
• 39. مقیاس‌پذیری با Dataproc
• 40. مدیریت هزینه‌ها در Dataproc
• 41. امنیت در Dataproc
• 42. نظارت و لاگ‌برداری در Dataproc
• 43. عیب‌یابی کلاستر Dataproc
• 44. استفاده از Dataproc با Dataflow
• 45. استفاده از Dataproc با BigQuery
• 46. اتصال Dataproc به سایر سرویس‌های GCP
• 47. نوشتن اسکریپت‌های پیشرفته شل
• 48. اتوماسیون وظایف در Dataproc
• 49. مدیریت وابستگی‌های نرم‌افزاری
• 50. استفاده از Docker در Dataproc
• 51. کانتینرسازی برنامه‌های پردازش داده
• 52. مقدمه‌ای بر معماری Microservices
• 53. پیاده‌سازی Microservices با Dataproc
• 54. کار با Git برای مدیریت کد
• 55. استفاده از CI/CD با Dataproc
• 56. نوشتن تست‌های واحد برای برنامه‌های Spark
• 57. نوشتن تست‌های یکپارچه‌سازی
• 58. مقدمه‌ای بر Data Governance
• 59. اصول حاکمیت داده در Dataproc
• 60. مدیریت کیفیت داده
• 61. حفظ حریم خصوصی داده‌ها
• 62. امنیت داده‌ها در پردازش کلان
• 63. رعایت مقررات و الزامات قانونی در پردازش داده
• 64. مقدمه‌ای بر هوش مصنوعی (AI)
• 65. کاربرد AI در پردازش داده‌های کلان
• 66. مقدمه‌ای بر یادگیری عمیق (Deep Learning)
• 67. پیاده‌سازی شبکه‌های عصبی با TensorFlow
• 68. استفاده از GPU در Dataproc
• 69. بهینه‌سازی عملکرد برنامه‌های Spark
• 70. تکنیک‌های Partitioning در Spark
• 71. استفاده از Caching در Spark
• 72. مدیریت حافظه در Spark
• 73. مقدمه‌ای بر Apache Kafka
• 74. یکپارچه‌سازی Kafka با Dataproc
• 75. پردازش داده‌های Real-time
• 76. مقدمه‌ای بر Data Lake
• 77. ساخت Data Lake با Dataproc
• 78. مقدمه‌ای بر Data Warehouse
• 79. یکپارچه‌سازی Dataproc با Data Warehouse
• 80. مفاهیم ETL (Extract, Transform, Load)
• 81. پیاده‌سازی ETL با Dataproc
• 82. مقدمه‌ای بر Business Intelligence (BI)
• 83. کاربرد Dataproc در BI
• 84. مقدمه‌ای بر داده‌کاوی (Data Mining)
• 85. تکنیک‌های داده‌کاوی با Dataproc
• 86. مقدمه‌ای بر الگوریتم‌های پردازش داده
• 87. پیاده‌سازی الگوریتم‌های پردازش داده
• 88. بهینه‌سازی مصرف منابع در Dataproc
• 89. مدیریت کاربران و دسترسی‌ها
• 90. مستندسازی پروژه‌های Dataproc
• 91. مطالعات موردی (Case Studies) در پردازش داده‌های کلان
• 92. آینده پردازش داده‌های کلان
• 93. کاربرد فناوری‌های نوین در پردازش داده
• 94. مقدمه‌ای بر محاسبات ابری (Cloud Computing)
• 95. مدیریت منابع در محیط ابری
• 96. مفاهیم Serverless Computing
• 97. کاربرد Serverless در پردازش داده
• 98. مقدمه‌ای بر DevOps
• 99. اصول DevOps در چرخه عمر پردازش داده
• 100. مدیریت پیکربندی خودکار