فلش‌کارت‌های آموزشی راه‌اندازی و مدیریت کاتالوگ داده در AWS با استفاده از AWS Glue

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راه‌اندازی و مدیریت کاتالوگ داده در AWS با استفاده از AWS Glue

موضوع کلی: مدیریت و پردازش داده در رایانش ابری

موضوع میانی: پایگاه داده و کاتالوگ داده در AWS

📋 سرفصل‌های دوره

• 1. مبانی رایانش ابری و خدمات داده
• 2. آشنایی با AWS Glue و کاربردهای آن
• 3. مفهوم کاتالوگ داده چیست؟
• 4. اهمیت کاتالوگ داده در مدیریت داده
• 5. معرفی سرویس AWS Glue
• 6. اجزای اصلی AWS Glue
• 7. کاربرد AWS Glue در استخراج، تبدیل و بارگذاری (ETL)
• 8. مفهوم پایگاه داده (Database) در AWS Glue
• 9. مفهوم جدول (Table) در AWS Glue
• 10. تعریف جداول در کاتالوگ داده
• 11. انواع فرمت‌های داده پشتیبانی شده در AWS Glue
• 12. کار با فایل‌های CSV و JSON
• 13. کار با فایل‌های Parquet و ORC
• 14. آشنایی با فرمت‌های داده ساختاریافته
• 15. استفاده از AWS Glue Crawlers برای شناسایی داده‌ها
• 16. نحوه پیکربندی و اجرای Crawlers
• 17. شناسایی خودکار اسکیمای داده
• 18. مدیریت جداول در کاتالوگ داده
• 19. به‌روزرسانی جداول با استفاده از Crawlers
• 20. حذف جداول از کاتالوگ داده
• 21. مدیریت پایگاه‌های داده در کاتالوگ داده
• 22. ایجاد و حذف پایگاه‌های داده
• 23. سازماندهی جداول در پایگاه‌های داده
• 24. استفاده از برچسب‌ها (Tags) برای سازماندهی
• 25. مفهوم Data Lake و نقش AWS Glue
• 26. طراحی یک Data Lake ساده با AWS Glue
• 27. اتصال AWS Glue به منابع داده مختلف
• 28. اتصال به Amazon S3
• 29. اتصال به پایگاه‌های داده رابطه‌ای (RDS)
• 30. اتصال به پایگاه‌های داده NoSQL (DynamoDB)
• 31. مفهوم Job در AWS Glue
• 32. انواع Job در AWS Glue (Spark, Python Shell)
• 33. نوشتن اسکریپت‌های ETL با AWS Glue
• 34. استفاده از PySpark برای پردازش داده
• 35. تبدیل داده‌ها با استفاده از PySpark
• 36. پاکسازی داده‌ها با استفاده از PySpark
• 37. غنی‌سازی داده‌ها با استفاده از PySpark
• 38. بارگذاری داده‌های تبدیل شده
• 39. بارگذاری داده‌ها در Amazon S3
• 40. بارگذاری داده‌ها در پایگاه‌های داده رابطه‌ای
• 41. بارگذاری داده‌ها در Amazon Redshift
• 42. مفهوم Workflow در AWS Glue
• 43. ایجاد و مدیریت Workflows
• 44. زمان‌بندی اجرای Jobها
• 45. نظارت بر اجرای Jobها و Workflows
• 46. بررسی لاگ‌ها و خطاها
• 47. مدیریت دسترسی‌ها با IAM
• 48. تنظیم سیاست‌های IAM برای AWS Glue
• 49. امنیت داده‌ها در AWS Glue
• 50. رمزنگاری داده‌ها در حالت استراحت و در حال انتقال
• 51. ملاحظات مربوط به حریم خصوصی داده‌ها
• 52. بهینه‌سازی عملکرد Jobهای AWS Glue
• 53. انتخاب نوع Instance مناسب برای Jobها
• 54. تنظیم تعداد Workerها و Data Nodes
• 55. استفاده از فرمت‌های داده کارآمد (Parquet, ORC)
• 56. استفاده از فشرده‌سازی داده‌ها
• 57. مفهوم Data Catalog Partitioning
• 58. نحوه Partition کردن جداول
• 59. مزایای Partitioning برای عملکرد کوئری
• 60. کوئری زدن بر روی داده‌های کاتالوگ
• 61. استفاده از Amazon Athena برای کوئری زدن
• 62. نوشتن کوئری‌های SQL بر روی داده‌های S3
• 63. استفاده از AWS Glue Data Catalog با Athena
• 64. اتصال AWS Glue به Amazon EMR
• 65. اجرای Jobهای Spark بر روی EMR
• 66. پردازش داده‌های بزرگ با EMR و Glue
• 67. مفهوم Data Governance
• 68. اهمیت Data Governance در سازمان
• 69. ابزارهای Data Governance در AWS
• 70. استفاده از AWS Lake Formation برای Data Governance
• 71. پیاده‌سازی سیاست‌های امنیتی با Lake Formation
• 72. مدیریت دسترسی‌های دانه‌ای (Fine-grained)
• 73. رصد و حسابرسی دسترسی به داده‌ها
• 74. مفهوم Metadata Management
• 75. اهمیت مدیریت Metadata
• 76. اتصال AWS Glue به ابزارهای Metadata Management
• 77. چالش‌های رایج در مدیریت کاتالوگ داده
• 78. راهکارهای غلبه بر چالش‌ها
• 79. بهترین شیوه‌ها برای راه‌اندازی و مدیریت کاتالوگ داده
• 80. نقش مهندسی داده در اکوسیستم AWS
• 81. اهمیت داده‌های تمیز و قابل اعتماد
• 82. مدیریت چرخه حیات داده‌ها
• 83. مقدمه‌ای بر مفاهیم تحلیل داده در AWS
• 84. استفاده از AWS Glue برای آماده‌سازی داده برای تحلیل
• 85. مباحث پیشرفته در AWS Glue
• 86. توسعه Jobهای سفارشی با AWS Glue
• 87. استفاده از کتابخانه‌های پایتون در Jobها
• 88. یکپارچه‌سازی AWS Glue با سایر سرویس‌های AWS
• 89. کاربرد AWS Glue در هوش تجاری (BI)
• 90. نمونه‌های عملی از راه‌اندازی کاتالوگ داده
• 91. تجربه پیاده‌سازی کاتالوگ داده در سازمان‌ها
• 92. آینده کاتالوگ داده و ابزارهای مدیریت داده
• 93. جمع‌بندی و مرور مباحث
• 94. تمرین عملی: راه‌اندازی یک کاتالوگ داده ساده
• 95. تمرین عملی: نوشتن اولین Job ETL
• 96. تمرین عملی: کوئری زدن بر روی داده‌های کاتالوگ