فلش‌کارت‌های آموزشی کاوش و تحلیل داده در دریاچه داده با استفاده از ابزارهای AWS

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاوش و تحلیل داده در دریاچه داده با استفاده از ابزارهای AWS

موضوع کلی: فناوری اطلاعات و علوم کامپیوتر

موضوع میانی: مدیریت و تحلیل داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر دریاچه داده و مفاهیم کلیدی
• 2. معماری دریاچه داده در AWS
• 3. خدمات AWS برای دریاچه داده: معرفی کلی
• 4. Amazon S3: ستون فقرات دریاچه داده
• 5. مدیریت داده‌ها در S3: ساختار و سازماندهی
• 6. انواع داده‌ها در دریاچه داده: ساختاریافته، نیمه‌ساختاریافته، بدون ساختار
• 7. مفاهیم اولیه کوئری زدن در دریاچه داده
• 8. Amazon Athena: کوئری زدن مستقیم روی S3
• 9. آشنایی با SQL برای تحلیل داده
• 10. دستورات اساسی SELECT و FROM در Athena
• 11. فیلتر کردن داده‌ها با WHERE
• 12. مرتب‌سازی نتایج با ORDER BY
• 13. گروه‌بندی داده‌ها با GROUP BY
• 14. استفاده از توابع تجمیعی (Aggregate Functions)
• 15. محدود کردن نتایج با LIMIT
• 16. کار با انواع داده‌های عددی در Athena
• 17. کار با انواع داده‌های متنی در Athena
• 18. کار با انواع داده‌های تاریخ و زمان در Athena
• 19. عملیات JOIN در Athena: ترکیب جداول
• 20. انواع JOIN: INNER, LEFT, RIGHT, FULL
• 21. استفاده از Subqueries در Athena
• 22. کار با داده‌های JSON در Athena
• 23. کار با داده‌های CSV در Athena
• 24. کار با داده‌های Parquet در Athena
• 25. بهینه‌سازی عملکرد کوئری‌ها در Athena
• 26. فهرست‌بندی (Partitioning) داده‌ها در S3
• 27. تکمیل (Compaction) فایل‌ها در دریاچه داده
• 28. انتخاب فرمت فایل مناسب برای تحلیل
• 29. Amazon Glue: خدمات ETL برای دریاچه داده
• 30. مفاهیم ETL: Extract, Transform, Load
• 31. استفاده از Glue Crawlers برای کشف متادیتا
• 32. ایجاد جداول در AWS Glue Data Catalog
• 33. تغییر فرمت داده‌ها با Glue ETL Jobs
• 34. تبدیل داده‌های CSV به Parquet با Glue
• 35. استفاده از Python Shell Jobs در Glue
• 36. کار با Spark Jobs در Glue
• 37. نوشتن اسکریپت‌های PySpark برای ETL
• 38. مدیریت اتوماسیون ETL با Glue Workflows
• 39. نظارت بر اجرای Glue Jobs
• 40. Amazon Redshift Spectrum: کوئری زدن روی S3 از Redshift
• 41. مزایای Redshift Spectrum
• 42. تنظیم Redshift Spectrum
• 43. کوئری زدن روی داده‌های S3 با Redshift
• 44. مقایسه Athena و Redshift Spectrum
• 45. Amazon EMR: پردازش داده‌های بزرگ با Apache Spark و Hadoop
• 46. مفاهیم Apache Spark
• 47. مفاهیم Apache Hadoop
• 48. ایجاد کلاستر EMR
• 49. اجرای Spark Jobs روی EMR
• 50. اجرای Hadoop Jobs روی EMR
• 51. نظارت بر کلاستر EMR
• 52. Amazon QuickSight: ابزار تجسم و داشبوردسازی
• 53. اتصال QuickSight به Athena
• 54. ساخت نمودارها و جداول در QuickSight
• 55. ایجاد داشبوردهای تعاملی
• 56. استفاده از داده‌های دریاچه داده در QuickSight
• 57. امنیت در دریاچه داده AWS
• 58. مدیریت دسترسی با IAM
• 59. تنظیم سیاست‌های دسترسی S3
• 60. رمزگذاری داده‌ها در S3
• 61. رمزگذاری در حال انتقال (Encryption in Transit)
• 62. مدیریت متادیتا و Data Governance
• 63. مفاهیم Data Catalog
• 64. اهمیت Data Lineage
• 65. قوانین و مقررات مربوط به داده‌ها
• 66. کار با داده‌های حساس و محرمانه
• 67. ملاحظات حاکمیتی داده‌ها در ایران
• 68. استفاده از ابزارهای تحلیل داده در چارچوب قوانین
• 69. سازگاری با مقررات حفاظت از داده‌ها
• 70. امنیت داده‌ها در چارچوب نظام جمهوری اسلامی ایران
• 71. مدیریت داده‌های حجیم با رویکرد بومی
• 72. اصول تحلیل داده مطابق با معیارهای اسلامی
• 73. مدیریت داده‌های سلامت با رعایت موازین شرعی
• 74. تحلیل داده‌های اقتصادی با رویکرد بانکداری بدون ربا
• 75. کاربرد تحلیل داده در بهینه‌سازی فرآیندهای دولتی
• 76. تحلیل داده‌های آموزشی و ارتقاء کیفیت
• 77. استفاده از داده‌ها برای بهبود خدمات عمومی
• 78. حفظ حریم خصوصی در تحلیل داده‌ها
• 79. مبانی اخلاق در علم داده
• 80. مسئولیت‌پذیری در استفاده از داده‌ها
• 81. پیشگیری از سوءاستفاده از داده‌ها
• 82. نقش تحلیل داده در تصمیم‌گیری‌های استراتژیک
• 83. تحلیل داده‌های شبکه‌های اجتماعی با رعایت حدود شرعی
• 84. مطالعه موردی: تحلیل داده‌های بازار با ابزارهای AWS
• 85. مطالعه موردی: بهینه‌سازی زنجیره تأمین با دریاچه داده
• 86. مطالعه موردی: تحلیل داده‌های مشتریان در چارچوب قوانین
• 87. مباحث پیشرفته در کوئری زدن دریاچه داده
• 88. استفاده از توابع پنجره‌ای (Window Functions)
• 89. بهینه‌سازی پیشرفته کوئری‌ها
• 90. مدیریت هزینه‌ها در خدمات AWS برای دریاچه داده
• 91. برنامه‌ریزی منابع و مقیاس‌پذیری
• 92. آینده دریاچه داده و روندهای نوظهور
• 93. جمع‌بندی و گام‌های بعدی در تحلیل داده