فلش‌کارت‌های آموزشی مبانی پردازش داده‌های کلان با Amazon EMR

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مبانی پردازش داده‌های کلان با Amazon EMR

موضوع کلی: فناوری اطلاعات و مهندسی نرم‌افزار

موضوع میانی: پردازش و تحلیل داده‌های کلان (Big Data)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های کلان
• 2. معرفی Amazon EMR
• 3. تاریخچه پردازش داده‌های کلان
• 4. چرا داده‌های کلان مهم هستند؟
• 5. چالش‌های پردازش داده‌های کلان
• 6. معرفی اکوسیستم Hadoop
• 7. مفاهیم کلیدی Hadoop
• 8. HDFS: سیستم فایل توزیع شده
• 9. YARN: مدیریت منابع در Hadoop
• 10. MapReduce: مدل برنامه‌نویسی توزیع شده
• 11. معماری Amazon EMR
• 12. مزایای استفاده از Amazon EMR
• 13. موارد استفاده از Amazon EMR
• 14. نصب و راه‌اندازی اولیه EMR
• 15. ایجاد اولین کلاستر EMR
• 16. پیکربندی کلاستر EMR
• 17. انواع نمونه‌ها در EMR
• 18. انتخاب نوع نمونه مناسب
• 19. مدیریت هزینه‌های EMR
• 20. مقیاس‌پذیری کلاستر EMR
• 21. نظارت بر عملکرد کلاستر
• 22. ابزارهای مانیتورینگ EMR
• 23. لاگ‌های EMR
• 24. امنیت در EMR
• 25. کنترل دسترسی در EMR
• 26. رمزنگاری داده‌ها در EMR
• 27. اتصال به کلاسترهای EMR
• 28. اجرای برنامه‌های Spark در EMR
• 29. مقدمه‌ای بر Apache Spark
• 30. معماری Spark
• 31. Spark SQL
• 32. Spark Streaming
• 33. Spark MLlib
• 34. اجرای برنامه‌های Hive در EMR
• 35. مقدمه‌ای بر Apache Hive
• 36. ساختار HiveQL
• 37. اجرای پرس‌وجوهای Hive
• 38. اجرای برنامه‌های Presto در EMR
• 39. مقدمه‌ای بر Presto
• 40. پرس‌وجوهای تعاملی با Presto
• 41. اتصال Presto به منابع داده
• 42. اجرای برنامه‌های Flink در EMR
• 43. مقدمه‌ای بر Apache Flink
• 44. پردازش جریانی با Flink
• 45. پردازش دسته‌ای با Flink
• 46. جایگزین‌های MapReduce
• 47. انتخاب ابزار مناسب پردازش
• 48. نحوه ذخیره‌سازی داده‌های کلان
• 49. قالب‌های داده در EMR
• 50. Parquet
• 51. Avro
• 52. فشرده‌سازی داده‌ها
• 53. بهینه‌سازی ذخیره‌سازی
• 54. مدیریت داده‌ها در EMR
• 55. پایگاه‌های داده رابطه‌ای و NoSQL
• 56. ادغام داده‌ها
• 57. کیفیت داده‌ها
• 58. پاکسازی داده‌ها
• 59. اعتبارسنجی داده‌ها
• 60. انتقال داده به EMR
• 61. AWS Glue برای ETL
• 62. AWS Data Pipeline
• 63. انتقال داده از S3 به EMR
• 64. انتقال داده از RDS به EMR
• 65. انتقال داده از DynamoDB به EMR
• 66. پردازش داده‌های زمان واقعی
• 67. معماری پردازش جریانی
• 68. استفاده از Kinesis با EMR
• 69. استفاده از Kafka با EMR
• 70. تحلیل داده‌های اکتشافی
• 71. مصورسازی داده‌ها
• 72. ابزارهای مصورسازی با EMR
• 73. Amazon QuickSight
• 74. Tableau
• 75. Power BI
• 76. یادگیری ماشین با EMR
• 77. مقدمه‌ای بر MLlib
• 78. ساخت مدل‌های پیش‌بینی
• 79. خوشه‌بندی داده‌ها
• 80. تحلیل احساسات
• 81. توصیه‌گرها
• 82. بهینه‌سازی عملکرد EMR
• 83. تنظیم پارامترهای Spark
• 84. تنظیم پارامترهای Hive
• 85. تنظیم پارامترهای Hadoop
• 86. مدیریت حافظه در EMR
• 87. مدیریت I/O در EMR
• 88. عیب‌یابی کلاسترهای EMR
• 89. خطاهای رایج در EMR
• 90. رفع مشکلات عملکردی
• 91. نکات امنیتی پیشرفته
• 92. مدیریت دسترسی متمرکز
• 93. سیاست‌های IAM
• 94. یکپارچه‌سازی با سرویس‌های AWS دیگر
• 95. AWS Lambda با EMR
• 96. AWS Step Functions با EMR
• 97. AWS CloudFormation با EMR
• 98. ساخت راه‌حل‌های داده‌ای پیچیده
• 99. معماری داده‌های مدرن
• 100. پلتفرم‌های داده یکپارچه