فلش‌کارت‌های آموزشی Apache Hive: زبان SQL برای تحلیل داده‌های Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Apache Hive: زبان SQL برای تحلیل داده‌های Hadoop

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. آشنایی با اکوسیستم Hadoop و نقش Hive
• 2. مفاهیم کلیدی Big Data و Hadoop
• 3. نصب و پیکربندی Hive
• 4. معماری Hive: Warehouse، Metastore، Driver
• 5. انواع درایورهای Hive (CLI، JDBC، Thrift)
• 6. انواع ذخیره‌سازی در Hive (TextFile، SequenceFile، ORC، Parquet)
• 7. فرمت‌های داده در Hive (JSON، CSV، Avro)
• 8. مقدمه‌ای بر زبان HiveQL (HQL)
• 9. تفاوت‌های HiveQL با SQL استاندارد
• 10. ایجاد جداول در Hive (CREATE TABLE)
• 11. انواع جداول در Hive (External vs. Managed)
• 12. ایجاد جداول خارجی (External Tables)
• 13. پارتیشن‌بندی جداول (Partitioning)
• 14. دسته‌بندی جداول (Bucketing)
• 15. مدیریت جداول: ALTER TABLE
• 16. حذف جداول: DROP TABLE
• 17. نمایش جداول و پارتیشن‌ها: SHOW TABLES, SHOW PARTITIONS
• 18. بارگذاری داده در جداول Hive (LOAD DATA)
• 19. دستورات INSERT INTO
• 20. دستورات INSERT OVERWRITE
• 21. کپی کردن داده بین جداول
• 22. کوئری‌های SELECT پایه در HiveQL
• 23. فیلتر کردن داده‌ها با WHERE
• 24. مرتب‌سازی نتایج با ORDER BY
• 25. مرتب‌سازی در سطح پارتیشن با SORT BY
• 26. مرتب‌سازی در سطح فایل با DISTRIBUTE BY
• 27. دستور LIMIT برای محدود کردن نتایج
• 28. توابع تجمعی (Aggregate Functions): COUNT, SUM, AVG, MIN, MAX
• 29. گروه‌بندی نتایج با GROUP BY
• 30. فیلتر کردن گروه‌ها با HAVING
• 31. کوئری‌های ترکیبی (JOIN) در Hive
• 32. انواع JOIN: INNER JOIN, LEFT OUTER JOIN, RIGHT OUTER JOIN, FULL OUTER JOIN
• 33. استفاده از ALIAS برای جداول
• 34. کوئری‌های زیرمجموعه (Subqueries)
• 35. عملیات روی رشته‌ها (String Functions)
• 36. عملیات روی تاریخ و زمان (Date/Time Functions)
• 37. توابع ریاضی (Math Functions)
• 38. توابع شرطی (Conditional Functions): CASE, COALESCE, NVL
• 39. تبدیل نوع داده (Type Casting)
• 40. کار با داده‌های Null
• 41. استفاده از Regular Expressions در Hive
• 42. توابع پنجره‌ای (Window Functions)
• 43. رتبه‌بندی با Window Functions (ROW_NUMBER, RANK, DENSE_RANK)
• 44. توابع تجمعی با Window Functions (SUM OVER, AVG OVER)
• 45. ایجاد View در Hive
• 46. انواع View (Virtual vs. Materialized)
• 47. استفاده از UDF (User-Defined Functions)
• 48. نوشتن UDFهای ساده با Java
• 49. ثبت و استفاده از UDFها در Hive
• 50. بهینه‌سازی کوئری‌های Hive
• 51. تنظیمات (Configuration) Hive برای بهبود عملکرد
• 52. استفاده از Tez به عنوان Execution Engine
• 53. استفاده از Spark به عنوان Execution Engine
• 54. دستورات OPTIMIZE و ANALYZE TABLE
• 55. استفاده از ORC File Format برای عملکرد بهتر
• 56. استفاده از Parquet File Format برای عملکرد بهتر
• 57. پارتیشن‌بندی مؤثر جداول
• 58. Bucketing برای بهبود JOINها
• 59. کاهش داده‌های خوانده شده با SELECT *
• 60. استفاده از فیلترهای زودتر در WHERE Clause
• 61. مدیریت Metastore در Hive
• 62. تنظیمات امنیتی Hive
• 63. مفاهیم ACID در Hive
• 64. چرا ACID برای Hive مهم است
• 65. پیاده‌سازی ACID با استفاده از ORC
• 66. استفاده از تراکنش‌ها در Hive
• 67. مدیریت تراکنش‌ها
• 68. کار با داده‌های بزرگ و پیچیده
• 69. تبدیل ساختارهای JSON به جداول Hive
• 70. تبدیل ساختارهای XML به جداول Hive
• 71. استفاده از Hive با Apache Spark
• 72. استفاده از Hive با Apache Flink
• 73. مقدمه‌ای بر Apache Impala
• 74. مقایسه Hive و Impala
• 75. مقدمه‌ای بر Apache Drill
• 76. مقایسه Hive و Drill
• 77. کاربردهای عملی Hive در تحلیل داده
• 78. تحلیل داده‌های فروش با Hive
• 79. تحلیل داده‌های لاگ وب‌سایت با Hive
• 80. تحلیل داده‌های شبکه‌های اجتماعی با Hive
• 81. تحلیل داده‌های مالی با Hive
• 82. مقدمه‌ای بر Data Warehousing با Hive
• 83. مفاهیم ETL با Hive
• 84. استفاده از Hive برای گزارش‌گیری
• 85. آینده Hive و تحولات آن
• 86. نکات و ترفندهای پیشرفته در Hive
• 87. جمع‌بندی و مرور مفاهیم کلیدی