فلش‌کارت‌های آموزشی پردازش موازی داده‌های عمومی با Spark SQL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش موازی داده‌های عمومی با Spark SQL

موضوع کلی: مدیریت و حکمرانی داده‌های عمومی

موضوع میانی: ابزارهای تحلیل داده (Python libraries, R, Spark)

📋 سرفصل‌های دوره

• 1. مقدمه ای بر پردازش موازی داده ها
• 2. مفاهیم کلیدی Spark SQL
• 3. نصب و پیکربندی Spark
• 4. محیط کار با Spark Shell
• 5. انواع داده در Spark SQL: RDD ها
• 6. انواع داده در Spark SQL: DataFrames
• 7. انواع داده در Spark SQL: Datasets
• 8. ساختار کلی DataFrame
• 9. عملیات پایه بر روی DataFrames
• 10. فیلتر کردن داده ها
• 11. انتخاب ستون ها
• 12. مرتب سازی داده ها
• 13. تغییر نام ستون ها
• 14. اضافه کردن ستون های جدید
• 15. حذف ستون ها
• 16. ترکیب DataFrames: Union
• 17. ترکیب DataFrames: Join
• 18. انواع Join در Spark SQL
• 19. فیلتر کردن نتایج Join
• 20. گروه بندی و تجمیع داده ها
• 21. توابع تجمیعی: Count, Sum, Avg
• 22. توابع تجمیعی: Min, Max
• 23. گروه بندی بر اساس چندین ستون
• 24. استفاده از Having clause
• 25. پنجره های تجمیعی (Window Functions)
• 26. مفهوم Partition و Ordering در پنجره ها
• 27. توابع رتبه بندی: Row_number, Rank, Dense_rank
• 28. توابع رتبه بندی: NTILE
• 29. توابع تجمیعی در پنجره ها: Lag, Lead
• 30. توابع تجمیعی در پنجره ها: First_value, Last_value
• 31. مدیریت داده های گمشده (Null Values)
• 32. جایگزینی مقادیر گمشده
• 33. حذف ردیف های دارای مقادیر گمشده
• 34. استفاده از UDF ها (User Defined Functions)
• 35. نوشتن UDF های پایتون
• 36. نوشتن UDF های اسکالا
• 37. ثبت UDF ها در Spark SQL
• 38. بهینه سازی اجرای پرس و جوها
• 39. مفهوم Catalyst Optimizer
• 40. تکنیک های Pushdown Predicates
• 41. تکنیک های Column Pruning
• 42. استفاده از Caching و Persistence
• 43. ذخیره سازی موقت DataFrames
• 44. انواع استراتژی های Caching
• 45. پاکسازی Caches
• 46. کار با فرمت های داده مختلف
• 47. خواندن CSV
• 48. نوشتن CSV
• 49. خواندن JSON
• 50. نوشتن JSON
• 51. خواندن Parquet
• 52. نوشتن Parquet
• 53. خواندن ORC
• 54. نوشتن ORC
• 55. کار با پایگاه داده ها
• 56. اتصال به پایگاه داده های رابطه‌ای
• 57. خواندن از جداول پایگاه داده
• 58. نوشتن در جداول پایگاه داده
• 59. مفهوم Spark Streaming
• 60. پردازش داده های جریانی
• 61. انتقال مفاهیم Spark SQL به Streaming
• 62. عملیات پایه در Spark Streaming
• 63. کار با Kafka در Spark Streaming
• 64. کار با Flume در Spark Streaming
• 65. کار با Kinesis در Spark Streaming
• 66. ارزیابی عملکرد Spark Streaming
• 67. بهینه سازی Spark Streaming
• 68. کار با GraphX
• 69. مفاهیم گراف در GraphX
• 70. ساخت گراف از RDD ها
• 71. عملیات پایه بر روی گراف ها
• 72. الگوریتم PageRank
• 73. الگوریتم Connected Components
• 74. کار با MLlib
• 75. مقدمه ای بر یادگیری ماشین در Spark
• 76. ساخت Features
• 77. نرمال سازی و مقیاس بندی
• 78. انواع مدل های یادگیری ماشین
• 79. آموزش مدل های دسته بندی
• 80. آموزش مدل های رگرسیون
• 81. آموزش مدل های خوشه بندی
• 82. ارزیابی مدل ها
• 83. Grid Search برای پارامترهای مدل
• 84. کار با Hive و Spark SQL
• 85. تفاوت Spark SQL و HiveQL
• 86. اجرای پرس و جوهای Hive از طریق Spark SQL
• 87. ذخیره سازی داده ها در Hive
• 88. بهینه سازی پرس و جوهای Hive با Spark SQL
• 89. امنیت در Spark SQL
• 90. مدیریت دسترسی ها
• 91. تنظیمات امنیتی
• 92. مقایسه Spark SQL با سیستم های دیگر
• 93. Spark SQL در مقابل Hadoop MapReduce
• 94. Spark SQL در مقابل Apache Flink
• 95. Spark SQL در مقابل Apache Storm
• 96. موارد استفاده پیشرفته Spark SQL
• 97. تحلیل داده های مکانی
• 98. تحلیل داده های زمانی
• 99. تحلیل داده های گراف
• 100. نمونه های واقعی کاربرد Spark SQL