فلش‌کارت‌های آموزشی Spark برای پردازش داده‌های کلان

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Spark برای پردازش داده‌های کلان

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم پردازش داده‌های کلان
• 2. مقدمه‌ای بر Apache Spark
• 3. نصب و راه‌اندازی Spark
• 4. معماری Spark: Driver و Executor
• 5. مفاهیم RDD: Resilient Distributed Datasets
• 6. ایجاد و عملیات بر روی RDDها
• 7. تبدیلات و اقدامات RDD
• 8. عملیات پیشرفته RDD
• 9. Spark SQL: معرفی و کاربردها
• 10. ساختار داده‌ای DataFrame
• 11. ایجاد و دستکاری DataFrameها
• 12. عملیات پیشرفته DataFrame
• 13. توابع پنجره‌ای در Spark SQL
• 14. Spark Streaming: مفاهیم و معماری
• 15. پردازش داده‌های جریانی با Spark Streaming
• 16. مفاهیم DStream
• 17. عملیات بر روی DStreamها
• 18. Spark MLlib: یادگیری ماشین در Spark
• 19. الگوریتم‌های طبقه‌بندی در MLlib
• 20. الگوریتم‌های رگرسیون در MLlib
• 21. الگوریتم‌های خوشه‌بندی در MLlib
• 22. مدل‌های کاهش ابعاد
• 23. تنظیم پارامتر مدل‌ها
• 24. ارزیابی مدل‌های یادگیری ماشین
• 25. Spark GraphX: پردازش گراف در Spark
• 26. مفاهیم گراف و عملیات پایه
• 27. الگوریتم‌های رایج گراف
• 28. کاربرد GraphX در تحلیل شبکه‌ها
• 29. بهینه‌سازی عملکرد Spark
• 30. استراتژی‌های پارتیشن‌بندی داده
• 31. مدیریت حافظه در Spark
• 32. اشکال‌زدایی و مانیتورینگ برنامه‌های Spark
• 33. Spark و ذخیره‌سازهای داده
• 34. کار با HDFS در Spark
• 35. کار با پایگاه داده‌های رابطه‌ای
• 36. کار با NoSQL در Spark
• 37. امنیت در Spark
• 38. مباحث پیشرفته در Spark
• 39. Spark و معماری میکروسرویس
• 40. پیاده‌سازی ETL با Spark
• 41. تحلیل داده‌های لاگ با Spark
• 42. پردازش داده‌های مکانی با Spark
• 43. پردازش زبان طبیعی با Spark
• 44. کاربرد Spark در حوزه سلامت
• 45. کاربرد Spark در حوزه مالی
• 46. کاربرد Spark در حوزه تجارت الکترونیک
• 47. کاربرد Spark در صنعت نفت و گاز
• 48. کاربرد Spark در مدیریت شهری
• 49. کاربرد Spark در تحلیل داده‌های شبکه‌های اجتماعی
• 50. پردازش داده‌های حسگرها با Spark
• 51. سیستم‌های توصیه‌گر با Spark
• 52. تحلیل سری‌های زمانی با Spark
• 53. مدل‌سازی پیش‌بینانه با Spark
• 54. تکنیک‌های نمونه‌برداری در داده‌های کلان
• 55. مدیریت داده‌های نامتعادل
• 56. پیش‌پردازش داده‌های خام
• 57. پاکسازی و استانداردسازی داده‌ها
• 58. تبدیل ویژگی‌ها
• 59. انتخاب ویژگی
• 60. ایجاد ویژگی‌های جدید
• 61. مدیریت داده‌های گمشده
• 62. شناسایی و مدیریت داده‌های پرت
• 63. ارتباط داده‌ها و تحلیل آماری
• 64. مفاهیم آماری پایه در تحلیل داده
• 65. آزمون فرض آماری
• 66. رگرسیون خطی چندگانه
• 67. تحلیل عاملی
• 68. تحلیل مؤلفه‌های اصلی (PCA)
• 69. تحلیل تشخیصی
• 70. مقدمه‌ای بر یادگیری عمیق
• 71. شبکه‌های عصبی مصنوعی
• 72. شبکه‌های عصبی کانولوشنال (CNN)
• 73. شبکه‌های عصبی بازگشتی (RNN)
• 74. شبکه‌های مولد تخاصمی (GAN)
• 75. کاربرد یادگیری عمیق در پردازش تصویر
• 76. کاربرد یادگیری عمیق در پردازش متن
• 77. کاربرد یادگیری عمیق در تحلیل داده‌های سری زمانی
• 78. مقدمه‌ای بر داده‌کاوی
• 79. قواعد وابستگی
• 80. خوشه‌بندی سلسله‌مراتبی
• 81. خوشه‌بندی غیرسلسله‌مراتبی
• 82. درخت تصمیم
• 83. ماشین بردار پشتیبان (SVM)
• 84. شبکه‌های بیزی
• 85. یادگیری تقویتی
• 86. مقدمه‌ای بر مهندسی داده
• 87. اصول طراحی پایپ‌لاین داده
• 88. ابزارهای ارکستراسیون پایپ‌لاین
• 89. مدیریت فراداده
• 90. کیفیت داده
• 91. حاکمیت داده
• 92. معماری‌های داده مدرن
• 93. داده‌لیک و دیتامارت
• 94. انباره داده
• 95. داده‌خانه
• 96. پلتفرم‌های داده یکپارچه
• 97. ملاحظات اخلاقی در پردازش داده‌های کلان
• 98. حریم خصوصی داده‌ها
• 99. سوگیری در الگوریتم‌ها
• 100. مسئولیت‌پذیری در هوش مصنوعی