فلش‌کارت‌های آموزشی مهندسی داده با Apache Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با Apache Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و کلان‌داده
• 2. آشنایی با اکوسیستم Apache Spark
• 3. نصب و پیکربندی Apache Spark
• 4. مبانی Spark Core: RDDها
• 5. عملیات روی RDDها: تبدیل‌ها و اقدامات
• 6. بهینه‌سازی عملکرد RDDها
• 7. Spark SQL: مقدمه و ساختار داده
• 8. کار با DataFrameها
• 9. عملیات روی DataFrameها
• 10. توابع و عبارات SQL در Spark
• 11. Spark Streaming: پردازش داده‌های جریانی
• 12. مبانی Spark Streaming
• 13. عملیات روی استریم‌ها
• 14. مدیریت وضعیت در Spark Streaming
• 15. Spark MLlib: یادگیری ماشین با Spark
• 16. مقدمه‌ای بر MLlib
• 17. الگوریتم‌های یادگیری نظارت‌شده در MLlib
• 18. الگوریتم‌های یادگیری نظارت‌نشده در MLlib
• 19. کار با Pipelineها در MLlib
• 20. Spark GraphX: پردازش گراف با Spark
• 21. مبانی GraphX
• 22. عملیات روی گراف‌ها
• 23. الگوریتم‌های گراف در GraphX
• 24. ذخیره‌سازی و بازیابی داده در Spark
• 25. فرمت‌های داده‌ای رایج (Parquet, ORC)
• 26. کار با پایگاه‌های داده رابطه‌ای
• 27. کار با NoSQL
• 28. استقرار Spark
• 29. مدیریت منابع با YARN
• 30. استقرار روی Kubernetes
• 31. Spark در محیط‌های ابری (AWS, Azure, GCP)
• 32. امنیت در Spark
• 33. اصول امنیت داده در Spark
• 34. احراز هویت و مجوزدهی
• 35. رمزنگاری داده‌ها
• 36. ملاحظات حقوقی و اخلاقی در مهندسی داده
• 37. انطباق با قوانین حفاظت از داده
• 38. حریم خصوصی و ملاحظات شرعی
• 39. مسئولیت‌پذیری در مهندسی داده
• 40. مدل‌سازی داده در Spark
• 41. طراحی طرح‌واره برای DataFrameها
• 42. مدل‌سازی ابعادی
• 43. مدل‌سازی رابطه‌ای در Spark
• 44. پاکسازی و پیش‌پردازش داده
• 45. شناسایی و مدیریت داده‌های پرت
• 46. مقداردهی گمشده
• 47. نرمال‌سازی و استانداردسازی داده
• 48. مهندسی ویژگی
• 49. ایجاد ویژگی‌های جدید
• 50. انتخاب ویژگی
• 51. تبدیل ویژگی‌ها
• 52. پردازش زبان طبیعی با Spark
• 53. مبانی NLP در Spark
• 54. توکن‌سازی و حذف کلمات توقف
• 55. استخراج ویژگی متنی (TF-IDF)
• 56. تحلیل احساسات با Spark
• 57. کار با داده‌های مکانی-زمانی
• 58. مبانی داده‌های مکانی
• 59. عملیات مکانی در Spark
• 60. تحلیل داده‌های سری زمانی
• 61. سیستم‌های توصیه‌گر با Spark
• 62. مبانی سیستم‌های توصیه‌گر
• 63. فیلترینگ مشارکتی
• 64. فیلترینگ مبتنی بر محتوا
• 65. ارزیابی سیستم‌های توصیه‌گر
• 66. پردازش تصویر با Spark
• 67. مبانی پردازش تصویر
• 68. استفاده از کتابخانه‌های پردازش تصویر
• 69. کاربردها در مهندسی داده
• 70. اتوماسیون فرآیندهای داده
• 71. طراحی و پیاده‌سازی خطوط لوله داده (Data Pipelines)
• 72. مانیتورینگ و مدیریت خطوط لوله
• 73. بهبود مستمر خطوط لوله داده
• 74. مباحث پیشرفته در Spark Core
• 75. بهینه‌سازی حافظه و دیسک
• 76. تنظیمات پیشرفته Spark
• 77. استفاده از UDFها (توابع تعریف‌شده توسط کاربر)
• 78. مباحث پیشرفته در Spark SQL
• 79. بهینه‌سازی پرس‌وجو
• 80. کار با داده‌های ساختاریافته و نیمه‌ساختاریافته
• 81. پارتیشن‌بندی و کشینگ در Spark SQL
• 82. مباحث پیشرفته در Spark Streaming
• 83. پردازش رویداد-محور (Event-Time Processing)
• 84. مدیریت خطاهای جریانی
• 85. اتصال به منابع داده خارجی
• 86. مباحث پیشرفته در Spark MLlib
• 87. آموزش مدل‌های پیچیده
• 88. ارزیابی و انتخاب مدل
• 89. تنظیم فراپارامترها (Hyperparameter Tuning)
• 90. مباحث پیشرفته در GraphX
• 91. کاربرد GraphX در تحلیل شبکه‌های اجتماعی
• 92. تحلیل جریان اطلاعات
• 93. شناسایی جوامع در گراف‌ها
• 94. اکوسیستم داده‌های کلان و Spark
• 95. نقش Spark در معماری‌های داده مدرن
• 96. مقایسه Spark با ابزارهای دیگر (Hadoop MapReduce, Flink)
• 97. روندهای آینده در مهندسی داده و Spark
• 98. مطالعات موردی از کاربرد Spark در صنایع مختلف
• 99. کاربرد Spark در حوزه مالی و بانکی (بدون ربا)
• 100. کاربرد Spark در حوزه سلامت