فلش‌کارت‌های آموزشی Scala with Spark for Big Data

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Scala with Spark for Big Data

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر زبان برنامه‌نویسی اسکالا
• 2. مبانی اسکالا: متغیرها، انواع داده و عملگرها
• 3. ساختارهای کنترلی در اسکالا: شرط‌ها و حلقه‌ها
• 4. توابع و روش‌ها در اسکالا
• 5. کلاس‌ها و اشیاء در اسکالا
• 6. وراثت و پلی‌مورفیسم در اسکالا
• 7. کالکشن‌ها در اسکالا: لیست‌ها، وکتورها و نقشه‌ها
• 8. کار با رشته‌ها و عبارات باقاعده در اسکالا
• 9. مدیریت خطا و استثناها در اسکالا
• 10. برنامه‌نویسی تابعی در اسکالا: توابع مرتبه بالا
• 11. لامبداها و توابع ناشناس در اسکالا
• 12. آپ‌اِنداشن‌ها و توابع استیک در اسکالا
• 13. کَزِز در اسکالا
• 14. اِسکالا اِسنشیالز: آپِلات و اَسکالا اِسنشیالز
• 15. اِسنشیالز ۲: اِسنشیالزهای اِسنشیالز
• 16. مقدمه‌ای بر پردازش کلان داده (Big Data)
• 17. معرفی Apache Spark
• 18. معماری Spark: کلاستر، درایور و اکسِیکیوتر
• 19. Spark Core: RDDها و عملیات آن‌ها
• 20. تبدیل‌های RDD: map، filter، flatMap
• 21. عملیات RDD: reduce، collect، count
• 22. RDDهای کلیدی: persisted RDDs
• 23. Spark SQL: DataFrames و Datasets
• 24. کار با DataFrames: select، where، groupBy
• 25. عملیات Join در DataFrames
• 26. Spark Streaming: پردازش داده‌های جریانی
• 27. مبانی Spark Streaming
• 28. عملیات Spark Streaming: map، filter، windowed operations
• 29. Spark MLlib: یادگیری ماشین با Spark
• 30. الگوریتم‌های طبقه‌بندی در MLlib
• 31. الگوریتم‌های رگرسیون در MLlib
• 32. خوشه‌بندی در MLlib
• 33. سیستم‌های توصیه‌گر در MLlib
• 34. Spark GraphX: پردازش گراف
• 35. مبانی GraphX
• 36. عملیات GraphX: Pregel API
• 37. کاربرد Spark در تحلیل داده‌های بزرگ
• 38. مثال‌های عملی: تحلیل لاگ‌ها
• 39. مثال‌های عملی: تحلیل شبکه‌های اجتماعی
• 40. مثال‌های عملی: پردازش داده‌های سنسور
• 41. مثال‌های عملی: تحلیل داده‌های مالی
• 42. مثال‌های عملی: پردازش متن و NLP
• 43. امنیت در Spark
• 44. بهینه‌سازی عملکرد Spark
• 45. تنظیمات Spark: پارامترهای کلاستر
• 46. تنظیمات Spark: پارامترهای درایور و اکسِیکیوتر
• 47. مانیتورینگ Spark
• 48. اشتباهات رایج در Spark و راه‌های رفع آن‌ها
• 49. مقدمه‌ای بر مفاهیم پایگاه داده‌های NoSQL
• 50. معرفی Cassandra
• 51. مبانی Cassandra: مدل داده و معماری
• 52. کار با Cassandra از طریق Spark
• 53. معرفی Kafka
• 54. مبانی Kafka: پراکنده سازها و مصرف‌کننده‌ها
• 55. کار با Kafka از طریق Spark Streaming
• 56. مقدمه‌ای بر معماری میکروسرویس
• 57. کاربرد Spark در معماری میکروسرویس
• 58. اصول طراحی سیستم‌های توزیع شده
• 59. مباحث پیشرفته در Spark Core
• 60. مباحث پیشرفته در Spark SQL
• 61. مباحث پیشرفته در Spark Streaming
• 62. مباحث پیشرفته در Spark MLlib
• 63. مباحث پیشرفته در GraphX
• 64. کاربرد Spark در هوش تجاری (BI)
• 65. تحلیل داده‌های زمانی با Spark
• 66. پردازش داده‌های مکانی با Spark
• 67. مقدمه‌ای بر یادگیری عمیق
• 68. کاربرد Spark در آماده‌سازی داده برای یادگیری عمیق
• 69. نکات و ترفندهای پیشرفته در اسکالا
• 70. برنامه‌نویسی موازی در اسکالا
• 71. استفاده از Actor Model در اسکالا
• 72. معرفی Akka Toolkit
• 73. کاربرد Akka در سیستم‌های توزیع شده
• 74. مقدمه‌ای بر Docker و Kubernetes
• 75. استقرار Spark با Docker و Kubernetes
• 76. مدیریت داده‌های بزرگ در محیط ابری
• 77. کاربرد Spark در Google Cloud Platform
• 78. کاربرد Spark در Amazon Web Services
• 79. کاربرد Spark در Microsoft Azure
• 80. مقدمه‌ای بر Data Governance
• 81. نقش Spark در Data Governance
• 82. مقدمه‌ای بر ETL (Extract, Transform, Load)
• 83. طراحی پایپ‌لاین‌های ETL با Spark
• 84. مقدمه‌ای بر Data Lake و Data Warehouse
• 85. کاربرد Spark در ساخت Data Lake
• 86. کاربرد Spark در ساخت Data Warehouse
• 87. تست واحد و تست ادغام در برنامه‌های Spark
• 88. مقدمه‌ای بر DevOps و CI/CD
• 89. پیاده‌سازی CI/CD برای برنامه‌های Spark
• 90. مقدمه‌ای بر امنیت داده‌ها
• 91. مدیریت دسترسی و مجوزها در Spark
• 92. اصول برنامه‌نویسی تمیز در اسکالا
• 93. معماری‌های داده مدرن
• 94. روندها و آینده پردازش کلان داده
• 95. مرور کلی بر مفاهیم کلیدی
• 96. پروژه‌های عملی و مطالعات موردی
• 97. بررسی چالش‌های پیش روی متخصصان کلان داده