فلش‌کارت‌های آموزشی Building Scalable Data Applications with Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Building Scalable Data Applications with Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های بزرگ با اسپارک
• 2. نصب و پیکربندی اولیه اسپارک
• 3. مفاهیم اصلی اسپارک: RDD ها
• 4. عملیات تبدیل بر روی RDD ها
• 5. عملیات اقدام بر روی RDD ها
• 6. مقدمه‌ای بر Spark SQL
• 7. ساختار داده‌های DataFrame و Dataset
• 8. عملیات پیشرفته بر روی DataFrame ها
• 9. توابع پنجره‌ای در Spark SQL
• 10. کار با داده‌های نیمه‌ساختاریافته (JSON, Parquet)
• 11. مقدمه‌ای بر Spark Streaming
• 12. پردازش داده‌های جریانی با Spark Streaming
• 13. مدیریت وضعیت در Spark Streaming
• 14. Spark Structured Streaming
• 15. کار با Kafka در Spark Structured Streaming
• 16. مقدمه‌ای بر Spark MLlib
• 17. مفاهیم یادگیری ماشین در MLlib
• 18. مدل‌های طبقه‌بندی با MLlib
• 19. مدل‌های رگرسیون با MLlib
• 20. خوشه‌بندی با MLlib
• 21. کاهش ابعاد با MLlib
• 22. کار با داده‌های متنی در MLlib
• 23. آماده‌سازی داده‌ها برای مدل‌سازی
• 24. ارزیابی مدل‌ها در MLlib
• 25. تنظیم هایپرپارامترها
• 26. مقدمه‌ای بر Spark GraphX
• 27. عملیات پایه بر روی گراف‌ها
• 28. الگوریتم‌های پیمایش گراف
• 29. الگوریتم‌های مرتبط با مرکزیت در گراف
• 30. کاربرد GraphX در شبکه‌های اجتماعی
• 31. مقدمه‌ای بر بهینه‌سازی عملکرد اسپارک
• 32. اصول برنامه‌نویسی کارآمد در اسپارک
• 33. مدیریت حافظه در اسپارک
• 34. تنظیمات پارتیشن‌بندی داده‌ها
• 35. استفاده از Caching و Persisting
• 36. بهینه‌سازی کوئری‌های Spark SQL
• 37. استفاده از Broadcast Variables و Accumulators
• 38. مدیریت منابع در کلاستر اسپارک
• 39. معماری کلاستر اسپارک (Standalone, YARN, Mesos)
• 40. استقرار اسپارک بر روی YARN
• 41. استقرار اسپارک بر روی Kubernetes
• 42. کار با Spark Shell و PySpark
• 43. نوشتن برنامه‌های اسپارک در Scala
• 44. نوشتن برنامه‌های اسپارک در Python
• 45. نوشتن برنامه‌های اسپارک در Java
• 46. اصول برنامه‌نویسی تابعی در اسپارک
• 47. مدیریت خطای برنامه‌های اسپارک
• 48. مانیتورینگ و لاگینگ در اسپارک
• 49. استفاده از Spark UI
• 50. عیب‌یابی مشکلات رایج اسپارک
• 51. مقدمه‌ای بر داده‌های حجیم و چالش‌های آن
• 52. معماری‌های پردازش داده‌های حجیم
• 53. اکوسیستم Hadoop و ارتباط آن با اسپارک
• 54. کار با HDFS
• 55. کار با Hive و Spark SQL
• 56. کار با HBase و اسپارک
• 57. امنیت در محیط‌های پردازش داده‌های حجیم
• 58. ملاحظات اخلاقی در پردازش داده‌های بزرگ
• 59. حریم خصوصی داده‌ها در اسپارک
• 60. قوانین و مقررات مرتبط با داده‌ها در ایران
• 61. اصول طراحی پایگاه داده‌های NoSQL
• 62. کار با Apache Cassandra و اسپارک
• 63. کار با Apache MongoDB و اسپارک
• 64. مفاهیم Data Lake و Data Warehouse
• 65. ساخت Data Lake با اسپارک
• 66. مفاهیم ETL و ELT
• 67. پیاده‌سازی فرآیندهای ETL/ELT با اسپارک
• 68. کار با ابزارهای Orchestration (مانند Airflow)
• 69. مقدمه‌ای بر معماری میکروسرویس‌ها
• 70. استفاده از اسپارک در معماری میکروسرویس
• 71. کار با API های RESTful و اسپارک
• 72. مقدمه‌ای بر داده‌های مکانی (Geospatial Data)
• 73. کار با داده‌های مکانی در اسپارک
• 74. اصول پردازش داده‌های سری زمانی
• 75. کار با داده‌های سری زمانی در اسپارک
• 76. مقدمه‌ای بر یادگیری عمیق
• 77. کاربرد اسپارک در یادگیری عمیق
• 78. مقدمه‌ای بر ابزارهای BI و Data Visualization
• 79. نمایش داده‌های اسپارک با ابزارهای BI
• 80. مطالعات موردی کاربرد اسپارک در صنایع مختلف
• 81. کاربرد اسپارک در حوزه سلامت
• 82. کاربرد اسپارک در حوزه مالی
• 83. کاربرد اسپارک در حوزه بازاریابی
• 84. کاربرد اسپارک در حوزه حمل و نقل
• 85. کاربرد اسپارک در حوزه دولتی
• 86. نکات پیشرفته در طراحی سیستم‌های داده مقیاس‌پذیر
• 87. آینده پردازش داده‌های بزرگ
• 88. پروژه‌های عملی و کاربردی با اسپارک
• 89. به‌روزرسانی و نگهداری سیستم‌های اسپارک
• 90. ملاحظات امنیتی در برنامه‌های اسپارک
• 91. مقررات مربوط به داده‌ها در فضای مجازی
• 92. حکمرانی داده‌ها در سازمان‌ها
• 93. اصول مهندسی داده در عمل
• 94. ساخت پایپ‌لاین‌های داده قابل اعتماد
• 95. مدیریت چرخه عمر داده‌ها
• 96. مقدمه‌ای بر هوش تجاری (BI)
• 97. کاربرد اسپارک در هوش تجاری
• 98. اصول تحلیل داده‌های اکتشافی (EDA)
• 99. پیاده‌سازی EDA با اسپارک
• 100. مفاهیم داده‌های Real-time و Batch