فلش‌کارت‌های آموزشی Advanced Spark Performance Tuning

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Advanced Spark Performance Tuning

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر تحلیل داده‌های بزرگ با اسپارک
• 2. نصب و پیکربندی اولیه اسپارک
• 3. معماری اسپارک: درایور، اجراکننده‌ها و واسطه
• 4. اجرای برنامه‌های اسپارک: مفاهیم کلیدی
• 5. کار با RDDها: عملیات اولیه
• 6. عملیات پیشرفته RDD: نگاشت، فیلتر، کاهش
• 7. RDDها در مقابل DataFrameها: تفاوت‌ها و کاربردها
• 8. معرفی DataFrameها و ساختار داده‌ای آن‌ها
• 9. عملیات اساسی DataFrame: select، filter، groupBy
• 10. عملیات پیشرفته DataFrame: join، union، aggregate
• 11. کار با Spark SQL: کوئری‌نویسی بر روی DataFrameها
• 12. ساختار داده‌ای Dataset و مزایای آن
• 13. انتقال داده بین RDD، DataFrame و Dataset
• 14. مدیریت حافظه در اسپارک: کش کردن و نگهداری
• 15. بهینه‌سازی اجرای عملیات با پارتیشن‌بندی
• 16. انتقال داده بین نودها: Shuffle و هزینه‌های آن
• 17. بهینه‌سازی Shuffle: کلیدهای پارتیشن‌بندی
• 18. عملیات Window در اسپارک
• 19. استفاده از UDFها (توابع تعریف شده توسط کاربر)
• 20. بهینه‌سازی UDFها برای عملکرد بهتر
• 21. کار با فرمت‌های مختلف داده: Parquet، ORC، JSON
• 22. فشرده‌سازی داده‌ها و تأثیر آن بر عملکرد
• 23. بهینه‌سازی خواندن و نوشتن داده‌ها
• 24. استفاده از Spark Streaming برای پردازش بلادرنگ
• 25. مفاهیم اولیه Spark Streaming: DStreams
• 26. عملیات روی DStreams: map، filter، window
• 27. مدیریت حالت در Spark Streaming
• 28. Spark Structured Streaming: رویکرد جدید
• 29. DataFrameهای جریانی در Structured Streaming
• 30. تایمرها و پنجره‌های زمانی در Structured Streaming
• 31. مدیریت وضعیت در Structured Streaming
• 32. کار با منابع داده و سینک‌های مختلف
• 33. استفاده از Kafka با Spark Streaming/Structured Streaming
• 34. کار با پایگاه داده‌ها با Spark
• 35. بهینه‌سازی کوئری‌های Spark SQL
• 36. استفاده از Catalyst Optimizer
• 37. توضیح برنامه‌های اسپارک با Spark UI
• 38. تحلیل گزارش‌های Spark UI برای شناسایی گلوگاه‌ها
• 39. بهینه‌سازی تنظیمات پیکربندی اسپارک (Spark Conf)
• 40. تنظیمات مربوط به حافظه (Executor Memory, Driver Memory)
• 41. تنظیمات مربوط به پردازش (Cores, Parallelism)
• 42. تنظیمات مربوط به شبکه (Shuffle parameters)
• 43. مدیریت منابع با YARN یا Mesos
• 44. استفاده از Kubernetes برای اجرای اسپارک
• 45. بهینه‌سازی ارتباط با سیستم‌های ذخیره‌سازی خارجی
• 46. استفاده از Bloom Filters برای بهینه‌سازی Join
• 47. استفاده از Bucketing برای بهینه‌سازی Join
• 48. تکنیک‌های پیشرفته برای پردازش داده‌های حجیم
• 49. پردازش گراف با GraphX در اسپارک
• 50. مفاهیم اولیه GraphX: VertexRDD، EdgeRDD
• 51. عملیات روی گراف‌ها با GraphX
• 52. کار با مدل‌های یادگیری ماشین با MLlib
• 53. الگوریتم‌های دسته‌بندی در MLlib
• 54. الگوریتم‌های رگرسیون در MLlib
• 55. الگوریتم‌های خوشه‌بندی در MLlib
• 56. مدل‌های کاهش ابعاد (PCA)
• 57. سیستم‌های توصیه‌گر با MLlib
• 58. بهینه‌سازی pipelineهای MLlib
• 59. استفاده از Spark ML برای ساخت pipelineهای پیچیده
• 60. کار با داده‌های متنی (NLP) با اسپارک
• 61. پردازش زبان طبیعی با کتابخانه‌های اسپارک
• 62. استفاده از Spark برای تحلیل لاگ‌ها
• 63. بهینه‌سازی اجرای برنامه‌های اسپارک در مقیاس بزرگ
• 64. استراتژی‌های اشکال‌زدایی برنامه‌های اسپارک
• 65. پیش‌بینی عملکرد برنامه با استفاده از ابزارها
• 66. ملاحظات امنیتی در اجرای اسپارک
• 67. مدیریت دسترسی در اسپارک
• 68. پیکربندی امن Spark SQL
• 69. اجرای اسپارک در محیط‌های ابری (AWS, Azure, GCP)
• 70. استفاده از Databricks برای مدیریت اسپارک
• 71. بهینه‌سازی هزینه در محیط‌های ابری
• 72. کار با Spark shells (Scala, Python)
• 73. توسعه برنامه‌های اسپارک به صورت ماژولار
• 74. تست واحد و یکپارچه‌سازی برنامه‌های اسپارک
• 75. مفاهیم پیشرفته در Spark Streaming
• 76. ارتباط بین Spark و Kafka در پردازش جریانی
• 77. استفاده از Spark برای ETL (Extract, Transform, Load)
• 78. بهینه‌سازی عملیات Join در DataFrameها
• 79. تکنیک‌های پیشرفته پارتیشن‌بندی
• 80. مدیریت داده‌های ناهمگون در اسپارک
• 81. کار با داده‌های مکانی با اسپارک
• 82. استفاده از Spark برای پردازش داده‌های سری زمانی
• 83. بهینه‌سازی کوئری‌های پیچیده Spark SQL
• 84. بررسی و تحلیل planهای اجرایی کوئری‌ها
• 85. استفاده از HDFS و S3 با اسپارک
• 86. نکات و ترفندهای پیشرفته برای بهینه‌سازی
• 87. مدیریت چرخه عمر داده‌ها با اسپارک
• 88. مقدمه‌ای بر معماری‌های جدید اسپارک
• 89. بررسی نسخه‌های جدید اسپارک و ویژگی‌های آن‌ها
• 90. آینده اسپارک و تحولات آتی
• 91. مدیریت خطا و بازیابی در اسپارک
• 92. بهینه‌سازی مصرف منابع CPU
• 93. بهینه‌سازی مصرف منابع حافظه
• 94. تکنیک‌های کاهش latency در پردازش جریانی
• 95. استفاده از Spark برای تحلیل شبکه‌های اجتماعی
• 96. ملاحظات فرهنگی و بومی در تحلیل داده
• 97. چارچوب‌های قانونی داده در ایران
• 98. اصول حفظ حریم خصوصی در پردازش داده
• 99. استانداردهای داده در ایران
• 100. اصول اخلاقی در تحلیل داده