فلش‌کارت‌های آموزشی Apache Spark: معماری و اصول کلیدی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Apache Spark: معماری و اصول کلیدی

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های بزرگ با آپاچی اسپارک
• 2. آشنایی با اکوسیستم داده‌های بزرگ و نقش اسپارک
• 3. تاریخچه و تکامل آپاچی اسپارک
• 4. اهداف و مزایای استفاده از اسپارک
• 5. معماری اصلی آپاچی اسپارک: درایور و اجزای اجرایی
• 6. مفهوم Resilient Distributed Datasets (RDD)
• 7. عملیات تبدیل (Transformations) روی RDDها
• 8. عملیات اقدام (Actions) روی RDDها
• 9. ساخت RDD از منابع مختلف
• 10. ذخیره‌سازی و ماندگاری RDDها
• 11. انواع پارتیشن‌بندی در RDDها
• 12. بهینه‌سازی کارایی RDDها
• 13. مقدمه‌ای بر Spark SQL و DataFrameها
• 14. ساختار DataFrame و تفاوت آن با RDD
• 15. ایجاد DataFrame از منابع مختلف
• 16. عملیات مختلف روی DataFrameها
• 17. توابع پنجره‌ای (Window Functions) در Spark SQL
• 18. استفاده از SQL Query در Spark SQL
• 19. بهینه‌سازی کارایی DataFrameها
• 20. معرفی Spark Streaming برای پردازش داده‌های جریانی
• 21. معماری Spark Streaming
• 22. مفهوم DStreams (Discretized Streams)
• 23. عملیات روی DStreams
• 24. مدیریت وضعیت در Spark Streaming
• 25. استفاده از Spark Streaming با Kafka
• 26. استفاده از Spark Streaming با Flume
• 27. استفاده از Spark Streaming با Kinesis
• 28. پردازش داده‌های جریانی با Structured Streaming
• 29. مقایسه Spark Streaming و Structured Streaming
• 30. معرفی MLlib، کتابخانه یادگیری ماشین اسپارک
• 31. الگوریتم‌های طبقه‌بندی در MLlib
• 32. الگوریتم‌های رگرسیون در MLlib
• 33. الگوریتم‌های خوشه‌بندی در MLlib
• 34. مدل‌های کاهش ابعاد در MLlib
• 35. سیستم‌های توصیه‌گر در MLlib
• 36. ارزیابی مدل‌های یادگیری ماشین
• 37. تیونینگ هایپرپارامترها در MLlib
• 38. ساخت خطوط لوله (Pipelines) در MLlib
• 39. کار با داده‌های متنی و پردازش زبان طبیعی (NLP) در اسپارک
• 40. کار با داده‌های گراف در اسپارک (GraphX)
• 41. مقدمه‌ای بر GraphX
• 42. ساخت گراف در GraphX
• 43. عملیات اصلی روی گراف در GraphX
• 44. الگوریتم‌های رایج گراف در GraphX
• 45. کار با Spark Shell و PySpark
• 46. اجرای برنامه‌های اسپارک
• 47. مدیریت منابع در اسپارک (Standalone, YARN, Mesos)
• 48. تنظیمات پیکربندی اسپارک
• 49. مانیتورینگ و دیباگینگ برنامه‌های اسپارک
• 50. بهینه‌سازی کارایی کلی اسپارک
• 51. استراتژی‌های پارتیشن‌بندی پیشرفته
• 52. کاهش shuffle در اسپارک
• 53. استفاده از Caching و Persistence
• 54. استفاده از Broadcast Variables
• 55. استفاده از Accumulators
• 56. مدیریت حافظه در اسپارک
• 57. تکنیک‌های نمونه‌گیری (Sampling)
• 58. مقدمه‌ای بر معماری توزیع‌شده اسپارک
• 59. مراحل اجرای یک Job در اسپارک
• 60. مفهوم Stage و Task
• 61. مدیریت Taskها و زمان‌بندی (Scheduling)
• 62. کار با Spark UI برای تحلیل کارایی
• 63. مقدمه‌ای بر Spark Connect
• 64. کار با Spark DataFrame API در زبان‌های مختلف
• 65. کار با Spark SQL API در زبان‌های مختلف
• 66. کار با Spark Streaming API در زبان‌های مختلف
• 67. کار با MLlib API در زبان‌های مختلف
• 68. کار با GraphX API در زبان‌های مختلف
• 69. پیکربندی پیشرفته برای YARN
• 70. پیکربندی پیشرفته برای Mesos
• 71. پیکربندی پیشرفته برای Kubernetes
• 72. ملاحظات امنیتی در اکوسیستم اسپارک
• 73. یکپارچه‌سازی اسپارک با Hadoop HDFS
• 74. یکپارچه‌سازی اسپارک با Apache Hive
• 75. یکپارچه‌سازی اسپارک با Apache Kafka
• 76. یکپارچه‌سازی اسپارک با پایگاه‌های داده رابطه‌ای
• 77. یکپارچه‌سازی اسپارک با پایگاه‌های داده NoSQL
• 78. استفاده از اسپارک برای تحلیل داده‌های کلان مالی (با رعایت قوانین)
• 79. استفاده از اسپارک برای تحلیل داده‌های کلان سلامت (با رعایت قوانین)
• 80. استفاده از اسپارک برای تحلیل داده‌های کلان صنعتی (با رعایت قوانین)
• 81. استفاده از اسپارک برای تحلیل داده‌های کلان کشاورزی (با رعایت قوانین)
• 82. مقدمه‌ای بر مبانی شرعی اقتصادی در بانکداری بدون ربا
• 83. اصول عقود اسلامی در معاملات بانکی
• 84. کاربرد اسپارک در پیاده‌سازی سیستم‌های بانکی اسلامی
• 85. تحلیل ریسک اعتباری با اسپارک در چارچوب شرعی
• 86. امنیت داده‌ها در سیستم‌های مالی با اسپارک (با رعایت قوانین)
• 87. مدیریت داده‌های حجیم در حوزه خانواده با رویکرد اسلامی
• 88. کاربرد اسپارک در تحلیل داده‌های فرهنگی و اجتماعی (با رعایت چارچوب)
• 89. اصول اخلاقی در پردازش داده‌های کلان
• 90. حفظ حریم خصوصی داده‌ها در پردازش اسپارک
• 91. ملاحظات قانونی در پردازش داده‌ها در ایران
• 92. قوانین مربوط به جرائم رایانه‌ای و امنیت سایبری
• 93. نقش اسپارک در توسعهٔ زیرساخت‌های داده‌ای کشور
• 94. مقدمه‌ای بر مبانی فقهی در حوزهٔ علم داده
• 95. مسئولیت‌پذیری در استفاده از فناوری‌های داده‌محور
• 96. نمونه‌های کاربردی موفق از اسپارک در ایران (با رعایت چارچوب)
• 97. تکنیک‌های پیشرفتهٔ بهینه‌سازی در اسپارک