فلش‌کارت‌های آموزشی Deep Dive into Apache Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Deep Dive into Apache Spark

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم کلان داده و پردازش توزیع‌شده
• 2. مقدمه‌ای بر آپاچی اسپارک و معماری آن
• 3. نصب و راه‌اندازی محیط اسپارک
• 4. مفاهیم پایه در اسپارک: RDD ها
• 5. عملیات تبدیل بر روی RDD ها
• 6. عملیات فراخوانی بر روی RDD ها
• 7. کار با انواع داده‌های مختلف در RDD ها
• 8. بهینه‌سازی عملکرد RDD ها
• 9. مقدمه‌ای بر ساختارهای داده‌ای اسپارک: DataFrame ها
• 10. ایجاد و کار با DataFrame ها
• 11. عملیات بر روی DataFrame ها
• 12. توابع و عملیات سفارشی در DataFrame ها
• 13. بهینه‌سازی عملکرد DataFrame ها
• 14. مقدمه‌ای بر ساختارهای داده‌ای اسپارک: DataSet ها
• 15. ایجاد و کار با DataSet ها
• 16. تفاوت‌های کلیدی بین RDD، DataFrame و DataSet
• 17. کار با Spark SQL
• 18. نوشتن کوئری‌های SQL در اسپارک
• 19. اتصال اسپارک به منابع داده خارجی
• 20. کار با JSON و Parquet در اسپارک
• 21. پردازش داده‌های ساختاریافته و نیمه‌ساختاریافته
• 22. مقدمه‌ای بر Spark Streaming
• 23. پردازش داده‌های جریانی در زمان واقعی
• 24. پیکربندی و مدیریت Spark Streaming
• 25. کار با پنجره‌های زمانی در Spark Streaming
• 26. مدیریت وضعیت در Spark Streaming
• 27. اتصال Spark Streaming به منابع داده جریانی
• 28. مقدمه‌ای بر Spark MLlib
• 29. الگوریتم‌های یادگیری ماشین در Spark MLlib
• 30. پیش‌پردازش داده‌ها در Spark MLlib
• 31. ارزیابی مدل‌ها در Spark MLlib
• 32. مدیریت Pipeline در Spark MLlib
• 33. کار با ویژگی‌های گسسته و پیوسته
• 34. تکنیک‌های مهندسی ویژگی در Spark MLlib
• 35. مدل‌های دسته‌بندی در Spark MLlib
• 36. مدل‌های رگرسیون در Spark MLlib
• 37. مدل‌های خوشه‌بندی در Spark MLlib
• 38. سیستم‌های توصیه‌گر در Spark MLlib
• 39. پردازش زبان طبیعی با Spark MLlib
• 40. کار با گراف‌ها در Spark GraphX
• 41. عملیات پایه بر روی گراف‌ها در GraphX
• 42. الگوریتم‌های گراف در GraphX
• 43. پیاده‌سازی الگوریتم‌های گراف سفارشی
• 44. کار با داده‌های مکانی در اسپارک
• 45. مقدمه‌ای بر Spark Performance Tuning
• 46. تکنیک‌های بهینه‌سازی حافظه در اسپارک
• 47. مدیریت منابع در اسپارک
• 48. بهینه‌سازی اجرای کوئری‌ها
• 49. استفاده از Caching و Persistence
• 50. مدیریت Shuffle در اسپارک
• 51. مانیتورینگ و دیباگ کردن برنامه‌های اسپارک
• 52. کار با Spark UI
• 53. مدیریت خطا در اسپارک
• 54. استفاده از Spark History Server
• 55. مقدمه‌ای بر Spark Architecture
• 56. Driver و Executor ها در اسپارک
• 57. مدیریت Cluster با Spark Standalone
• 58. مدیریت Cluster با Apache Mesos
• 59. مدیریت Cluster با Hadoop YARN
• 60. استفاده از Kubernetes با اسپارک
• 61. ارتباط بین اجزای اسپارک
• 62. مدیریت وظایف (Tasks) و مراحل (Stages)
• 63. برنامه‌ریزی اجرای وظایف (Task Scheduling)
• 64. مدیریت داده‌های موقت (Intermediate Data)
• 65. بهینه‌سازی I/O در اسپارک
• 66. مقدمه‌ای بر اکوسیستم کلان داده
• 67. ادغام اسپارک با Hadoop HDFS
• 68. ادغام اسپارک با Apache Kafka
• 69. ادغام اسپارک با Apache Cassandra
• 70. ادغام اسپارک با پایگاه‌های داده رابطه‌ای
• 71. امنیت در اسپارک
• 72. مدیریت دسترسی در اسپارک
• 73. ملاحظات حقوقی و شرعی در پردازش داده‌ها
• 74. حفظ حریم خصوصی داده‌ها طبق قوانین ایران
• 75. استفاده از داده‌ها در چارچوب مقررات ملی
• 76. اصول اخلاقی در تحلیل داده‌ها
• 77. ملاحظات فرهنگی در تحلیل داده‌ها
• 78. کاربرد اسپارک در صنعت بانکداری اسلامی
• 79. کاربرد اسپارک در مدیریت سرمایه‌گذاری اسلامی
• 80. کاربرد اسپارک در تحلیل ریسک مالی اسلامی
• 81. کاربرد اسپارک در بهینه‌سازی زنجیره تأمین اسلامی
• 82. کاربرد اسپارک در تحلیل داده‌های سلامت
• 83. کاربرد اسپارک در تحلیل داده‌های آموزشی
• 84. کاربرد اسپارک در مدیریت شهری
• 85. کاربرد اسپارک در تحقیقات علمی
• 86. مقدمه‌ای بر چالش‌های داده‌ای در ایران
• 87. فرصت‌های پردازش داده در ایران
• 88. آینده پردازش داده‌های کلان در ایران
• 89. جمع‌بندی و گام‌های بعدی در اسپارک