فلش‌کارت‌های آموزشی تخصصی تحلیل کلان داده با Apache Spark: از مقدماتی تا پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تخصصی تحلیل کلان داده با Apache Spark: از مقدماتی تا پیشرفته

موضوع کلی: علم داده و تحلیل کلان داده

موضوع میانی: پردازش و تحلیل داده‌های حجیم با استفاده از ابزارهای پیشرفته

📋 سرفصل‌های دوره

• 1. مقدمه ای بر کلان داده و اکوسیستم آن
• 2. مفاهیم بنیادی Apache Spark
• 3. نصب و پیکربندی Spark
• 4. ساختار Spark: RDD ها
• 5. عملیات اولیه بر روی RDD ها
• 6. تبدیل ها و اقدامات RDD
• 7. کار با داده های ساختاریافته در Spark
• 8. Spark SQL و DataFrame ها
• 9. عملیات پیشرفته DataFrame
• 10. توابع پنجره ای در Spark SQL
• 11. Spark Streaming: پردازش داده های جریانی
• 12. مفاهیم اصلی Spark Streaming
• 13. تبدیل ها و اقدامات Streaming
• 14. مدیریت حالت در Spark Streaming
• 15. Spark MLlib: یادگیری ماشین با Spark
• 16. الگوریتم های یادگیری ماشین در MLlib
• 17. پیش پردازش داده ها در MLlib
• 18. ارزیابی مدل ها در MLlib
• 19. مدیریت خوشه Spark (Standalone)
• 20. نظارت بر اجرای برنامه های Spark
• 21. بهینه سازی عملکرد Spark
• 22. تکنیک های Partitioning و Caching
• 23. ذخیره سازی و بازیابی داده ها با Spark
• 24. کار با فرمت های داده ای مختلف (Parquet, ORC)
• 25. Spark GraphX: پردازش گراف
• 26. مفاهیم پایه GraphX
• 27. عملیات بر روی گراف ها در GraphX
• 28. الگوریتم های گراف در GraphX
• 29. مقدمه ای بر مدیریت داده های حجیم
• 30. انواع معماری های کلان داده
• 31. چالش های پردازش کلان داده
• 32. مقدمه ای بر پردازش توزیع شده
• 33. مفاهیم MapReduce
• 34. تفاوت Spark با MapReduce
• 35. معماری Spark: Driver و Executor
• 36. نصب Spark در محیط های مختلف (Local, Cluster)
• 37. پیکربندی منابع در Spark
• 38. تنظیمات Spark برای عملکرد بهتر
• 39. کار با Spark Shell
• 40. مقدمه ای بر DataFrame API
• 41. ایجاد DataFrame از منابع مختلف
• 42. فیلتر کردن و انتخاب ستون ها در DataFrame
• 43. عملیات گروه بندی و تجمیع در DataFrame
• 44. ترکیب و ادغام DataFrame ها
• 45. کار با داده های Null و مقادیر گمشده
• 46. انواع داده در Spark SQL
• 47. عملیات Join در DataFrame ها
• 48. استفاده از UDF ها در Spark SQL
• 49. بهینه سازی کوئری های Spark SQL
• 50. مقدمه ای بر Spark Streaming
• 51. معماری Spark Streaming
• 52. ایجاد Stream ها از منابع مختلف
• 53. تبدیل های Streaming
• 54. اقدامات Streaming
• 55. مدیریت خطا و تحمل پذیری در Streaming
• 56. کار با Checkpointing در Streaming
• 57. افزایش مقیاس پذیری Streaming
• 58. مقدمه ای بر MLlib
• 59. کتابخانه های MLlib
• 60. الگوریتم های طبقه بندی
• 61. الگوریتم های رگرسیون
• 62. الگوریتم های خوشه بندی
• 63. سیستم های توصیه گر
• 64. مدیریت ویژگی ها (Feature Engineering)
• 65. انتخاب ویژگی ها
• 66. ارزیابی مدل های یادگیری ماشین
• 67. کار با Pipeline ها در MLlib
• 68. مدیریت مدل ها در MLlib
• 69. مقدمه ای بر GraphX
• 70. مدل داده ای GraphX
• 71. ایجاد گراف از RDD
• 72. تبدیلات گراف
• 73. اقدامات گراف
• 74. الگوریتم های اصلی GraphX (PageRank, Connected Components)
• 75. کار با GraphFrames
• 76. مقدمه ای بر اکوسیستم Hadoop
• 77. HDFS و YARN
• 78. ابزارهای اکوسیستم Hadoop (Hive, Pig)
• 79. کار با Spark روی YARN
• 80. Spark با Kubernetes
• 81. ملاحظات امنیتی در Spark
• 82. تست و دیباگ برنامه های Spark
• 83. نظارت و مانیتورینگ برنامه های Spark
• 84. بهینه سازی حافظه در Spark
• 85. تنظیمات Garbage Collection
• 86. استفاده از Broadcast Variables و Accumulators
• 87. کار با Spark Thrift Server
• 88. مقدمه ای بر ETL با Spark
• 89. پیاده سازی Pipeline های ETL با Spark
• 90. مدیریت خطا در فرآیندهای ETL
• 91. کار با داده های Time Series در Spark
• 92. تحلیل داده های مکانی با Spark
• 93. مقدمه ای بر یادگیری عمیق با Spark
• 94. Spark و کتابخانه های یادگیری عمیق
• 95. آینده کلان داده و Spark
• 96. مطالعات موردی (Case Studies) در کلان داده
• 97. کار عملی با مجموعه داده های واقعی
• 98. پیاده سازی یک پروژه تحلیلی کامل با Spark
• 99. جمع بندی و مرور مفاهیم کلیدی
• 100. ملاحظات پایانی در تحلیل کلان داده