فلش‌کارت‌های آموزشی مقدمه‌ای بر Apache Spark برای دانشمندان داده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر Apache Spark برای دانشمندان داده

موضوع کلی: علوم داده و یادگیری ماشین

موضوع میانی: Apache Spark

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم کلان داده و نیاز به ابزارهای پردازش
• 2. معرفی Apache Spark و معماری آن
• 3. نصب و راه‌اندازی Spark (Standalone Mode)
• 4. ساختار داده‌ای RDD (Resilient Distributed Dataset)
• 5. عملیات پایه روی RDDها (Transformation & Action)
• 6. کاربرد RDDها در پردازش داده‌های حجیم
• 7. مقدمه‌ای بر Spark SQL و DataFrame
• 8. ایجاد و کار با DataFrameها
• 9. عملیات روی DataFrameها (Select, Filter, GroupBy)
• 10. توابع پنجره‌ای (Window Functions) در Spark SQL
• 11. کاربرد Spark SQL در تحلیل داده‌های ساختاریافته
• 12. مقدمه‌ای بر Spark Streaming
• 13. پردازش جریان داده با Spark Streaming
• 14. تایم‌ویندوها (Windowing) در Spark Streaming
• 15. ذخیره‌سازی و بازیابی داده‌های جریانی
• 16. کاربرد Spark Streaming در تحلیل بلادرنگ
• 17. مقدمه‌ای بر Spark MLlib
• 18. الگوریتم‌های یادگیری ماشین در MLlib
• 19. پیش‌پردازش داده‌ها در MLlib
• 20. ارزیابی مدل‌های یادگیری ماشین
• 21. کاربرد MLlib در ساخت مدل‌های پیش‌بینی
• 22. مقدمه‌ای بر GraphX
• 23. عملیات پایه روی گراف‌ها در GraphX
• 24. الگوریتم‌های تحلیل گراف در GraphX
• 25. کاربرد GraphX در تحلیل شبکه‌های اجتماعی
• 26. نصب و راه‌اندازی Spark (Cluster Mode)
• 27. پیکربندی Spark برای محیط کلاستر
• 28. مدیریت منابع در Spark (YARN/Mesos)
• 29. مانیتورینگ و دیباگینگ برنامه‌های Spark
• 30. بهینه‌سازی عملکرد برنامه‌های Spark
• 31. تکنیک‌های Partitioning در Spark
• 32. Caching و Persistence در Spark
• 33. استفاده از Broadcast Variables
• 34. استفاده از Accumulators
• 35. کاربرد Spark در پردازش داده‌های لاگ
• 36. تحلیل داده‌های حسگرها با Spark
• 37. پردازش داده‌های سری زمانی با Spark
• 38. استفاده از Spark برای ETL (Extract, Transform, Load)
• 39. مقدمه‌ای بر Apache Kafka
• 40. یکپارچه‌سازی Spark با Kafka
• 41. پردازش داده‌های بلادرنگ از Kafka با Spark Streaming
• 42. مقدمه‌ای بر Apache Cassandra
• 43. یکپارچه‌سازی Spark با Cassandra
• 44. کاربرد Spark برای خواندن و نوشتن در Cassandra
• 45. مقدمه‌ای بر Apache Hive
• 46. یکپارچه‌سازی Spark با Hive
• 47. کاربرد Spark برای کوئری زدن Hive
• 48. مقدمه‌ای بر Apache HBase
• 49. یکپارچه‌سازی Spark با HBase
• 50. کاربرد Spark برای خواندن و نوشتن در HBase
• 51. مقدمه‌ای بر Apache Parquet
• 52. کاربرد Parquet در ذخیره‌سازی داده‌ها
• 53. بهینه‌سازی خواندن و نوشتن Parquet با Spark
• 54. مقدمه‌ای بر Apache ORC
• 55. کاربرد ORC در ذخیره‌سازی داده‌ها
• 56. بهینه‌سازی خواندن و نوشتن ORC با Spark
• 57. مقدمه‌ای بر Delta Lake
• 58. ویژگی‌های Delta Lake
• 59. یکپارچه‌سازی Spark با Delta Lake
• 60. کاربرد Delta Lake برای مهندسی داده
• 61. مقدمه‌ای بر Apache Flink (مقایسه با Spark)
• 62. کاربردهای Spark در تحلیل داده‌های مالی
• 63. کاربردهای Spark در تحلیل داده‌های پزشکی
• 64. کاربرد Spark در پردازش زبان طبیعی
• 65. مقدمه‌ای بر یادگیری عمیق با Spark
• 66. کاربرد Spark در ساخت سیستم‌های توصیه‌گر
• 67. مقدمه‌ای بر معماری داده‌های مدرن
• 68. نقش Spark در اکوسیستم کلان داده
• 69. امنیت در Spark
• 70. حاکمیت داده در Spark
• 71. مدیریت چرخه عمر داده با Spark
• 72. مقدمه‌ای بر DataOps و نقش Spark
• 73. مقدمه‌ای بر MLOps و نقش Spark
• 74. ملاحظات اخلاقی در کار با داده‌های حجیم
• 75. حفظ حریم خصوصی داده‌ها در Spark
• 76. قوانین و مقررات مربوط به داده‌ها در ایران
• 77. چارچوب‌های قانونی پردازش داده در ایران
• 78. رعایت حدود شرعی در تحلیل داده
• 79. ملاحظات فقهی در بانکداری بدون ربا با Spark
• 80. کاربرد Spark در اقتصاد مقاومتی
• 81. کاربرد Spark در توسعهٔ زیرساخت‌های ملی
• 82. ملاحظات حقوقی در استفاده از داده‌ها
• 83. استانداردهای فنی پردازش داده در ایران
• 84. ملاحظات فرهنگی در تحلیل داده‌های اجتماعی
• 85. کاربرد Spark در آموزش و پژوهش
• 86. مقدمه‌ای بر نوآوری‌های داده‌محور در ایران
• 87. نقش دانشمندان داده در پیشرفت علمی کشور
• 88. مدیریت ریسک در پروژه‌های داده‌محور
• 89. بهینه‌سازی هزینه‌ها در پردازش داده‌های حجیم
• 90. کاربرد Spark در هوشمندسازی سازمانی
• 91. مقدمه‌ای بر آیندهٔ پردازش داده‌های حجیم
• 92. توسعهٔ مهارت‌های دانشمند داده در ایران
• 93. اهمیت داده‌های پاک و استاندارد
• 94. اصول مهندسی داده با رویکرد اسلامی
• 95. مقدمه‌ای بر سیستم‌های اطلاعاتی مدیریت
• 96. کاربرد Spark در تحلیل داده‌های بازار کار
• 97. تحلیل روندهای اقتصادی با Spark
• 98. نقش Spark در مبارزه با فساد اقتصادی
• 99. ملاحظات شرعی در معاملات رمزارزها (با تأکید بر مقررات)
• 100. مقدمه‌ای بر مدیریت دانش سازمانی