اپلیکیشن اندرویدی فلش‌کارت آموزشی تحلیل کلان داده با Spark و sparklyr در R

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل کلان داده با Spark و sparklyr در R

موضوع کلی: علم داده و تحلیل داده‌های کلان

موضوع میانی: پردازش و تحلیل داده با ابزارهای متن‌باز

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر تحلیل کلان داده
• 2. مبانی Spark و معماری آن
• 3. نصب و راه‌اندازی Spark در R
• 4. کار با Spark DataFrame
• 5. عملیات پایه‌ای روی DataFrame
• 6. فیلتر کردن و انتخاب داده‌ها
• 7. مرتب‌سازی و دسته‌بندی داده‌ها
• 8. تجمیع و خلاصه‌سازی داده‌ها
• 9. عملیات Join روی DataFrames
• 10. استفاده از توابع Window
• 11. کار با داده‌های ساختاریافته و نیمه‌ساختاریافته
• 12. خواندن و نوشتن فایل‌های مختلف (CSV, JSON, Parquet)
• 13. مقدمه‌ای بر Spark SQL
• 14. نوشتن کوئری‌های Spark SQL
• 15. کار با UDFها (توابع تعریف شده توسط کاربر)
• 16. پردازش جریان داده (Structured Streaming)
• 17. مبانی Spark MLlib
• 18. آماده‌سازی داده برای یادگیری ماشین
• 19. مدل‌های رگرسیون در Spark MLlib
• 20. مدل‌های طبقه‌بندی در Spark MLlib
• 21. مدل‌های خوشه‌بندی در Spark MLlib
• 22. ارزیابی مدل‌ها در Spark MLlib
• 23. تنظیم هایپرپارامترها
• 24. مقدمه‌ای بر GraphX
• 25. پردازش گراف در Spark
• 26. کار با داده‌های مکانی در Spark
• 27. بهینه‌سازی عملکرد Spark
• 28. تنظیمات پیشرفته Spark
• 29. مانیتورینگ و دیباگ کردن برنامه‌های Spark
• 30. معرفی sparklyr
• 31. اتصال sparklyr به Spark
• 32. کار با DataFrames در sparklyr
• 33. فیلتر کردن و انتخاب ستون‌ها در sparklyr
• 34. مرتب‌سازی و گروه‌بندی در sparklyr
• 35. عملیات تجمیع در sparklyr
• 36. Join کردن جداول در sparklyr
• 37. کار با توابع Window در sparklyr
• 38. خواندن و نوشتن داده با sparklyr
• 39. استفاده از Spark SQL با sparklyr
• 40. تعریف UDF در sparklyr
• 41. پردازش جریان داده با sparklyr
• 42. مقدمه‌ای بر یادگیری ماشین با sparklyr
• 43. آماده‌سازی داده با sparklyr
• 44. مدل‌های رگرسیون با sparklyr
• 45. مدل‌های طبقه‌بندی با sparklyr
• 46. مدل‌های خوشه‌بندی با sparklyr
• 47. ارزیابی مدل‌ها با sparklyr
• 48. تنظیم پارامترها با sparklyr
• 49. کار با داده‌های متنی
• 50. پردازش زبان طبیعی در Spark
• 51. تحلیل احساسات با Spark
• 52. سیستم‌های توصیه‌گر با Spark
• 53. مقدمه‌ای بر یادگیری عمیق و Spark
• 54. آماده‌سازی داده برای یادگیری عمیق
• 55. پیاده‌سازی شبکه‌های عصبی با Spark
• 56. آموزش مدل‌های یادگیری عمیق
• 57. استفاده از کتابخانه‌های یادگیری عمیق با Spark
• 58. کار با داده‌های سری زمانی
• 59. تحلیل پیش‌بینی با Spark
• 60. مدیریت داده‌های کلان
• 61. امنیت داده در Spark
• 62. اخلاق در تحلیل داده‌های کلان
• 63. معرفی چارچوب‌های داده کلان دیگر
• 64. مقایسه Spark با Hadoop MapReduce
• 65. کاربرد Spark در حوزه‌های مختلف (مالی، بهداشت، بازاریابی)
• 66. تحلیل داده‌های شبکه‌های اجتماعی
• 67. تحلیل داده‌های اینترنت اشیاء (IoT)
• 68. مصورسازی داده‌های کلان با Spark
• 69. مقدمه‌ای بر هوش مصنوعی و Spark
• 70. تکنیک‌های پردازش تصویر با Spark
• 71. تکنیک‌های پردازش صدا با Spark
• 72. تحلیل داده‌های اکتشافی (EDA) با Spark
• 73. مدیریت چرخه عمر مدل‌های یادگیری ماشین
• 74. پیاده‌سازی مدل‌های یادگیری ماشین در محیط عملیاتی
• 75. نکات پیشرفته در Spark MLlib
• 76. نکات پیشرفته در پردازش جریان داده
• 77. ساخت داشبوردهای تعاملی با داده‌های کلان
• 78. مقدمه‌ای بر Big Data Architecture
• 79. استقرار Spark در محیط‌های ابری (AWS, Azure, GCP)
• 80. مدیریت منابع Spark
• 81. عیب‌یابی و رفع اشکال در Spark
• 82. بهینه‌سازی مصرف حافظه در Spark
• 83. مقدمه‌ای بر Data Governance
• 84. مدیریت کیفیت داده
• 85. مدل‌سازی داده‌های کلان
• 86. استفاده از Spark برای ETL
• 87. مقدمه‌ای بر DataOps
• 88. چالش‌های پیاده‌سازی Big Data
• 89. آینده تحلیل کلان داده
• 90. نکات پایانی و جمع‌بندی
• 91. کاربرد Spark در تحلیل داده‌های مالی
• 92. تحلیل ریسک با Spark
• 93. پیش‌بینی تقلب با Spark
• 94. تحلیل داده‌های سلامت
• 95. بهینه‌سازی فرآیندهای درمانی با Spark
• 96. تحلیل داده‌های بازاریابی
• 97. شخصی‌سازی تجربه مشتری با Spark
• 98. تحلیل رفتار مشتری
• 99. بهینه‌سازی کمپین‌های تبلیغاتی با Spark
• 100. مقدمه‌ای بر تحلیل داده‌های اقتصادی