دوره زبان‌های برنامه‌نویسی و فریم‌ورک‌های داده‌های بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره زبان‌های برنامه‌نویسی و فریم‌ورک‌های داده‌های بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدیریت داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مفاهیم کلیدی داده‌های بزرگ
• 2. معماری سیستم‌های داده‌های بزرگ
• 3. مقدمه‌ای بر اکوسیستم هادوپ
• 4. HDFS: سیستم فایل توزیع‌شده هادوپ
• 5. MapReduce: مدل پردازش داده‌های موازی
• 6. Apache Spark: معماری و اصول اولیه
• 7. Spark Core: مفاهیم RDD و DataFrame
• 8. Spark SQL: کوئری‌نویسی ساختاریافته
• 9. Spark Streaming: پردازش داده‌های جریانی
• 10. Spark MLlib: یادگیری ماشین در اسپارک
• 11. Apache Kafka: معماری و اصول پیام‌رسانی
• 12. تولیدکننده و مصرف‌کننده در کافکا
• 13. مدیریت و مانیتورینگ کافکا
• 14. Apache Cassandra: پایگاه داده NoSQL توزیع‌شده
• 15. مدل داده در کاساندرا
• 16. عملیات CRUD در کاساندرا
• 17. Apache HBase: پایگاه داده ستونی توزیع‌شده
• 18. مدل داده در HBase
• 19. عملیات در HBase
• 20. Apache Hive: انبار داده بر بستر هادوپ
• 21. زبان HiveQL
• 22. بهینه‌سازی کوئری‌های Hive
• 23. Apache Pig: پلتفرم پردازش داده‌های سطح بالا
• 24. Pig Latin
• 25. اجرای اسکریپت‌های Pig
• 26. Apache Flink: پردازش جریانی پیشرفته
• 27. معماری و اجزای Flink
• 28. Processing API در Flink
• 29. Table API و SQL در Flink
• 30. Apache Storm: پردازش جریانی بلادرنگ
• 31. معماری Storm
• 32. کاربرد Storm در پردازش بلادرنگ
• 33. Apache Airflow: ارکستراسیون گردش کار
• 34. ایجاد DAG در Airflow
• 35. مدیریت و مانیتورینگ گردش کار
• 36. امنیت در سیستم‌های داده‌های بزرگ
• 37. مدیریت دسترسی و احراز هویت
• 38. رمزنگاری داده‌ها در حالت سکون و انتقال
• 39. کیفیت داده‌ها در سیستم‌های بزرگ
• 40. پاکسازی و اعتبارسنجی داده‌ها
• 41. تکنیک‌های مدیریت داده‌های حجیم
• 42. استقرار سیستم‌های داده‌های بزرگ در ابر (AWS)
• 43. خدمات AWS برای داده‌های بزرگ (EMR, S3, Redshift)
• 44. استقرار سیستم‌های داده‌های بزرگ در ابر (Azure)
• 45. خدمات Azure برای داده‌های بزرگ (HDInsight, Data Lake)
• 46. استقرار سیستم‌های داده‌های بزرگ در ابر (GCP)
• 47. خدمات GCP برای داده‌های بزرگ (Dataproc, BigQuery)
• 48. مقدمه‌ای بر پردازش داده‌های بلادرنگ
• 49. تکنیک‌های پردازش بلادرنگ
• 50. معماری سیستم‌های پردازش بلادرنگ
• 51. مقدمه‌ای بر یادگیری ماشین با داده‌های بزرگ
• 52. مدل‌های یادگیری ماشین در Spark MLlib
• 53. پیاده‌سازی مدل‌های پیش‌بینی
• 54. پردازش زبان طبیعی (NLP) با داده‌های بزرگ
• 55. تکنیک‌های NLP در Spark NLP
• 56. کاربرد NLP در تحلیل متنی
• 57. تحلیل شبکه‌های اجتماعی با داده‌های بزرگ
• 58. مدل‌سازی و تحلیل گراف
• 59. کاربرد تحلیل گراف در داده‌های بزرگ
• 60. مقدمه‌ای بر هوش تجاری (BI) و تحلیل داده‌ها
• 61. ابزارهای BI و مصورسازی داده‌ها
• 62. گزارش‌دهی و داشبوردهای مدیریتی
• 63. کاربرد داده‌های بزرگ در تحلیل کسب‌وکار
• 64. افزایش بهره‌وری و تصمیم‌گیری
• 65. مدیریت ریسک با داده‌های بزرگ
• 66. اصول مهندسی داده (Data Engineering)
• 67. مراحل چرخه حیات داده
• 68. طراحی و پیاده‌سازی پایپ‌لاین‌های داده
• 69. مدیریت داده‌های حجیم و توزیع‌شده
• 70. استراتژی‌های ذخیره‌سازی داده
• 71. بهینه‌سازی عملکرد سیستم‌های داده
• 72. نظارت و نگهداری سیستم‌های داده بزرگ
• 73. عیب‌یابی و حل مشکلات رایج
• 74. مقدمه‌ای بر معماری میکروسرویس‌ها
• 75. ارتباط بین میکروسرویس‌ها
• 76. مدیریت داده در معماری میکروسرویس
• 77. مقدمه‌ای بر داده‌های مکانی-زمانی
• 78. پردازش و تحلیل داده‌های مکانی-زمانی
• 79. کاربرد داده‌های مکانی-زمانی در صنایع
• 80. مقدمه‌ای بر داده‌های سنسور و IoT
• 81. جمع‌آوری و پردازش داده‌های IoT
• 82. کاربرد داده‌های IoT در هوشمندسازی
• 83. مقدمه‌ای بر اصول حاکمیت داده (Data Governance)
• 84. سیاست‌ها و رویه‌های حاکمیت داده
• 85. پیاده‌سازی حاکمیت داده در سازمان
• 86. ملاحظات اخلاقی در کار با داده‌های بزرگ
• 87. حریم خصوصی و امنیت داده‌ها
• 88. مسئولیت‌پذیری در استفاده از داده‌ها
• 89. مباحث پیشرفته در Spark SQL
• 90. بهینه‌سازی کوئری‌های پیچیده در Spark SQL
• 91. استفاده از UDF ها در Spark SQL
• 92. مدیریت حافظه و پارتیشن‌بندی در Spark
• 93. تکنیک‌های پیشرفته در Spark Streaming
• 94. مدیریت وضعیت (State Management) در Spark Streaming
• 95. یکپارچه‌سازی Spark Streaming با منابع دیگر
• 96. کاربرد Spark MLlib در مسائل واقعی
• 97. تنظیم پارامترها و ارزیابی مدل‌ها
• 98. پیش‌پردازش داده‌ها برای یادگیری ماشین
• 99. مقدمه‌ای بر پردازش گراف در Spark GraphX
• 100. الگوریتم‌های پردازش گراف