فلش‌کارت‌های آموزشی مهندسی داده با PySpark: مدیریت و پردازش جریان داده‌های هوشمند

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با PySpark: مدیریت و پردازش جریان داده‌های هوشمند

موضوع کلی: علوم کامپیوتر و فناوری اطلاعات

موضوع میانی: پردازش و تحلیل داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و اهمیت جریان داده
• 2. آشنایی با مفاهیم کلیدی پردازش جریان داده
• 3. معرفی Apache Spark و معماری آن
• 4. نصب و پیکربندی محیط توسعه PySpark
• 5. مبانی زبان برنامه‌نویسی پایتون برای مهندسی داده
• 6. ساختار داده‌ها در PySpark: RDDها و DataFrameها
• 7. عملیات اساسی بر روی DataFrameها
• 8. مقدمه‌ای بر Spark SQL و کوئری‌نویسی
• 9. مدیریت داده‌های ساختاریافته و نیمه‌ساختاریافته
• 10. مفاهیم انبار داده سنتی و مدرن
• 11. معرفی Delta Lake و مزایای آن
• 12. نصب و راه‌اندازی Delta Lake
• 13. عملیات پایه‌ای Delta Lake: ایجاد، خواندن و نوشتن
• 14. مدیریت نسخه‌بندی داده در Delta Lake
• 15. تراکنش‌های ACID در Delta Lake
• 16. بهینه‌سازی عملکرد Delta Lake
• 17. فشرده‌سازی و پارتیشن‌بندی داده در Delta Lake
• 18. مقدمه‌ای بر پردازش جریان داده (Stream Processing)
• 19. معرفی Spark Structured Streaming
• 20. معماری Spark Structured Streaming
• 21. ایجاد و اجرای جریان‌های داده ساده
• 22. تبدیل داده‌ها در جریان‌های داده
• 23. توابع پنجره‌ای (Window Functions) در Structured Streaming
• 24. مدیریت وضعیت (State Management) در جریان‌های داده
• 25. تکنیک‌های ادغام (Aggregation) در جریان‌های داده
• 26. پردازش داده‌های تجمعی (Incremental Processing)
• 27. اتصال Structured Streaming به منابع داده مختلف
• 28. منابع داده متداول برای جریان داده: Kafka
• 29. پیکربندی Kafka برای Spark Structured Streaming
• 30. پردازش داده‌های ورودی از Kafka
• 31. منابع داده متداول برای جریان داده: فایل‌ها
• 32. پردازش فایل‌های جدید به صورت جریانی
• 33. منابع داده متداول برای جریان داده: پایگاه‌های داده
• 34. اتصال به پایگاه‌های داده رابطه‌ای برای جریان داده
• 35. استفاده از CDC (Change Data Capture) با Structured Streaming
• 36. نوشتن داده‌های جریانی در Delta Lake
• 37. بهینه‌سازی نوشتن جریان داده در Delta Lake
• 38. مدیریت خطا و تحمل‌پذیری در جریان‌های داده
• 39. مانیتورینگ و اشکال‌زدایی جریان‌های داده
• 40. مفاهیم پردازش دسته‌ای (Batch Processing)
• 41. تفاوت‌های پردازش دسته‌ای و جریانی
• 42. انتقال از پردازش دسته‌ای به جریانی
• 43. معرفی مفاهیم انبار داده هوشمند
• 44. معماری انبار داده مدرن
• 45. نقش Delta Lake در انبار داده هوشمند
• 46. مدیریت داده‌های بزرگ در انبار داده
• 47. استراتژی‌های پاکسازی و اعتبارسنجی داده
• 48. کیفیت داده و اهمیت آن در تحلیل
• 49. تکنیک‌های پیشرفته برای بهبود کیفیت داده
• 50. مقدمه‌ای بر تحلیل داده‌های هوشمند
• 51. مفاهیم یادگیری ماشین در تحلیل داده
• 52. آموزش مدل‌های یادگیری ماشین با PySpark
• 53. استفاده از کتابخانه‌های MLlib در PySpark
• 54. ادغام مدل‌های یادگیری ماشین با جریان‌های داده
• 55. پیش‌بینی بلادرنگ با استفاده از مدل‌های ML
• 56. تحلیل احساسات (Sentiment Analysis) بر روی جریان داده
• 57. تشخیص ناهنجاری (Anomaly Detection) در جریان داده
• 58. سیستم‌های توصیه‌گر (Recommendation Systems) با Spark
• 59. معماری سیستم‌های توصیه‌گر مبتنی بر جریان داده
• 60. پیاده‌سازی سیستم توصیه‌گر با Delta Lake
• 61. امنیت داده در محیط‌های مهندسی داده
• 62. مدیریت دسترسی به داده‌ها در Delta Lake
• 63. رمزنگاری داده‌ها در حالت سکون و در حال انتقال
• 64. ملاحظات حریم خصوصی داده‌ها
• 65. قوانین و مقررات مربوط به داده‌ها در ایران
• 66. انطباق با قوانین جمهوری اسلامی ایران در مهندسی داده
• 67. چارچوب‌های قانونی برای مدیریت داده‌های حساس
• 68. ملاحظات اخلاقی در پردازش و تحلیل داده
• 69. کاربرد مهندسی داده در صنایع مختلف
• 70. مهندسی داده در صنعت مالی
• 71. مهندسی داده در صنعت مخابرات
• 72. مهندسی داده در صنعت خرده‌فروشی
• 73. مهندسی داده در حوزه سلامت
• 74. مهندسی داده در حوزه دولتی و عمومی
• 75. آینده مهندسی داده و روندهای نوظهور
• 76. پردازش گراف در Spark
• 77. پردازش داده‌های مکانی (Spatial Data Processing)
• 78. اینترنت اشیاء (IoT) و مهندسی داده
• 79. پردازش داده‌های صوتی و تصویری در جریان داده
• 80. مباحث پیشرفته در Spark Structured Streaming
• 81. بهینه‌سازی پیشرفته Delta Lake
• 82. مدیریت انبار داده در مقیاس بزرگ
• 83. چالش‌های عملیاتی در محیط‌های تولیدی
• 84. ابزارهای مانیتورینگ و مدیریت چرخه عمر داده
• 85. معرفی استانداردهای داده در ایران
• 86. استفاده از داده‌های باز (Open Data) در چارچوب قانونی
• 87. ارتباط با داده‌های خارجی و یکپارچه‌سازی داده
• 88. ملاحظات عملیاتی برای پیاده‌سازی موفق
• 89. معرفی ابزارهای ارکستراسیون جریان داده (مانند Airflow)
• 90. مدیریت وابستگی‌ها در پروژه‌های مهندسی داده
• 91. تمرینات عملی و پروژه‌های کاربردی
• 92. طراحی یک انبار داده هوشمند با Delta Lake
• 93. پیاده‌سازی یک سیستم تحلیل بلادرنگ
• 94. ساخت یک داشبورد تعاملی با داده‌های جریانی
• 95. پروژه‌های خلاقانه با استفاده از PySpark و Delta Lake
• 96. جمع‌بندی و گام‌های بعدی در مسیر مهندسی داده