فلش‌کارت‌های آموزشی مانیتورینگ و لاگینگ برای یادگیری ماشین (ML)

📚 کتاب آموزشی جامع

📚 اطلاعات کتاب

عنوان کتاب: کتاب مانیتورینگ و لاگینگ برای یادگیری ماشین (ML)

موضوع کلی: برنامه نویسی

موضوع میانی: مانیتورینگ و لاگینگ

📋 سرفصل‌های کتاب (100 موضوع)

• 1. مقدمه‌ای بر مانیتورینگ در سیستم‌های نرم‌افزاری
• 2. مقدمه‌ای بر لاگینگ در سیستم‌های نرم‌افزاری
• 3. اهمیت مانیتورینگ و لاگینگ در چرخه عمر ML
• 4. چالش‌های منحصربه‌فرد ML در مانیتورینگ و لاگینگ
• 5. اهداف اصلی مانیتورینگ و لاگینگ برای ML
• 6. مفاهیم اساسی: متریک، لاگ، ردیابی (Trace)
• 7. نقش Observability در MLOps
• 8. معماری‌های رایج برای مانیتورینگ و لاگینگ ML
• 9. انواع لاگ‌ها در سیستم‌های ML (داده، مدل، رویداد، خطا)
• 10. لاگینگ ساختاریافته در برابر لاگینگ غیرساختاریافته
• 11. فرمت‌های استاندارد برای لاگینگ (JSON, CSV, Protobuf)
• 12. انتخاب سطح لاگ (Debug, Info, Warning, Error, Critical)
• 13. Best Practices در کدنویسی لاگ (چه چیزی را لاگ کنیم؟)
• 14. لاگینگ ورودی و خروجی مدل (Prediction I/O)
• 15. لاگینگ ویژگی‌ها (Feature Logging)
• 16. لاگینگ پارامترها و هایپرپارامترهای مدل
• 17. لاگینگ ورژن مدل و تاریخچه تغییرات
• 18. لاگینگ خطاهای پیش‌بینی و پردازش داده
• 19. لاگینگ منابع مصرفی در زمان آموزش و استنتاج
• 20. لاگینگ رویدادهای مربوط به Lifecycle مدل (استقرار، به‌روزرسانی)
• 21. سیستم‌های مدیریت لاگ متمرکز (Centralized Logging)
• 22. پیاده‌سازی لاگینگ توزیع‌شده برای مدل‌های مقیاس‌پذیر
• 23. لاگینگ در محیط‌های کانتینری (Docker, Kubernetes)
• 24. لاگینگ در محیط‌های بدون سرور (Serverless)
• 25. تعریف و اهمیت متریک‌ها در ML
• 26. انواع متریک‌ها: عملکرد، سلامت، منابع، داده
• 27. جمع‌آوری متریک‌ها: Push vs. Pull Model
• 28. ابزارهای جمع‌آوری متریک (Prometheus Exporters)
• 29. طراحی داشبوردهای مانیتورینگ (برای ML)
• 30. ایجاد هشدارها (Alerting) بر اساس متریک‌ها
• 31. مفهوم Service Level Objectives (SLO) و Service Level Indicators (SLI)
• 32. نظارت بر سلامت سرویس‌های ML (API Uptime, Latency)
• 33. نظارت بر منابع سخت‌افزاری (CPU, GPU, RAM, Disk I/O)
• 34. نظارت بر کارایی عملیاتی (Throughput, Latency)
• 35. مانیتورینگ پایداری زیرساخت ML
• 36. مانیتورینگ کیفیت داده ورودی
• 37. تشخیص Data Drift: مفاهیم و اهمیت
• 38. روش‌های آماری برای تشخیص Data Drift (KS-Test, PSI)
• 39. تشخیص Concept Drift: مفاهیم و اهمیت
• 40. تکنیک‌های تشخیص Concept Drift (EDDM, DDM)
• 41. مانیتورینگ توزیع ویژگی‌ها (Feature Distribution)
• 42. مانیتورینگ مقادیر از دست رفته (Missing Values)
• 43. مانیتورینگ Outliers و Anomalies در داده‌ها
• 44. مانیتورینگ Data Skew و Data Imbalance
• 45. ابزارهای خودکار برای مانیتورینگ کیفیت داده ML
• 46. متریک‌های عملکردی برای مدل‌های رگرسیون (MAE, RMSE, R-squared)
• 47. متریک‌های عملکردی برای مدل‌های طبقه‌بندی (Accuracy, Precision, Recall, F1-Score)
• 48. منحنی ROC و AUC در مانیتورینگ
• 49. ماتریس درهم‌ریختگی (Confusion Matrix) برای مانیتورینگ
• 50. متریک‌های عملکردی برای مدل‌های خوشه‌بندی (Silhouette, Davies-Bouldin)
• 51. مانیتورینگ Model Drift و اهمیت آن
• 52. تشخیص Model Drift: مقایسه با Baseline
• 53. مانیتورینگ پایداری عملکرد مدل در طول زمان
• 54. مانیتورینگ عملکرد مدل بر روی زیرگروه‌های مختلف داده (Slice & Dice)
• 55. تشخیص افت عملکرد ناشی از داده‌های جدید
• 56. مانیتورینگ Overfitting و Underfitting در تولید
• 57. مانیتورینگ Uncertainty و Confidence پیش‌بینی‌ها
• 58. مانیتورینگ Latency پیش‌بینی و زمان پاسخ‌دهی
• 59. مانیتورینگ throughput سرویس‌های استنتاج
• 60. مانیتورینگ Explainability مدل‌ها (LIME, SHAP در تولید)
• 61. مانیتورینگ Fairness و Bias در مدل‌های ML
• 62. تشخیص و هشداردهی بر مبنای تغییرات Bias
• 63. مانیتورینگ خطاهای خاص ML (مانند NaN در خروجی)
• 64. مانیتورینگ زمان آموزش و ارزیابی مدل
• 65. مانیتورینگ مصرف منابع در زمان آموزش مدل
• 66. تحلیل Root Cause Analysis (RCA) با استفاده از لاگ‌ها و متریک‌ها
• 67. AIOps و کاربرد آن در مانیتورینگ ML
• 68. استفاده از یادگیری ماشین برای تشخیص ناهنجاری در لاگ‌ها و متریک‌ها
• 69. تشخیص Patterns در لاگ‌ها برای بینش عملیاتی
• 70. بهینه‌سازی هزینه مانیتورینگ و لاگینگ
• 71. معرفی اکوسیستم ELK Stack (Elasticsearch, Logstash, Kibana)
• 72. پیاده‌سازی Logstash برای جمع‌آوری و پردازش لاگ‌ها
• 73. ذخیره‌سازی و جستجوی لاگ‌ها با Elasticsearch
• 74. ساخت داشبورد و بصری‌سازی لاگ‌ها با Kibana
• 75. معرفی Prometheus برای جمع‌آوری و ذخیره‌سازی متریک‌ها
• 76. زبان پرس‌وجوی PromQL برای تحلیل متریک‌ها
• 77. پیاده‌سازی Grafana برای ساخت داشبورد متریک‌ها
• 78. پیکربندی Alertmanager برای مدیریت هشدارها
• 79. معرفی ابزارهای تجاری (Datadog, Splunk, New Relic)
• 80. معرفی MLflow Tracking برای لاگینگ آزمایشات ML
• 81. استفاده از MLflow Model Registry برای مدیریت نسخه‌های مدل
• 82. معرفی SageMaker Clarify برای مانیتورینگ Bias و Explainability
• 83. معرفی Evidently AI برای Data & Model Drift Monitoring
• 84. معرفی WhyLabs AI برای Observability در ML
• 85. Log Aggregators: Fluentd, Vector
• 86. Cloud Logging Services (AWS CloudWatch, Google Cloud Logging, Azure Monitor)
• 87. Cloud Monitoring Services (AWS CloudWatch, Google Cloud Monitoring, Azure Monitor)
• 88. OpenTelemetry برای ردیابی توزیع‌شده (Distributed Tracing)
• 89. طراحی یک معماری مقیاس‌پذیر برای لاگینگ ML
• 90. طراحی یک معماری مقیاس‌پذیر برای مانیتورینگ ML
• 91. جداسازی concerns در طراحی سیستم‌های لاگ و مانیتورینگ
• 92. استراتژی‌های مدیریت لاگ (Retention, Archiving)
• 93. مدیریت دسترسی و امنیت لاگ‌ها و متریک‌ها
• 94. اتوماسیون مانیتورینگ و لاگینگ در CI/CD/CT
• 95. پیاده‌سازی "Monitoring as Code" و "Logging as Code"
• 96. انتخاب ابزارها بر اساس نیازهای پروژه و بودجه
• 97. توسعه یک فرهنگ Observability در تیم‌های MLOps
• 98. پاسخ به حوادث (Incident Response) بر اساس هشدارها
• 99. بهبود مداوم سیستم مانیتورینگ و لاگینگ
• 100. آینده مانیتورینگ و لاگینگ در هوش مصنوعی