فلش‌کارت‌های آموزشی تکنیک‌های کاهش حجم و افزایش سرعت مدل‌های هوش مصنوعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تکنیک‌های کاهش حجم و افزایش سرعت مدل‌های هوش مصنوعی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: بهینه‌سازی برای زمان استنتاج (Inference Optimization)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر فشرده‌سازی مدل‌های هوش مصنوعی
• 2. مبانی نظری کاهش ابعاد در یادگیری ماشین
• 3. انواع تکنیک‌های کاهش حجم مدل
• 4. فشرده‌سازی مبتنی بر هرس کردن (Pruning)
• 5. هرس کردن وزن‌ها (Weight Pruning)
• 6. هرس کردن نورون‌ها (Neuron Pruning)
• 7. هرس کردن کانال‌ها (Channel Pruning)
• 8. روش‌های خودکار هرس کردن
• 9. ارزیابی اثر هرس کردن بر عملکرد مدل
• 10. فشرده‌سازی مبتنی بر کوانتیزاسیون (Quantization)
• 11. کوانتیزاسیون با دقت پایین (Low-Precision Quantization)
• 12. کوانتیزاسیون با مقادیر صحیح (Integer Quantization)
• 13. کوانتیزاسیون ترتیبی (Ternary Quantization)
• 14. کوانتیزاسیون باینری (Binary Quantization)
• 15. کوانتیزاسیون Post-Training
• 16. کوانتیزاسیون در حین آموزش (Quantization-Aware Training)
• 17. تکنیک‌های کاهش پیچیدگی محاسباتی
• 18. تقطیر دانش (Knowledge Distillation)
• 19. شبکه‌های دانش‌آموز (Student Networks)
• 20. شبکه‌های معلم (Teacher Networks)
• 21. روش‌های مبتنی بر تابع هزینه تقطیر
• 22. ارزیابی کیفیت دانش تقطیر شده
• 23. فشرده‌سازی مبتنی بر فاکتورگیری ماتریس (Matrix Factorization)
• 24. تجزیه مقادیر منفرد (SVD)
• 25. تجزیه ماتریس‌های تنسوری
• 26. کاربرد فاکتورگیری در شبکه‌های عصبی
• 27. شبکه‌های عصبی پراکنده (Sparse Neural Networks)
• 28. تکنیک‌های تولید پراکندگی
• 29. مدیریت مدل‌های پراکنده
• 30. فشرده‌سازی مبتنی بر معماری (Architecture Compression)
• 31. طراحی معماری‌های سبک (Lightweight Architectures)
• 32. شبکه‌های MobileNet
• 33. شبکه‌های ShuffleNet
• 34. شبکه‌های EfficientNet
• 35. معماری‌های مبتنی بر تفکیک کانولوشن (Depthwise Separable Convolutions)
• 36. شبکه‌های مبتنی بر کانولوشن‌های گروهی (Grouped Convolutions)
• 37. فشرده‌سازی مدل‌های زبانی بزرگ (LLMs)
• 38. تکنیک‌های کاهش حجم LLMs
• 39. هرس کردن در LLMs
• 40. کوانتیزاسیون در LLMs
• 41. تقطیر دانش برای LLMs
• 42. فشرده‌سازی معماری LLMs
• 43. بهینه‌سازی مدل برای سخت‌افزارهای خاص
• 44. شتاب‌دهنده‌های سخت‌افزاری برای هوش مصنوعی
• 45. پردازنده‌های گرافیکی (GPUs)
• 46. واحد پردازش تانسور (TPUs)
• 47. مدارهای مجتمع با کاربرد خاص (ASICs)
• 48. بهینه‌سازی برای دستگاه‌های موبایل
• 49. بهینه‌سازی برای سیستم‌های نهفته (Embedded Systems)
• 50. چارچوب‌های نرم‌افزاری برای بهینه‌سازی
• 51. TensorFlow Lite
• 52. PyTorch Mobile
• 53. ONNX Runtime
• 54. ابزارهای تحلیل و پروفایلینگ مدل
• 55. شناسایی گلوگاه‌های محاسباتی
• 56. اندازه‌گیری مصرف حافظه
• 57. تحلیل مصرف انرژی
• 58. ارزیابی سرعت استنتاج (Inference Speed)
• 59. مقایسه عملکرد مدل‌های فشرده
• 60. معیارهای ارزیابی فشرده‌سازی
• 61. دقت (Accuracy)
• 62. حجم مدل (Model Size)
• 63. سرعت استنتاج (Inference Latency)
• 64. مصرف انرژی (Energy Consumption)
• 65. پیچیدگی پیاده‌سازی (Implementation Complexity)
• 66. کاربرد فشرده‌سازی در سیستم‌های بلادرنگ
• 67. کاربرد در رباتیک
• 68. کاربرد در خودروهای خودران
• 69. کاربرد در اینترنت اشیاء (IoT)
• 70. کاربرد در پردازش تصویر بلادرنگ
• 71. کاربرد در پردازش زبان طبیعی بلادرنگ
• 72. چالش‌های فشرده‌سازی مدل‌های پیچیده
• 73. حفظ دقت در مدل‌های فشرده
• 74. توازن بین فشرده‌سازی و عملکرد
• 75. پیاده‌سازی موثر تکنیک‌های فشرده‌سازی
• 76. توسعه ابزارهای خودکار فشرده‌سازی
• 77. تاثیر فشرده‌سازی بر قابلیت تفسیر مدل
• 78. مقایسه تکنیک‌های مختلف فشرده‌سازی
• 79. مطالعات موردی فشرده‌سازی مدل‌های موفق
• 80. فشرده‌سازی شبکه‌های کانولوشن عمیق
• 81. فشرده‌سازی شبکه‌های بازگشتی (RNNs)
• 82. فشرده‌سازی مدل‌های ترنسفورمر (Transformers)
• 83. آینده تحقیقات در زمینه فشرده‌سازی مدل
• 84. مدل‌های فشرده‌تر و کارآمدتر
• 85. روش‌های خودکار و هوشمند فشرده‌سازی
• 86. فشرده‌سازی مدل‌های توزیع‌شده
• 87. فشرده‌سازی مدل‌ها برای یادگیری فدرال (Federated Learning)
• 88. تاثیر فشرده‌سازی بر توسعه پایدار هوش مصنوعی
• 89. پژوهش‌های اخیر در زمینه فشرده‌سازی مدل
• 90. نکات تکمیلی در فشرده‌سازی مدل
• 91. مروری بر ابزارهای موجود برای فشرده‌سازی
• 92. اصول بهینه‌سازی مدل برای استقرار
• 93. پروژه‌های عملی فشرده‌سازی مدل