فلش‌کارت‌های آموزشی بهینه‌سازی سرعت استنتاج در مدل‌های زبان بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی سرعت استنتاج در مدل‌های زبان بزرگ

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مدل‌های زبان بزرگ (LLM)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبان بزرگ (LLM)
• 2. مروری بر معماری ترانسفورمر
• 3. مبانی استنتاج در مدل‌های زبان بزرگ
• 4. معماری‌های رایج LLM
• 5. مدل‌های خانواده GPT
• 6. مدل‌های خانواده LLaMA
• 7. مدل‌های خانواده BERT
• 8. مدل‌های خانواده T5
• 9. معرفی مفاهیم کلیدی استنتاج
• 10. زمان‌بندی (Latency) در استنتاج
• 11. توان عملیاتی (Throughput) در استنتاج
• 12. متریک‌های ارزیابی عملکرد استنتاج
• 13. عوامل مؤثر بر سرعت استنتاج
• 14. اندازه مدل و تأثیر آن بر سرعت
• 15. پیچیدگی محاسباتی مدل‌ها
• 16. سخت‌افزار مورد استفاده برای استنتاج
• 17. پردازنده‌های گرافیکی (GPU)
• 18. واحد پردازش تنسور (TPU)
• 19. پردازنده‌های مرکزی (CPU)
• 20. حافظه و پهنای باند حافظه
• 21. تکنیک‌های بهینه‌سازی استنتاج
• 22. کوانتیزاسیون (Quantization) مدل
• 23. تکنیک‌های کوانتیزاسیون ۸ بیتی
• 24. تکنیک‌های کوانتیزاسیون ۴ بیتی
• 25. کوانتیزاسیون با دقت متغیر
• 26. پالایش مدل (Model Pruning)
• 27. انواع پالایش مدل
• 28. تأثیر پالایش بر سرعت
• 29. تقطیر دانش (Knowledge Distillation)
• 30. معماری‌های مدل کوچک‌تر
• 31. آموزش مدل کوچک‌تر از مدل بزرگ‌تر
• 32. استفاده از مدل‌های از پیش آموزش‌دیده کوچک
• 33. تکنیک‌های موازی‌سازی
• 34. موازی‌سازی تانسور
• 35. موازی‌سازی خط لوله
• 36. موازی‌سازی داده
• 37. موازی‌سازی نما (Model Parallelism)
• 38. بهینه‌سازی در سطح نرم‌افزار
• 39. کامپایلرهای مدل
• 40. کامپایلرهای مخصوص LLM
• 41. بهینه‌سازی زمان اجرا (Runtime Optimization)
• 42. مدیریت حافظه در زمان استنتاج
• 43. کش کردن (Caching) کلید-مقدار (KV Cache)
• 44. بهینه‌سازی KV Cache
• 45. تکنیک‌های کاهش حجم KV Cache
• 46. پردازش دسته‌ای (Batching) درخواست‌ها
• 47. پردازش دسته‌ای دینامیک
• 48. پردازش دسته‌ای ثابت
• 49. بهینه‌سازی برای سخت‌افزارهای خاص
• 50. بهینه‌سازی برای GPUهای NVIDIA
• 51. بهینه‌سازی برای GPUهای AMD
• 52. بهینه‌سازی برای سخت‌افزارهای ARM
• 53. معرفی چارچوب‌های بهینه‌سازی
• 54. TensorRT
• 55. OpenVINO
• 56. ONNX Runtime
• 57. DeepSpeed
• 58. FasterTransformer
• 59. vLLM
• 60. Hugging Face Accelerate
• 61. تکنیک‌های پیشرفته بهینه‌سازی
• 62. پردازش در لبه (Edge Computing) برای LLM
• 63. استنتاج توزیع‌شده
• 64. بهینه‌سازی برای کاربردهای خاص
• 65. بهینه‌سازی برای تولید متن
• 66. بهینه‌سازی برای پاسخ به سؤال
• 67. بهینه‌سازی برای خلاصه‌سازی
• 68. بهینه‌سازی برای ترجمه ماشینی
• 69. ارزیابی هزینه و عملکرد
• 70. تحلیل هزینه سخت‌افزار
• 71. تحلیل هزینه مصرف انرژی
• 72. مقایسه عملکرد مدل‌های مختلف
• 73. مطالعات موردی (Case Studies)
• 74. بهینه‌سازی استنتاج برای GPT-3
• 75. بهینه‌سازی استنتاج برای LLaMA-2
• 76. بهینه‌سازی استنتاج برای BERT
• 77. بهینه‌سازی استنتاج برای مدل‌های فارسی
• 78. چالش‌های آینده در استنتاج LLM
• 79. روندهای تحقیقاتی جدید
• 80. پیش‌بینی عملکرد در سخت‌افزارهای نسل بعد
• 81. اهمیت بهینه‌سازی برای کاربردهای عملی
• 82. توسعه ابزارهای خودکار بهینه‌سازی
• 83. تأثیر بهینه‌سازی بر دسترسی به LLM
• 84. اقتصاد بهینه‌سازی استنتاج
• 85. ملاحظات امنیتی در استنتاج LLM
• 86. پروتکل‌های ارتباطی امن
• 87. محافظت از مدل در برابر حملات
• 88. مدیریت منابع در سیستم‌های بزرگ
• 89. نظارت بر عملکرد در زمان واقعی
• 90. مقیاس‌پذیری سیستم‌های استنتاج
• 91. معماری‌های خدمات‌دهنده LLM
• 92. بهینه‌سازی برای تقاضای متغیر
• 93. ارزیابی تأثیرات زیست‌محیطی
• 94. مصرف انرژی و کربن
• 95. راهکارهای کاهش اثرات زیست‌محیطی
• 96. آینده بهینه‌سازی استنتاج LLM
• 97. پیشرفت‌های در الگوریتم‌های یادگیری
• 98. تکامل سخت‌افزارها
• 99. نقش هوش مصنوعی مولد در بهینه‌سازی
• 100. استانداردهای جدید در استنتاج LLM