,

مقاله فعال‌سازی مشاهده‌پذیری داخلی مدل با کارایی و انعطاف‌پذیری بالا برای استنتاج LLM

تومان249,950

امروزه بارهای کاری زمان استنتاج (inference-time workloads) به طور فزاینده‌ای به دسترسی به موقع به وضعیت‌های داخلی مدل متکی هستند. ما DMI-Lib، یک بازرس مدل عمیق با سرعت بالا را معرفی می‌کنیم که مشاهده‌…

انتخاب پلن

torobpay
هر قسط با ترب‌پی: تومان62,488
۴ قسط ماهانه. بدون سود، چک و ضامن.
شناسه محصول: SuperPaper-0000000401 دسته: ,

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .


ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

فعال‌سازی مشاهده‌پذیری داخلی مدل با کارایی و انعطاف‌پذیری بالا برای استنتاج LLM

Enabling Performant and Flexible Model-Internal Observability for LLM Inference

نویسندگان: Nengneng Yu, Sixian Xiong, Yibo Zhao, Wei Wang, Zaoxing Liu

شناسه منبع: arxiv / 2605.11093v1

دسته: cs.LG,cs.AI,cs.PF,cs.SE,eess.SY

چکیده (فارسی)

امروزه بارهای کاری زمان استنتاج (inference-time workloads) به طور فزاینده‌ای به دسترسی به موقع به وضعیت‌های داخلی مدل متکی هستند. ما DMI-Lib، یک بازرس مدل عمیق با سرعت بالا را معرفی می‌کنیم که مشاهده‌پذیری داخلی را به عنوان یک اصل سیستمی درجه اول در نظر می‌گیرد و آن را از مسیر داغ استنتاج جدا می‌کند. این کار از طریق یک بستر مشاهده‌پذیری ناهمزمان انجام می‌شود که از Ring^2، یک انتزاع حافظه GPU-CPU برای گرفتن و مرحله‌بندی تنسورها، و یک بک‌اند میزبان تحت کنترل سیاست که آن‌ها را صادر می‌کند، ساخته شده است. DMI-Lib امکان قرار دادن نقاط مشاهده در فضای غنی از سیگنال‌های داخلی و بک‌اند‌های استنتاج متنوع را فراهم می‌کند، در حالی که بهینه‌سازی‌های سرویس‌دهی را حفظ کرده و به بودجه‌های محدود حافظه GPU پایبند است. آزمایش‌های ما نشان می‌دهد که DMI-Lib تنها 0.4% تا 6.8% سربار در استنتاج دسته‌ای آفلاین و به طور متوسط 6% در سرویس‌دهی آنلاین متوسط را متحمل می‌شود و سربار تأخیر را در مقایسه با خطوط مبنای موجود با ویژگی‌های مشاهده‌پذیری مشابه، 2 تا 15 برابر کاهش می‌دهد. DMI-Lib در آدرس https://github.com/ProjectDMX/DMI به صورت متن‌باز منتشر شده است.

Abstract (English)

Today's inference-time workloads increasingly depend on timely access to a model's internal states. We present DMI-Lib, a high-speed deep model inspector that treats internal observability as a first-class systems primitive, decoupling it from the inference hot path via an asynchronous observability substrate built from Ring^2, a GPU-CPU memory abstraction for capturing and staging tensors, and a policy-controlled host backend that exports them. DMI-Lib enables the placement of observation points across a rich space of internal signals and diverse inference backends while preserving serving optimizations and adhering to tight GPU memory budgets. Our experiments demonstrate that DMI-Lib incurs only 0.4%–6.8% overhead in offline batch inference and an average of 6% in moderate online serving, reducing latency overhead by 2x-15x compared to existing baselines with similar observability features. DMI-Lib is open-sourced at https://github.com/ProjectDMX/DMI.

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “مقاله فعال‌سازی مشاهده‌پذیری داخلی مدل با کارایی و انعطاف‌پذیری بالا برای استنتاج LLM”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پیمایش به بالا