مقاله RefDecoder: ارتقاء تولید تصویر با رمزگشایی ویدئوی شرطی
,

مقاله RefDecoder: ارتقاء تولید تصویر با رمزگشایی ویدئوی شرطی

تومان249,950

تولید ویدئو کاربردهای فراوانی را در حوزه‌های مختلف پشتیبانی می‌کند. با این حال، در مدل‌های انتشار نهفته (latent diffusion models) که استاندارد فعلی محسوب می‌شوند، شبکه‌های حذف نویز (denoising networks…

انتخاب پلن

torobpay
هر قسط با ترب‌پی: تومان62,488
۴ قسط ماهانه. بدون سود، چک و ضامن.
شناسه محصول: SuperPaper-0000000001 دسته: ,

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

RefDecoder: ارتقاء تولید تصویر با رمزگشایی ویدئوی شرطی

RefDecoder: Enhancing Visual Generation with Conditional Video Decoding

نویسندگان: Xiang Fan, Yuheng Wang, Bohan Fang, Zhongzheng Ren, Ranjay Krishna

شناسه منبع: arxiv / 2605.15196

دسته: Computer Vision and Pattern Recognition,Machine Learning

چکیده (فارسی)

تولید ویدئو کاربردهای فراوانی را در حوزه‌های مختلف پشتیبانی می‌کند. با این حال، در مدل‌های انتشار نهفته (latent diffusion models) که استاندارد فعلی محسوب می‌شوند، شبکه‌های حذف نویز (denoising networks) معمولاً به شدت شرطی‌سازی می‌شوند، اما رمزگشاها (decoders) اغلب بدون شرط باقی می‌مانند. ما مشاهده کرده‌ایم که این عدم تقارن معماری منجر به از دست رفتن قابل توجه جزئیات و ناسازگاری نسبت به تصویر ورودی می‌شود. برای رفع این مشکل، معتقدیم که رمزگشا برای حفظ یکپارچگی ساختاری نیاز به شرطی‌سازی برابر دارد. ما RefDecoder را معرفی می‌کنیم، یک رمزگشای VAE ویدئویی شرطی‌شده با ارجاع (reference-conditioned) که سیگنال تصویر ارجاع با وفاداری بالا را مستقیماً از طریق توجه ارجاع (reference attention) به فرآیند رمزگشایی تزریق می‌کند. به طور خاص، یک رمزگذار تصویر سبک، فریم ارجاع را به توکن‌های با ابعاد بالا و غنی از جزئیات نگاشت می‌کند که در هر مرحله افزایش نمونه‌برداری رمزگشا، همراه با توکن‌های نهفته ویدئوی حذف نویز شده، پردازش می‌شوند. ما بهبودهای مداومی را در چندین ستون فقرات رمزگشای متمایز (مانند Wan 2.1 و VideoVAE+) نشان می‌دهیم و در معیارهای بازسازی Inter4K، WebVid و Large Motion، تا 2.1dB افزایش PSNR نسبت به مدل‌های پایه بدون شرط به دست می‌آوریم. قابل ذکر است که RefDecoder را می‌توان مستقیماً بدون تنظیم دقیق اضافی در سیستم‌های موجود تولید ویدئو جایگزین کرد و ما بهبودهای فراگیری را در سازگاری سوژه، سازگاری پس‌زمینه و امتیازات کیفیت کلی در معیار VBench I2V گزارش می‌کنیم. علاوه بر I2V، RefDecoder به خوبی در طیف وسیعی از وظایف تولید بصری مانند انتقال سبک و اصلاح ویرایش ویدئو تعمیم می‌یابد.

Abstract (English)

Video generation powers a vast array of downstream applications. However, while the de facto standard, i.e., latent diffusion models, typically employ heavily conditioned denoising networks, their decoders often remain unconditional. We observe that this architectural asymmetry leads to significant loss of detail and inconsistency relative to the input image. To address this, we argue that the decoder requires equal conditioning to preserve structural integrity. We introduce RefDecoder, a reference-conditioned video VAE decoder by injecting high-fidelity reference image signal directly into the decoding process via reference attention. Specifically, a lightweight image encoder maps the reference frame into the detail-rich high-dimensional tokens, which are co-processed with the denoised video latent tokens at each decoder up-sampling stage. We demonstrate consistent improvements across several distinct decoder backbones (e.g., Wan 2.1 and VideoVAE+), achieving up to +2.1dB PSNR over the unconditional baselines on the Inter4K, WebVid, and Large Motion reconstruction benchmarks. Notably, RefDecoder can be directly swapped into existing video generation systems without additional fine-tuning, and we report across-the-board improvements in subject consistency, background consistency, and overall quality scores on the VBench I2V benchmark. Beyond I2V, RefDecoder generalizes well to a wide range of visual generation tasks such as style transfer and video editing refinement.

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “مقاله RefDecoder: ارتقاء تولید تصویر با رمزگشایی ویدئوی شرطی”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

محصولات مشابه

پیمایش به بالا