مقاله یادگیری آنچه اهمیت دارد: اهداف اطلاعاتی-نظری تطبیقی برای کاوش ربات

طراحی اهداف اطلاعاتی قابل یادگیری برای کاوش رباتیک همچنان چالش‌برانگیز است. این اهداف تلاش می‌کنند تا کاوش را به سمت داده‌هایی هدایت کنند که عدم قطعیت در پارامترهای مدل را کاهش می‌دهند، اما اغلب مشخص نیست که داده‌های جمع‌آوری شده واقعاً چه اطلاعاتی را می‌توانند آشکار کنند. اگرچه یادگیری تقویتی (RL) می‌تواند یک هدف معین را بهینه کند، ساخت اهدافی که یادگیری پارامتری را منعکس کنند در سیستم‌های رباتیک با ابعاد بالا دشوار است. بسیاری از جهت‌های پارامتری به سختی قابل مشاهده یا شناسایی‌ناپذیر هستند، و حتی زمانی که جهت‌های قابل شناسایی انتخاب می‌شوند، جهت‌های حذف شده همچنان می‌توانند بر کاوش تأثیر گذاشته و معیارهای اطلاعاتی را تحریف کنند. برای پرداختن به این چالش، ما طراحی آزمایشی شبه بهینه (Q{footnotesize OED}) را پیشنهاد می‌کنیم، که یک هدف اطلاعاتی تطبیقی مبتنی بر طراحی آزمایشی بهینه است. Q{footnotesize OED} (i) تحلیل فضای ویژه ماتریس اطلاعات فیشر را برای شناسایی یک زیرفضای قابل مشاهده و انتخاب جهت‌های پارامتری قابل شناسایی انجام می‌دهد، و (ii) هدف کاوش را برای تأکید بر این جهت‌ها و در عین حال سرکوب اثرات مزاحم از پارامترهای غیرحیاتی اصلاح می‌کند. تحت تأثیر محدود مزاحم و جفت‌شدگی محدود بین جهت‌های حیاتی و مزاحم، Q{footnotesize OED} یک تقریب ضریب ثابت به هدف اطلاعاتی ایده‌آل که تمام پارامترها را کاوش می‌کند، ارائه می‌دهد. ما Q{footnotesize OED} را در وظایف شبیه‌سازی شده و واقعی ناوبری و دستکاری ارزیابی می‌کنیم، که در آن انتخاب جهت قابل شناسایی و سرکوب مزاحم منجر به بهبود عملکرد به ترتیب SI{35.23}{percent} و SI{21.98}{percent} می‌شود. هنگامی که Q{footnotesize OED} به عنوان یک هدف کاوش در بهینه‌سازی سیاست مبتنی بر مدل ادغام می‌شود، عملکرد سیاست را نسبت به روش‌های پایه RL تثبیت شده بهبود می‌بخشد.

Designing learnable information-theoretic objectives for robot exploration remains challenging. Such objectives aim to guide exploration toward data that reduces uncertainty in model parameters, yet it is often unclear what information the collected data can actually reveal. Although reinforcement learning (RL) can optimize a given objective, constructing objectives that reflect parametric learnability is difficult in high-dimensional robotic systems. Many parameter directions are weakly observable or unidentifiable, and even when identifiable directions are selected, omitted directions can still influence exploration and distort information measures. To address this challenge, we propose Quasi-Optimal Experimental Design (Q{footnotesize OED}), an adaptive information objective grounded in optimal experimental design. Q{footnotesize OED} (i) performs eigenspace analysis of the Fisher information matrix to identify an observable subspace and select identifiable parameter directions, and (ii) modifies the exploration objective to emphasize these directions while suppressing nuisance effects from non-critical parameters. Under bounded nuisance influence and limited coupling between critical and nuisance directions, Q{footnotesize OED} provides a constant-factor approximation to the ideal information objective that explores all parameters. We evaluate Q{footnotesize OED} on simulated and real-world navigation and manipulation tasks, where identifiable-direction selection and nuisance suppression yield performance improvements of SI{35.23}{percent} and SI{21.98}{percent}, respectively. When integrated as an exploration objective in model-based policy optimization, Q{footnotesize OED} further improves policy performance over established RL baselines.