مقاله گیتینگ ریسک شرطی‌شده بر عمل برای کنترل حیاتی ایمنی تحت مشاهده جزئی

بسیاری از مسائل کنترلی حیاتی از نظر ایمنی به صورت فرآیندهای تصمیم‌گیری مارکوف قابل مشاهده جزئی و حساس به ریسک مدل‌سازی می‌شوند، که در آن‌ها کنترل‌کننده باید با اتکا به مشاهدات ناقص، تصمیم‌گیری کند و بین عملکرد وظیفه و ریسک ایمنی تعادل برقرار نماید. اگرچه برنامه‌ریزی در فضای باور (belief-space planning) راه‌حلی اصولی ارائه می‌دهد، اما نگهداری و برنامه‌ریزی بر اساس باورها در حوزه‌های عملی می‌تواند از نظر محاسباتی پرهزینه و نسبت به مشخصات مدل حساس باشد. ما یک تقریب یادگیری تقویتی سبک و مبتنی بر گیت ریسک (risk-gated reinforcement learning) را برای کنترل حساس به ریسک تحت مشاهده جزئی پیشنهاد می‌کنیم. این روش یک حالت پروکسی فشرده با تاریخچه محدود ایجاد می‌کند و یک پیش‌بینی‌کننده شرطی بر عمل برای نقض ایمنی در کوتاه‌مدت را یاد می‌گیرد. این ریسک پیش‌بینی‌شده عمل کاندید به دو روش مکمل استفاده می‌شود: به عنوان جریمه ریسک در طول یادگیری ارزش، و به عنوان یک گیت در زمان تصمیم‌گیری که بین تخمین‌های ارزش خوش‌بینانه و محافظه‌کارانه مجموعه (ensemble) درون‌یابی می‌کند. در نتیجه، اعمال با ریسک پایین نزدیک‌تر به تخمین‌های جستجوگر پاداش ارزیابی می‌شوند، در حالی که اعمال با ریسک بالا محافظه‌کارانه‌تر ارزیابی می‌گردند. ما این رویکرد را در دو حوزه حیاتی از نظر ایمنی و با مشاهده جزئی ارزیابی می‌کنیم: تنظیم خودکار گلوکز و ناوبری با محدودیت ایمنی. در هر دو گروه بیماران بزرگسال و نوجوان برای کنترل گلوکز، این روش تعادل کلی گلایسمیک را بهبود می‌بخشد و زمان اجرا را به طور قابل توجهی نسبت به یک روش پایه برنامه‌ریزی در فضای باور کاهش می‌دهد. در معیارهای ناوبری Safety-Gym، این روش به تعادل مطلوب‌تری بین پاداش و هزینه نسبت به یادگیری تقویتی نامحدود و چندین روش استاندارد ایمن-یادگیری تقویتی دست می‌یابد. این نتایج نشان می‌دهند که ریسک کوتاه‌مدت شرطی بر عمل می‌تواند یک سیگنال محلی مؤثر برای کنترل تقریبی حساس به ریسک در فرآیندهای تصمیم‌گیری مارکوف قابل مشاهده جزئی (POMDP) در زمانی که برنامه‌ریزی کامل در فضای باور عملی نیست، فراهم کند.

Many safety-critical control problems are modeled as risk-sensitive partially observable Markov decision processes, where the controller must make decisions from incomplete observations while balancing task performance against safety risk. Although belief-space planning provides a principled solution, maintaining and planning over beliefs can be computationally costly and sensitive to model specification in practical domains. We propose a lightweight risk-gated reinforcement learning approximation for risk-sensitive control under partial observability. The method constructs a compact finite-history proxy state and learns an action-conditioned predictor of near-term safety violation. This predicted candidate-action risk is used in two complementary ways: as a risk penalty during value learning, and as a decision-time gate that interpolates between optimistic and conservative ensemble value estimates. As a result, low-risk actions are evaluated closer to reward-seeking estimates, while high-risk actions are evaluated more conservatively. We evaluate the approach in two safety-critical partially observable domains: automated glucose regulation and safety-constrained navigation. Across adult and adolescent glucose-control cohorts, the method improves overall glycemic tradeoffs and substantially reduces runtime relative to a belief-space planning baseline. On Safety-Gym navigation benchmarks, it achieves a more favorable reward-cost balance than unconstrained RL and several standard safe-RL baselines. These results suggest that action-conditioned near-term risk can provide an effective local signal for approximate risk-sensitive POMDP control when full belief-space planning is impractical.