로봇 정책의 불확실성과 기권: 모델이 모를 때 멈추거나 도움을 요청하게 하는 방법

로봇 정책은 가장 높은 확률의 행동을 항상 실행하기보다 입력이 낯설거나 여러 행동이 비슷할 때 기권할 수 있어야 합니다. 그러나 softmax confidence 하나로는 실패 확률을 알기 어렵고 임계값을 높이면 도움이 너무 자주 필요합니다. 불확실성 기반 기권은 점수, calibration set, 위험 비용과 사람 인계 절차를 하나의 선택 정책으로 설계하는 문제입니다.

아래에서는 용어의 차이를 실제 시스템 경계, 실패 조건과 검증 순서로 나눠 살펴봅니다.

기권은 정책이 action을 못 고르는 현상이 아니라 실행하지 않기로 선택하는 별도 출력이다

일반 policy는 관측마다 action을 반환하지만 selective policy는 실행, 안전 정지, clarification, human takeover 중 하나를 선택합니다. 기권이 없으면 모델은 낮은 확신에서도 가장 높은 점수의 action을 강제로 실행합니다.

피지컬 AI 안전 계층에서 기권은 학습 정책과 하드웨어 safety limit 사이의 의사결정 층입니다. emergency stop을 대신하는 것이 아니라 위험한 상태에 들어가기 전에 보수적으로 다른 경로를 선택합니다.

softmax 최고 확률은 정확도와 자동으로 일치하지 않으므로 먼저 calibration이 필요하다

모델은 학습 분포 밖에서도 높은 logit을 낼 수 있고 stochastic task에서는 여러 올바른 action이 있어 entropy가 높아도 실패가 아닐 수 있습니다. 한 점수의 절대값을 곧바로 실패 확률로 부르면 안 됩니다.

KnowNo 공식 프로젝트는 conformal prediction을 이용해 로봇 계획의 불확실성을 정렬하고 필요할 때 도움을 요청하는 framework를 제시합니다. 핵심은 원시 점수보다 calibration data에서 선택 규칙을 맞추는 것입니다.

불확실성 점수는 aleatoric·epistemic·OOD와 미래 실패 예측을 서로 다르게 본다

entropy는 후보 action의 분산을, ensemble disagreement는 모델 간 지식 차이를, density·embedding distance는 학습 분포와 거리를 볼 수 있습니다. runtime monitor는 현재 action보다 몇 step 뒤 실패 가능성을 직접 예측할 수 있습니다.

하나의 universal score보다 task 단계별로 실패를 잘 순위화하는지 비교합니다. 안전한 grasp 후보가 여러 개인 장면과 장애물 근처의 불명확한 장면은 entropy가 같아도 위험 비용이 다릅니다.

점수	주로 보는 것	장점	한계
entropy·margin	출력 모호성	계산 저렴	오보정·다중 정답
ensemble	model disagreement	epistemic 단서	추론 비용
OOD distance	표현 분포 거리	새 장면 감지	task 실패와 불일치
failure monitor	미래 실패	행동 문맥 반영	별도 라벨·모델

사람과 대화하는 로봇의 기권은 멈춤뿐 아니라 질문의 형태로 설계할 수 있다

사진의 사회적 로봇처럼 사람이 가까이 있는 환경에서는 ‘어느 컵인가요?’ 같은 clarification이 모호성을 줄일 수 있습니다. 반면 고속 동작 중 질문하면 이미 안전 상태를 잃을 수 있어 먼저 정지·후퇴가 필요합니다.

기권 action은 safe hold, retreat, ask, teleoperation request, task abort로 나누고 각 action의 precondition과 timeout을 정합니다. 사람 응답이 없거나 통신이 끊겨도 기본 안전 상태로 가야 합니다.

conformal prediction은 calibration set과 유사한 교환 가능성 조건 아래 coverage를 맞춘다

후보 action이나 high-level plan의 nonconformity score를 calibration data에서 순위화해 목표 오류율에 맞는 set을 만들 수 있습니다. 후보가 하나로 좁혀지지 않으면 사람에게 선택을 요청하는 방식입니다.

KnowNo 원 논문은 통계적 보장과 도움 요청 효율을 함께 다룹니다. 보장은 calibration과 test 분포 조건에 의존하므로 새 site·sensor shift에서는 coverage를 재검증해야 합니다.

OOD detector가 낯섦을 찾더라도 모든 낯선 장면이 위험한 것은 아니다

새로운 배경은 action에 무관할 수 있고 익숙한 장면에서도 물체가 미끄러져 위험할 수 있습니다. OOD score를 바로 stop으로 연결하면 불필요한 기권이 많아지고 실제 task failure를 놓칠 수 있습니다.

로봇 실패 마이닝과 로봇 VLA 평가를 연결해 high-score·실패·안전 성공 표본을 함께 모읍니다. OOD는 feature 하나이며 risk model과 task context를 결합하는 편이 낫습니다.

임계값은 정확도 최대화가 아니라 실패 비용과 사람 도움 비용의 균형으로 정한다

충돌 가능성이 있는 action의 false accept는 치명적이지만 무해한 재시도의 false abstain은 시간 비용일 뿐입니다. phase·payload·사람 거리·속도에 따라 위험 가중치를 다르게 두고 threshold를 계층화합니다.

risk-coverage curve에서 coverage는 자율 실행 비율, risk는 실행한 표본의 실패율입니다. 동일 기권률에서 risk가 낮은 점수를 선택하고 운영 목표에 맞는 coverage를 정합니다.

미래 실패 monitor는 현재 confidence가 높아도 복구 불가능한 상태로 가는 궤적을 잡아야 한다

한 step action은 자연스러워 보여도 gripper가 물체를 밀어 모서리로 보내면 몇 step 뒤 실패할 수 있습니다. 최근 observation-action history와 predicted rollout을 사용해 intervention lead time을 확보합니다.

Model-Based Runtime Monitoring 원 논문은 interactive imitation learning에서 미래 error를 예측해 사람 감독을 요청하는 방법을 다룹니다. monitor 자체의 miss와 false alarm도 별도 policy처럼 평가해야 합니다.

사람 인계는 버튼 하나가 아니라 상태·문맥·권한을 안전하게 넘기는 protocol이다

기권 시 robot pose, 목표, 최근 관측·action, uncertainty reason과 추천 선택지를 사람에게 보여 줍니다. 사람은 takeover, clarification, abort를 선택하고 controller authority가 실제로 전환됐는지 확인해야 합니다.

Human-in-the-Loop 로봇 데이터로 인계 전 문맥과 교정 action을 기록하면 다음 학습에 활용할 수 있습니다. 다만 사람이 개입했다는 사실을 policy success로 세지 말고 autonomous와 assisted 성공을 분리합니다.

기권 점검은 calibration·risk-coverage·lead time·인계 성공을 한 번에 검증한다

offline replay에서 score가 실패를 얼마나 일찍 순위화하는지 보고, shadow mode에서는 실제로 멈추지 않은 채 기권 판단만 기록합니다. 이후 저속 제한 환경에서 stop·ask·teleop 전이를 실행합니다.

false accept, false abstain, 평균 lead time, autonomous coverage, assisted success, human response time과 timeout 안전 상태를 기록합니다. threshold 변경은 이 지표를 함께 본 뒤 승인합니다.

분포가 바뀌면 calibration도 낡으므로 drift와 coverage 위반을 운영 중 감시한다

새 카메라, 조명, 물체, policy checkpoint가 들어오면 score 분포와 실패 관계가 달라집니다. calibration set version과 model digest를 묶고 group별 observed risk가 목표 상한을 넘는지 rolling window로 봅니다.

ThriftyDAgger 원 논문과 AutoRT 공식 연구 페이지처럼 불확실성·위험·사람 감독을 함께 다뤄야 합니다. 운영에서는 사람 가용성·응답 지연·피로도도 threshold 설계에 포함합니다.

합격 기준은 낮은 기권률이 아니라 실행한 표본의 위험 상한과 안전한 인계의 재현성이다

모델이 거의 모두 기권하면 실패율은 낮지만 자동화 가치가 없고, 거의 기권하지 않으면 사람 부담은 낮아도 위험합니다. task·phase별 최소 coverage와 최대 selective risk를 함께 계약합니다.

최종 release는 calibration 독립성, shift stress, monitor lead time, safe stop, human takeover, timeout과 resume 조건을 통과해야 합니다. 하드웨어 safety layer는 confidence와 무관하게 항상 마지막 제한으로 남깁니다.

운영 지표	뜻	목표	단독 해석 위험
coverage	자율 실행 비율	최소치 이상	높으면 위험 증가 가능
selective risk	실행 표본 실패율	상한 이하	과다 기권으로 낮출 수 있음
lead time	실패 전 경고 시간	정지 여유 이상	오경보 미반영
handoff success	인계·복귀 완결률	목표 이상	사람 부담 미반영

로봇 정책의 불확실성과 기권에서 자주 묻는 질문

로봇 policy confidence가 낮으면 바로 멈추면 되나요?

정지 자체가 위험할 수 있어 safe hold·retreat·질문·teleoperation·abort 중 상황별 action을 정의해야 합니다. 임계값도 위험 비용과 task 단계에 따라 달라집니다.

softmax 확률을 실패 확률로 써도 되나요?

그대로는 어렵습니다. 분포 밖에서도 과신할 수 있으므로 독립 calibration set에서 score와 실제 실패 관계를 맞추고 shift 때 다시 검증해야 합니다.

OOD detector가 있으면 기권 시스템이 완성되나요?

아닙니다. 낯선 배경은 무해할 수 있고 익숙한 장면에서도 실패합니다. OOD, action ambiguity, 미래 실패 monitor와 위험 문맥을 함께 봐야 합니다.

기권 성능은 어떤 지표로 평가하나요?

자율 coverage와 실행 표본의 selective risk, 실패 전 lead time, false accept·false abstain, 사람 인계 성공과 응답 시간을 함께 측정합니다.

사람이 개입해 성공한 trial도 policy 성공으로 세나요?

autonomous success와 assisted success를 분리해야 합니다. 개입 시점과 교정 action을 기록하면 학습 데이터로 활용할 수 있지만 자율 성능을 부풀리면 안 됩니다.

불확실성 점수와 기권은 비상 정지, 힘·속도 제한, 충돌 감지와 위험 분석을 대체하지 않습니다. calibration 조건을 벗어나면 통계적 보장이 유지되지 않을 수 있으므로 실제 배포에서는 독립 안전 계층과 사람 감독이 필요합니다.