관련 연구
불확실성 추정
베이지안 근사, 딥 앙상블, 선택적 예측은 불확실성 또는 예측 보류 점수를 산출하며, 전통적인 로보틱스에서는 확률적 상태를 표현하고 전파한다. 그러나 이러한 방법은 일반적으로 특정 오류 수준에서 분포에 무관한 유한 표본 커버리지를 제공하지 않는다.
문제 정식화
이 절에서는 비전·언어 내비게이션을 이산 그래프에서의 순차 분류 문제로 정식화하고, 일반적으로 사용되는 컨포멀 예측에서 활용되는 세 가지 비적합성 점수를 정의한다. 또한 여러 에피소드의 스텝을 한데 모아 보정할 경우 왜 궤적 수준의 커버리지가 보장되지 않는지 설명한다. 실험 조건은 하나의 정책과 데이터셋으로 이루어진 쌍이다.
이 환경에서 분할 컨포멀 예측이 퇴화하는 이유
분할 컨포멀 예측은 보정 점수와 테스트 점수가 교환 가능하다고 가정한다. 그러나 완전한 에피소드 수준에서의 교환 가능성이 여러 에피소드에서 스텝을 모아 얻은 개별 시점들의 교환 가능성을 일반적으로 보장하지는 않는다.
한 에피소드 안의 스텝들은 동일한 행동·관측 이력을 공유하므로 통계적으로 종속되어 있다. 에피소드 길이도 서로 다를 수 있으며, 행동이 이후 관측에 인과적으로 영향을 미칠 수 있어 스텝 단위 교환 가능성은 더욱 훼손된다. 더 나아가 단일 시점에 대한 주변 커버리지 보장만으로는 한 에피소드 내 모든 시점에서 동시에 커버리지가 확보된다고 볼 수 없다.
따라서 다음 절에서는 각 에피소드를 하나의 보정 점수로 사상하는 방법을 정의한다.
에피소드당 하나의 보정 점수
길이가 [에피소드 길이]인 보정 에피소드 [보정 에피소드]에 대해, 에피소드 정규화 컨포멀 예측은 [에피소드에 대한 하나의 보정 점수]를 계산한다.
에피소드 길이와 관계없이 모든 에피소드는 하나의 수치만 기여한다. 필요한 것은 에피소드 간 교환 가능성이며, 에피소드 내부 스텝에 대해서는 어떠한 가정도 두지 않는다.
매개변수 없는 에피소드 정규화 컨포멀 예측에서는 최댓값을 제한하면 모든 스텝이 제한되므로 동시에 궤적 커버리지를 얻을 수 있다(정리 1). 모든 스텝 점수가 0일 때에만 최댓값이 0이 된다. 이 조건 때문에 스텝을 모아 보정하는 방식보다 0 임계값이 나타나는 경우가 드물다(명제 1).
실험
실험에서는 스텝 커버리지, 즉 에피소드당 커버된 스텝 비율의 평균을 보고한다. 집합 크기를 계산할 때는 최댓값(argmax) 대체 항목을 포함하지만, 커버리지를 계산할 때는 지정된 예측 집합 정의에 따른 집합을 사용한다. 원시 집합이 비어 있으면 커버되지 않은 것으로 처리한다.
에피소드 정규화 컨포멀 예측을 활용한 시뮬레이션 기반 도움 요청
배포 환경에서 에피소드 정규화 컨포멀 예측을 활용하는 한 가지 방식을 검증한다. 에이전트는 [예측 집합이 행동 조건을 충족할 때] 행동하고, [예측 집합이 도움 요청 조건을 충족할 때] 도움을 요청한다. 따라서 집합이 클수록 에이전트는 행동을 보류하게 된다.
이 실험은 인간 조작자 없이 도움을 요청하는 상황을 시뮬레이션한다. 에피소드 정규화 컨포멀 예측이 [도움 요청 조건이 충족되었기 때문] 도움을 요청하면, 에이전트는 정책이 선택한 행동 대신 시뮬레이터가 제공하는 정답 행동을 실행한다. 시뮬레이터는 목표와 전체 내비게이션 그래프에 접근할 수 있으며 어떠한 오류도 범하지 않는다고 가정한다.
이 실험은 배포 임계값을 선택하지 않는다. 검증-미관측 분할을 확인한 뒤 임계값을 변화시키며, 동일한 [임계값]이라도 집합 크기 분포가 서로 다른 정책에서는 도움 요청 비율이 달라진다.
개입은 이후의 관측도 바꾸므로, 정적인 에피소드 정규화 컨포멀 예측 커버리지 결과만으로는 도움을 받은 궤적을 보증할 수 없다.
자주 묻는 질문
에피소드 정규화 컨포멀 예측은 어떤 문제를 해결하나요? 여러 에피소드의 스텝을 모아 보정하는 방식으로는 비전·언어 내비게이션에서 궤적 수준의 커버리지를 제공할 수 없는 문제를 해결한다.
에피소드 안의 스텝을 교환 가능한 것으로 취급하지 않는 이유는 무엇인가요? 스텝들은 동일한 행동·관측 이력을 공유하고, 에피소드 길이가 서로 다를 수 있으며, 행동이 이후 관측에 인과적으로 영향을 미칠 수 있기 때문이다.
에피소드 정규화 보정은 에피소드를 어떻게 요약하나요? 에피소드 길이와 관계없이 각 보정 에피소드에 하나의 보정 점수를 부여한다.
이 방법은 시뮬레이션 기반 도움 요청에 어떻게 사용되나요? 에이전트는 예측 집합에 따라 행동하거나 도움을 요청하며, 도움을 요청하면 시뮬레이터가 정답 행동을 제공한다.