생성형 세계 모델이 보이는 환각은 데이터 커버리지와 관련되어 예측 가능하며, 단일 데이터 중심 개입으로 세 가지 실패 모드를 동시에 방지할 수 있다.
환각의 특성화
생성형 세계 모델이 환각을 일으키는 세 가지 서로 다른 방식을 식별했으며, 각각은 상상 파이프라인의 서로 다른 단계와 연결된다.
동작 주변화 환각. 맥락이 주어졌을 때, 예측된 다음 잠재 변수는 입력 동작에 거의 영향을 받지 않는다. 롤아웃은 시각적으로 그럴듯하지만 동작이 주변화된 미래로 수렴하므로, 모델은 제어 가능한 세계 모델보다는 비디오 생성기처럼 작동한다. 운영적으로, 평가 시 동작 스트림에 개입(예: 배치 내 동작을 무작위로 섞고 흐름 MSE 변화 측정)하여 이 모드를 노출한다. 이런 식으로 환각하는 모델은 개입 아래에서 흐름 MSE가 거의 변하지 않는다.
장면 발산 환각. 자기회귀적 롤아웃은 예측 지평이 길어짐에 따라 오차가 누적된다는 점은 잘 알려져 있다. 그러나 장면 발산 환각은 물리적으로 있을 법하지 않은 사건(예: 퐁 게임에서 득점 시 공이 다시 필드로 순간이동하는 것)이 예측되는 매우 특정한 실패 모드이다. 이러한 유형의 환각은 데이터 커버리지가 낮은 상태에서 가장 자주 발생한다.
이 세 가지 실패 모드는 모델의 서로 다른 부분(토크나이저, 동작 조건 역학 모델, 다단계 역학 오차 누적)을 탐색한다.
환각 완화
위의 분류와 예측 요인은 환각에 대한 단일 데이터 중심 관점을 제시한다. 세 가지 실패 모드는 모두 기계적으로 모델이 상태-동작 공간의 일부 영역을 너무 적게 본 결과이다. 지각적 환각은 토크나이저 재구성 분포의 커버리지 격차, 동작 주변화 환각은 동작 조건 전이의 커버리지 격차, 장면 발산 환각은 모델이 상상하도록 요청받은 궤적을 따른 커버리지 격차이다.
두 가지 개입이 자연스럽게 뒤따른다.
커버리지 인식 훈련. 기존 데이터셋을 재표본하여 상태-동작 공간에서 과소 대표된 영역의 가중치를 높인 후, 훈련 시 이러한 격차를 메우면 세 가지 실패 모드가 모두 동시에 감소하는지 확인한다. 위 관점은 커버리지를 모든 유형의 환각에 대한 기본 레버로 식별하므로, 단일 재가중치 조정이 각 유형별 개입 없이 세 가지 신호를 모두 올바른 방향으로 움직일 것으로 예상된다. 실제로는 프레임 기준이 아닌 작업 기준으로 샘플링을 조정하여 훈련 데이터를 재조정한다. 손실 재가중치도 실험했지만, 샘플링 개입이 더 우수했다.
자주 묻는 질문
세계 모델 환각의 세 가지 유형은 무엇인가요? 세 가지 유형은 지각적 환각(재구성 격차), 동작 주변화 환각(동작 조건 실패), 장면 발산 환각(열악한 궤적 커버리지로 인한 누적 오차)입니다.
환각을 어떻게 예측할 수 있나요? 환각은 데이터 커버리지와 관련된 측정 가능한 지표(잠재 역학이 동작에 얼마나 둔감한지 확인 또는 롤아웃에서 물리적으로 불가능한 사건이 나타나는지 감지)를 통해 예측 가능합니다.
커버리지 인식 훈련이란 무엇인가요? 훈련 샘플의 가중치를 재조정하여 상태-동작 공간에서 과소 대표된 영역의 가중치를 높이는 데이터 중심 개입으로, 단일 방법으로 세 가지 환각 유형을 모두 해결합니다.
커버리지 인식 훈련이 손실 재가중치보다 더 효과적인가요? 네, 실험에 따르면 프레임 기준이 아닌 작업 기준으로 샘플링을 균일하게 조정하는 것이 손실 재가중치보다 환각 방지에 더 효과적입니다.