절제 실험: 서브태스크 예측 및 조건화
다음으로 shirt-hang 작업에서 현재 활성화된 서브태스크를 예측하고, 그 결과를 가치 추정에 반영하는 것이 얼마나 중요한지 평가한다.
첫 번째 변형에서는 서브태스크 예측과 조건화를 제거하고, 서브태스크 수준의 시간차 손실만 사용해 모델을 학습한다. 두 번째 변형에서는 서브태스크 예측 손실은 유지하되 가치 헤드를 서브태스크에 조건화하지 않는다. 따라서 추론 시 서브태스크를 디코딩하지 않으며, 서브태스크 정보는 모델의 활성값에 암묵적으로만 표현된다.
논의, 결론 및 향후 연구
마지막으로 본 평가에서는 고정된 베이스 정책이 제안한 행동 청크 가운데 하나를 Q-함수로 선택한다. 따라서 조작 방향을 조정하는 능력은 후보 행동의 품질과 다양성에 의해 제한된다.
더 탐색적인 베이스 정책을 만들고, 학습된 Q-함수를 사용해 정책을 직접 개선하는 것은 자연스러운 다음 단계다. 또한 본 실험에서는 각 대상 작업에 맞춰 범용 가치 함수를 파인튜닝했다. 다운스트림 데이터가 더 적은 상황에서의 전이, 또는 작업별 파인튜닝 없이 이루어지는 전이를 평가한다면 이 모델이 실제로 어디까지 일반화할 수 있는지 더욱 분명히 확인할 수 있을 것이다.
추가 실험 결과
4.4절의 절제 실험은 보조 다음 토큰 예측(NTP) 손실의 효과와, 디코딩된 서브태스크를 가치에 명시적으로 조건화하는 효과를 분리해 분석한다.
서브태스크 디코딩을 생략하면 추론 지연 시간을 줄일 수 있다는 장점이 있다. 공동 학습을 통해 잠재 활성값이 관련 서브태스크 정보를 암묵적으로 담도록 할 수 있기 때문이다. 비슷한 발상은 UVA와 Fast-WAM 같은 비디오–행동 모델에서도 찾아볼 수 있다. 이 모델들은 비디오 감독 신호는 유지하면서도 행동 추론 시점에는 비디오를 명시적으로 생성하지 않는다.
보조 NTP 손실은 유지하되 가치 헤드를 서브태스크 토큰에 조건화하지 않는 변형 모델과 SeeQ를 비교한다. 두 모델 모두 서브태스크 수준의 TD-BoN과 동일한 NTP 가중치인 [formula: the original text specifies the NTP loss weight symbolically]를 사용하며, 각각에 대응하는 RoboCOIN 사전학습 체크포인트에서 시작해 동일한 학습률 스케줄로 shirt-hang 작업에 파인튜닝한다.
자주 묻는 질문
절제 실험에서는 무엇을 평가하는가? 현재 활성화된 서브태스크를 예측하고, 그 서브태스크를 가치 추정에 반영하는 것이 얼마나 중요한지 평가한다.
서브태스크 예측과 조건화를 제거하면 어떻게 되는가? 모델은 서브태스크 수준의 시간차 손실만 사용해 학습된다.
서브태스크 디코딩을 생략하면 추론 지연 시간이 줄어들 수 있는 이유는 무엇인가? 공동 학습을 통해 잠재 활성값이 관련 서브태스크 정보를 암묵적으로 담을 수 있기 때문이다.
향후 연구의 방향으로는 무엇이 제안되는가? 더 탐색적인 베이스 정책을 사용하고, 학습된 Q-함수를 적용해 정책을 직접 개선하는 방향을 고려할 수 있다.