RoboRMBench
RoboRMBench는 의미적으로 동등한 목표 설명이 주어졌을 때 언어 조건부 보상 모델이 동일한 로봇 궤적에 일관된 점수를 부여하는지를 평가한다. 이 벤치마크는 하나의 궤적과 동일한 목표를 다양한 언어로 바꿔 표현한 패러프레이즈들을 짝지어, 시각적 증거와 과업 의도는 고정한 채 지시문 표현 때문에 발생하는 보상 불안정성을 측정할 수 있도록 한다.
문제 정식화
언어 조건부 보상 모델은 텍스트로 주어진 목표 설명을 바탕으로 로봇 궤적의 진행도를 점수화한다. 여기서 궤적은 로봇의 상태와 행동으로 이루어진 순서를, 패러프레이즈 집합은 동일한 근본 목표를 의미적으로 동등하게 표현한 목표 설명들의 모음을 뜻한다. 보상 모델은 각 설명에 대해 예측 진행도 점수를 출력한다.
궤적과 과업 의도가 고정되어 있으므로, 패러프레이즈에 강건한 보상 모델이라면 패러프레이즈 집합 전체에서 안정적인 예측을 내놓아야 한다. 점수 간 차이는 같은 목표를 어떻게 표현했는지가 아니라 로봇 행동의 차이를 반영해야 한다. RoboRMBench는 궤적을 고정하고 검증된 패러프레이즈 집합 안에서 목표 설명만 바꾸는 방식으로 이 특성을 직접 평가한다.
주요 결과
많은 범용 비전-언어 모델에서 높은 점수 교차율과 실패율이 나타났다. 이는 과업을 어떤 표현으로 기술하느냐에 따라 보상 판단이 크게 달라질 수 있음을 의미한다. 이러한 불안정성은 단순한 미세한 수치 변동이 아니다. 적대적으로 생성된 패러프레이즈를 사용하면 Gemini2.5-flash-lite와 Llama4-scout 같은 모델은 전체 궤적의 절반 이상에서 실패와 성공의 경계를 넘나든다. 따라서 동일한 행동이 지시문 표현만으로 성공 또는 실패로 판정될 수 있다.
불안정성은 언어적 변형의 정도가 커질수록 증가하는 경향도 보였다. 대부분의 경우 어휘 치환보다 구조적 재작성과 적대적으로 생성된 패러프레이즈에서 점수 교차율과 실패율이 더 높았다. 이는 비전-언어 모델이 어휘 변화보다 구조와 관점의 재작성에 더 민감하다는 점을 시사한다.
예를 들어 GPT-5.1의 점수 교차율은 어휘 치환에서 0.153이었지만, 구조적 재작성에서는 0.204, 적대적으로 생성된 패러프레이즈에서는 0.300으로 상승했다.
추가 분석
이 연구는 추론을 명시적으로 수행하면 프롬프트 변동성이 완화되는지를 알아보기 위해 추론 기능을 켠 변형과 끈 변형을 비교했다. 주요 분석에서는 Qwen3-vl-235B-A22B의 Instruct 버전과 Thinking 버전을 비교했으며, Gemini3-flash는 추론을 비활성화한 경우와 활성화한 경우를 각각 평가했다.
완화 방법
지시문 표현에 대한 민감도를 낮추는 자연스러운 방법은 텍스트의 표면적 표현 차이를 평균 내어 상쇄하는 것이다. 이상적으로 언어 조건부 보상 모델은 의미적으로 동등한 지시문 중 어떤 표현이 사용되었는지와 무관하게, 궤적과 그 이면의 과업 의도를 바탕으로 보상을 추정해야 한다. 이러한 불변성은 패러프레이즈를 하나의 과업 의도를 실현하는 여러 텍스트 표현으로 간주하고, 그 각각에 대한 모델 예측을 평균 내는 방식으로 근사할 수 있다.
각 궤적에 대해 평가 집합의 패러프레이즈를 시드 프롬프트로 사용하고, 각 시드에서 의미적으로 동등한 변형 다섯 개를 추가로 생성한다. 그런 다음 같은 시드에서 생성된 변형들에 대한 모델 예측 점수를 평균 내 시드 프롬프트마다 하나의 통합 보상을 얻는다. 이 절차는 궤적과 과업 의도는 고정한 채 표현상의 국소적인 선택을 주변화한다.
평가한 모델과 패러프레이즈 전략 전반에서 통합은 점수 교차율과 예측 오차를 모두 일관되게 낮췄다. 그러나 통합만으로 문제가 완전히 해결되지는 않는다. 여러 차례의 보상 모델 호출이 필요하며, 통합된 예측에서도 무시할 수 없는 점수 교차가 여전히 나타난다.
결론
비전-언어 보상 모델은 의미적으로 동등한 목표 설명이 주어졌을 때 동일한 궤적에 서로 다른 보상을 부여할 수 있다. RoboRMBench는 검증된 패러프레이즈와 강건성 지표를 사용해 이러한 실패 양상을 측정한다.
모델 전반에서 패러프레이즈로 인한 불안정성은 광범위하고 심각했으며, 더 강한 재작성일수록 악화되었고, 모델 규모나 명시적 추론을 사용해도 지속되었다. 또한 오프라인 best-of-n 선택에도 영향을 미쳤다. 이 경우 더 안정적인 모델일수록 실제 진행도가 더 높은 궤적을 선택했다. 이러한 결과는 신뢰할 수 있는 언어 조건부 보상 모델링을 위해 패러프레이즈 강건성이 필수적임을 보여준다.
한계
RoboRMBench는 통제된 전략으로 생성한 패러프레이즈된 과업 설명을 사용해 보상 예측을 평가하며, 대규모 언어 모델 검증자 앙상블을 통해 의미적 동등성을 확인한다. 이 파이프라인은 확장 가능하고 일관된 패러프레이즈 품질을 제공하지만, 벤치마크의 모든 지시문은 영어로 작성되었다. 따라서 다국어 또는 코드 스위칭 환경에서의 패러프레이즈 강건성은 아직 검토되지 않았다.
또한 실험은 에피소드 종료 시점의 보상 예측에 초점을 맞춘다. 단계별 셰이핑이나 궤적 비교처럼 다른 보상 모델링 설정에서는 강건성 특성이 다르게 나타날 수 있다.
감사의 글
본 연구는 대한민국 정부 과학기술정보통신부를 통해 정보통신기획평가원의 지원을 받아 수행되었다.
- RS-2026-25522885
- RS-2021-II211343, 물리적 AI 시스템의 훈련 및 개발을 위한 월드 파운데이션 모델 개발
- RS-2020-II201361, 연세대학교 인공지능대학원 사업
또한 서울대학교 인공지능대학원 사업과, 2026년 대한민국 정부 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행되었다.
- RS-2026-25612350, 수학적 원리에 기반한 차세대 AI 아키텍처 및 학습 알고리즘의 종단 간 설계·검증 프레임워크 개발
모델 접근 및 API 설정
독점 모델과 호스팅되는 오픈소스 모델에는 사용 가능한 경우 OpenRouter Chat Completions API를 사용했다. OpenRouter를 통해 평가한 모델은 다음과 같다.
- GPT-4o
- GPT-5.1
- Gemini2.5-flash-lite
- Gemini2.5-flash
- Gemini3-flash
- Claude-haiku-4.5
- Claude-sonnet-4.6
- Qwen3-vl-2B, 4B, 8B, 32B
- Qwen3-vl-235B-A22B
- Gemma3-4B, 12B, 27B
- Llama4-scout
- Llama4-maverick
RoboReward-4B와 RoboReward-8B는 공개된 체크포인트와 추론 코드를 사용해 로컬 환경에서 평가했다.
별도의 지시가 없는 한, 모든 모델군에 하나의 공통 디코딩 설정을 강제하지 않고 각 모델 또는 제공업체가 지정한 샘플링 설정을 사용했다.
- OpenAI 모델: temperature = 1.0, top_p = 1.0
- Gemini 모델: temperature = 1.0, topP = 0.95
- Claude 모델: temperature = 1.0, top_p = 0.999
- Qwen3-vl 모델: temperature = 0.7, top_p = 0.8
- Gemma3 모델: temperature = 1.0, top_p = 0.95
- Llama 4 Scout 및 Maverick: temperature = 0.6, top_p = 0.9
로컬에서 평가한 RoboReward 모델의 추론에는 PyTorch 2.5.1, Transformers 5.0.0, CUDA 12.1, bfloat16 정밀도를 사용했다. 모든 로컬 실험은 NVIDIA L40S 48 GB GPU에서 수행했다. 공개된 체크포인트에 별도 지정이 없는 한 로컬 디코딩은 temperature = 0.0, do_sample = false, max_new_tokens = 32를 사용한 탐욕적 생성을 적용했다.
입력 구성 및 프레임 샘플링
각 평가 예제는 로봇 궤적, 과업 지시문, 5점 서열 척도의 실제 진행도 레이블로 구성된다. 각 궤적에서 시각 입력은 고정하고 과업 지시문만 변경한다. 따라서 패러프레이즈 간 예측 보상 점수의 차이는 시각적 증거의 변화가 아니라 지시문 표현에 대한 민감성을 반영한다.
에피소드 전체 시간에 걸쳐 초당 RGB 프레임 한 장을 균일하게 샘플링하며, 항상 첫 프레임과 마지막 프레임을 포함한다. 샘플링된 시퀀스가 모델의 이미지 처리 용량을 초과하면 첫 프레임과 마지막 프레임을 보존하면서 모델별 한도에 맞도록 프레임을 균일하게 재표본화한다.
보상 점수 산출 프롬프트
모든 범용 비전-언어 모델에는 동일한 점수 산출 프롬프트 템플릿을 사용했다. 이 프롬프트는 주어진 과업 지시문을 기준으로 로봇 궤적의 진행도를 평가하고, 1부터 5까지의 정수 점수 하나만 반환하도록 요구한다.
동일한 궤적에 대한 모든 패러프레이즈에서 시각 프레임과 {instruction} 이외의 모든 프롬프트 텍스트는 고정했다.
디코딩 확률성과 재현성
주요 실험에서는 궤적–지시문 쌍마다 모델을 한 번 호출했다. 호스팅 API는 제공업체 측 기본 설정을 적용할 수 있고 제공업체마다 완전한 결정성이 보장되지 않으므로, 측정된 불안정성은 고정된 로컬 모델의 순수한 결정적 특성이라기보다 실제 배포 환경에 가까운 행동으로 해석했다.
패러프레이즈로 인한 불안정성이 동일한 지시문을 반복 호출할 때의 일반적인 변동보다 큰지 확인하기 위해, 궤적–지시문 쌍 300개를 층화해 반복성 분석을 수행했다. 이 부분집합은 패러프레이즈 전략과 실제 진행도 레이블별로 균형을 맞췄다. 선택된 각 쌍은 동일한 시각 프레임, 프롬프트, API 설정, 지시문을 사용해 열 번씩 질의했다.
동일한 지시문을 반복했을 때의 변동과 동일한 궤적에서 패러프레이즈를 바꿨을 때의 변동을 비교했다. 평가한 모든 모델에서 반복 호출의 평균 표준편차는 0.09였던 반면, 패러프레이즈 간 평균 표준편차는 0.52였다. 따라서 패러프레이즈로 인한 변동은 일반적인 반복 호출 변동보다 훨씬 컸으며, 평가에서 보상 불안정성을 일으키는 지배적인 요인이었다.
범위와 표준편차
패러프레이즈에 따른 점수 분산을 보완적으로 측정하기 위해 예측 범위와 표준편차도 함께 보고했다. 이 통계량은 보상 예측의 전반적인 변동성을 포착하지만, 점수 교차율로 측정하는 범주 수준의 모순을 직접 반영하지는 않는다.
모델은 수치적으로는 작은 변동만 보이면서도 실패와 성공을 뒤집을 수 있고, 반대로 실패–성공 경계를 넘지 않으면서 더 큰 분산을 보일 수도 있다. 이는 점수 교차율이 수치적 변동성과는 다른 패러프레이즈 강건성의 측면을 포착한다는 점을 시사한다.
추가 추론 모델 결과
GPT-5.1과 Claude-sonnet-4.6의 추론 활성화 변형도 추가로 평가했다. 추론의 효과는 모델에 따라 달랐다.
GPT-5.1에서는 추론을 활성화하면 점수 교차율과 평균 오차가 모두 감소해 강건성과 정확도가 향상되었다. 반면 Claude-sonnet-4.6에서는 추론을 활성화했을 때 평균 오차가 크게 증가하고 점수 교차율도 높아져, 패러프레이즈된 지시문에 대한 불안정성이 커졌다.
주요 Qwen3-vl 및 Gemini3-flash 결과와 함께 살펴보면, 명시적 추론은 모델 전반에서 패러프레이즈 강건성을 일관되게 향상시키지 못한다.
자주 묻는 질문
RoboRMBench는 무엇을 평가하나요? 목표를 의미적으로 동등한 설명으로 표현했을 때 보상 모델이 동일한 로봇 궤적에 일관된 점수를 부여하는지를 평가합니다.
벤치마크에서 패러프레이즈를 사용하는 이유는 무엇인가요? 패러프레이즈는 과업 의도를 고정한 채 지시문 표현이 모델의 보상 예측을 바꾸는지 পরীক্ষা합니다.
명시적 추론은 패러프레이즈 강건성을 일관되게 향상시키나요? 아니요. 효과는 모델에 따라 다릅니다. 일부 모델에서는 강건성이 향상되지만, 다른 모델에서는 불안정성이 커집니다.
패러프레이즈 통합은 보상 불안정성을 어떻게 완화하나요? 각 시드 프롬프트에 대해 의미적으로 동등한 변형 다섯 개를 추가로 생성하고 예측 점수를 평균 내어, 불안정성을 줄이지만 완전히 제거하지는 않습니다.