현재까지 알려진 바로는 T3R은 디코더 입력 전에 장면 카메라 토큰의 85%를 제거하면서, LIBERO-Spatial에서 가지치기를 적용하지 않은 기준선보다 성공률을 1퍼센트포인트 이내로 유지하는 최초의 학습 없는 접근법입니다. 외부 기반화와 어텐션 보정은 재학습 없이 모든 디코더 계층에 이점을 제공합니다.
관련 연구
연구 내 위치
현재까지 알려진 바로는 T3R은 디코더 입력 전에 장면 카메라 토큰의 85%를 제거하면서, LIBERO-Spatial에서 가지치기를 적용하지 않은 기준선보다 성공률을 1퍼센트포인트 이내로 유지하는 최초의 학습 없는 접근법입니다. 외부 기반화와 어텐션 보정은 재학습 없이 모든 디코더 계층에 이점을 제공합니다.
방법
T3R은 2단계 파이프라인을 따릅니다. 분할 기반 토큰 가지치기로 공간적으로 중복된 토큰을 제거한 다음, 중요도 기반 어텐션 바이어싱으로 남은 핵심 토큰에 어텐션을 집중시킵니다.
중요도 기반 어텐션 바이어싱
가지치기는 필연적으로 장면 정보를 제거합니다. 작업과 관련된 신호의 손실을 완화하기 위해 T3R은 축소된 시퀀스 내에서 중요도가 높은 지시 토큰과 유지된 작업 관련 패치로 어텐션을 유도합니다.
어텐션 바이어스 주입. 기여도 정보를 중간 디코더 계층의 어텐션 로짓에 바이어스로 더합니다.
실험
세 가지 가설을 검증합니다. (H1) 분할 기반 가지치기는 성공률을 유지하면서 장면 카메라 토큰을 크게 줄인다. (H2) 토큰 수가 줄면 추론 비용이 낮아진다. (H3) 전체 T3R 파이프라인은 분포 외 객체 배치 변화에 대한 견고성을 높인다. 실험에서는 백본 간 일반화와 센서 중복성도 살펴봅니다.
대부분의 시각 토큰은 중요하지 않습니다
각 디코더 계층에서 모든 행동 토큰 쿼리와 모든 시각 키 사이의 어텐션 질량을 합산합니다. 각 토큰의 비중은 전체 대비 백분율로 나타내며, 32개 계층, LIBERO-Spatial 작업 10개, 작업별 타임스텝 3개에 걸쳐 평균을 냅니다.
시각 토큰의 총 93.9%는 각각 행동 쿼리 어텐션의 0.2% 미만을 받습니다. 후기 계층(24–31)에서는 토큰의 50–75%가 0.1% 미만을 받습니다. 이는 대부분의 토큰이 거의 영향을 주지 않음을 보여주지만, 디코더 입력 전에 안전하게 제거하려면 유지할 토큰을 잘 선택해야 합니다.
일반화와 센서 중복성
T3R의 이점이 서로 다른 백본과 센서 구성에서도 나타나는지 확인하기 위해, 단일 3인칭 카메라를 사용하는 SIMPLER의 CogACT와 카메라 3대를 사용하는 RoboTwin의 제공된 텍스트에서 이름이 누락된 두 번째 모델에 적용합니다. 두 평가 모두 미세 조정된 체크포인트 없이 제로샷으로 수행하므로 절대 성공률은 낮습니다. 따라서 토큰 예산을 동일하게 맞춘 상태에서 가지치기를 하지 않은 기본 모델 및 다른 가지치기 기법과의 상대적 성능에 초점을 둡니다.
단일 카메라(CogACT / SIMPLER). CogACT는 SIMPLER Google-Robot 스위트(작업 11개, 방법별 에피소드 189개)와 WidowX/Bridge 스위트(작업 4개, 방법별 에피소드 96개)에서 평가합니다. 두 스위트 모두 3인칭 시점을 하나씩 사용합니다. 유지 비율이 60%일 때 T3R은 Bridge에서 기본 모델과 같은 성능을 보이고 Google-Robot에서는 5.5퍼센트포인트 낮은 성능을 보입니다. 더 많은 토큰을 유지하는 방법(ADP, FastV)은 더 나은 성능을 냅니다. 시점이 하나뿐이면 센서 간 중복성이 거의 남지 않으므로, 과도한 가지치기로 정책에 필요한 토큰까지 제거됩니다.
핵심 요점. 평가한 백본과 벤치마크 전반에서 T3R은 다중 카메라 환경에서 더 큰 가지치기 여지를 보입니다. 이러한 시스템 간 경향은 시각 정보가 서로 겹치는 경우 토큰을 줄일 기회가 있음을 시사합니다.
어블레이션
각 구성 요소를 LIBERO-Spatial(작업 10개 × 에피소드 10개)에서 따로 평가합니다. 가지치기만 적용하면 장면 카메라 토큰을 85% 줄였을 때 성공률이 90%이고, 바이어스만 적용하면 98%, T3R 전체를 적용하면 96%입니다. 기준선은 97%입니다. 바이어싱은 가지치기로 인한 성능 손실을 6퍼센트포인트 만회합니다. 바이어스만 적용했을 때 기준선을 넘는 결과는 가지치기를 하지 않은 어텐션이 분산되어 있음을 보여줍니다.
가지치기 없이 바이어스 적용 계층을 바꿔가며 평가한 결과, 중간 계층(계층 8–23)에 바이어스를 적용하면 98%에 도달합니다. 초기 계층은 95%, 후기 계층은 92%, 모든 계층은 93%입니다. 이는 초기 계층에서의 특징 왜곡 및 후기 계층에서의 출력 교란과 일치합니다.
T3R이 기존 가지치기 기법보다 뛰어난 이유. T3R은 32개 디코더 계층 전체에 입력되기 전에 가지치기를 수행해 장면 토큰 약 37개를 유지합니다. 반면 TeamVLA는 계층 0–15에서 토큰 512개를 전달하므로, 병합 전에 관련 없는 맥락이 표현에 포함될 수 있습니다. 분할은 서로 떨어진 유사도 샘플 대신 일관된 객체 영역과 RoPE 기하 정보를 보존하며, IG 기반 어텐션 보정은 가지치기 손실을 상쇄합니다.
하이퍼파라미터 견고성. 작업별 조정 없이 하나의 하이퍼파라미터 설정을 LIBERO-Spatial의 작업 10개와 스위트 4개 모두에 적용했습니다. 바이어스 강도, 활성 계층, 중요도 상위-k, 가지치기 임계값을 바꿨을 때 성공률 변화는 1–6퍼센트포인트였습니다. DBSCAN ε 및 SAM 포인트 수는 고정된 패치 그리드 기하 구조를 따릅니다.
실패 분석 및 한계
모든 평가는 시뮬레이션으로 수행했습니다. 실제 로봇 제어와 실제 센서 및 작동 지연이 있는 비동기 실행은 아직 검증되지 않았습니다. 하드웨어 프로파일링은 NVIDIA L40S만 사용했으며, 에너지 측정이나 엣지 디바이스 테스트는 수행하지 않았습니다. 따라서 지연 시간 개선만으로 에너지 절감이나 엣지 성능이 입증되는 것은 아닙니다.
가려짐과 조명 변화는 분할 성능을 저하시키고 작업 관련 패치를 제거할 수 있습니다. 이러한 요인이 작업 성공률에 미치는 영향은 따로 분석되지 않았으며, 다른 분할기도 비교하지 않았습니다.
자주 묻는 질문
T3R은 토큰을 얼마나 가지치기하나요? 디코더 입력 전에 장면 카메라 토큰의 85%를 제거하면서 LIBERO-Spatial 기준선 대비 성공률을 1퍼센트포인트 이내로 유지합니다.
T3R의 두 단계는 무엇인가요? 분할 기반 토큰 가지치기로 공간적으로 중복된 토큰을 제거한 다음, 남은 토큰에 중요도 기반 어텐션 바이어싱을 적용합니다.
단일 카메라에서 T3R의 성능은 어떤가요? 유지 비율이 60%일 때 Bridge에서는 기본 모델과 같은 성능을 보이고 Google-Robot에서는 5.5퍼센트포인트 낮은 성능을 보입니다.
T3R은 실제 로봇에서 검증되었나요? 아니요. 평가는 시뮬레이션으로 수행했으며, 실제 로봇 제어와 실제 센서 및 작동 지연은 아직 검증되지 않았습니다.