VFlash, 로봇이 시각적 계획을 더 빠르게 유용한 행동으로 변환하도록 지원 (2026)

VFlash는 객체 위치와 로봇 궤적 같은 구조화된 시각적 계획을 좌표마다 토큰 하나씩 디코딩하는 대신 병렬로 생성합니다. 미래 지점 예측 테스트에서 단일 롤아웃 생성은 자기회귀 디코딩보다 약 23–26배 빨랐으며, 연구진은 시각적 초안을 직접 생성하면 로봇 궤적 오류도 줄어든다고 보고합니다.

연구진은 무엇을 개발했나요?

VFlash는 비전-언어 모델이 구조화된 공간 정보를 더 빠르게 생성하도록 하는 방법입니다. 시각 프리미티브라고 부르는 이러한 정보에는 이미지 내 경계 상자, 2D 경로, 3D 객체 지점, 로봇 궤적 등이 포함됩니다. 로봇은 장면에 대한 설명만으로는 충분하지 않고, 이후 계획 및 행동 시스템에 입력할 수 있는 좌표나 경로가 필요한 경우가 많으므로 이런 정보가 유용합니다.

많은 언어 모델은 좌표를 한 번에 토큰 하나씩 생성합니다. 따라서 여러 지점으로 이루어진 궤적을 생성하려면 순차 디코딩 단계를 많이 거쳐야 할 수 있습니다. 반면 VFlash는 프리미티브의 구조가 미리 정해져 있다는 점을 활용합니다. 예를 들어 경계 상자는 좌표 필드의 개수가 정해져 있고, 궤적은 정의된 형식에 따라 나열된 지점으로 구성됩니다. 이 시스템은 프리미티브 블록 전체를 한 번에 예측합니다.

연구진은 경계 상자, 2D 궤적, 3D 로봇 궤적, 그리고 비디오 프레임을 거치며 선택된 지점이 움직이는 모습을 예측하는 밀집 움직임 등 여러 유형의 공간 출력을 대상으로 VFlash를 테스트했습니다. 예측된 공간 계획을 조작 작업에 활용하는 방법도 살펴봤습니다. 이 방법은 기존 비전-언어 모델을 대체하는 것이 아니라, 비교적 얕은 초안 생성 모듈을 추가해 기존 모델과 함께 작동하도록 설계됐습니다.

검증을 위해 구조화된 시각 프리미티브의 초안을 생성하는 모델을 보여주는 VFlash 파이프라인

VFlash는 어떤 성과를 거뒀나요?

보고된 자료에서 가장 명확한 수치 성과는 밀집 움직임 예측 속도입니다. H100 GPU 한 대와 배치 크기 1을 사용한 단일 롤아웃 비교에서 VFlash는 3.21~3.86초 만에 예측을 생성했습니다. 자기회귀 생성에는 79.8~99.6초가 걸렸습니다. 이는 세 데이터셋에서 23.5~26.4배의 속도 향상에 해당합니다.

밀집 움직임 데이터셋	VFlash 롤아웃	자기회귀 롤아웃	보고된 속도 향상
HOT3D	3.21 s	79.8 s	24.8×
WorldTrack	3.86 s	90.6 s	23.5×
DAVIS	3.78 s	99.6 s	26.4×

평가에는 2D 경로용 ShareRobot-Bench 질의 200건과 VABench-V 질의 300건도 포함됐습니다. 3D 로봇 궤적의 경우 InternA1 기록 1,000건, AgiBot 기록 999건, MolmoBot 기록 4,221건으로 모델을 테스트했습니다. 경계 상자 생성에는 COCO 검증 이미지 4,952장과 Dense200 이미지 200장이 사용됐습니다.

논문은 직접 생성한 초안이 로봇 궤적 오류를 줄인다고 결론 내리지만, 제공된 결과에는 이에 해당하는 오류 수치가 포함되어 있지 않습니다. 따라서 속도 수치는 상당한 디코딩 이점을 보여주지만, 여기 보고된 수치만으로는 속도와 정확도를 정밀하게 비교할 수 없습니다.

VFlash는 어떻게 작동하나요?

VFlash에는 두 가지 모델 구성 요소가 있습니다. 먼저 자기회귀 비전-언어 모델을 정해진 형식의 공간 응답을 생성하도록 조정합니다. 그런 다음 모델을 고정하고, 해당 모델의 특성값을 사용해 얕은 비인과적 초안 생성기를 학습합니다. 여기서 ‘비인과적’이란 초안 생성기가 앞선 위치가 생성될 때까지 기다리지 않고 블록 안의 여러 위치를 함께 예측할 수 있다는 뜻입니다.

학습 방식은 일반적인 추측 디코딩과 다릅니다. 일반적인 추측 디코딩에서는 더 작은 모델이 토큰 초안을 만들고, 더 큰 대상 모델이 자체 다음 토큰 예측과 일치하는지 확인합니다. VFlash는 주석이 달린 좌표나 렌더링된 공간 격자를 사용해 초안 생성기를 직접 학습합니다. 목표는 대상 모델의 정확한 표현이나 토큰 시퀀스를 복사하는 것이 아니라, 공간적으로 유용한 초안을 만드는 것입니다. 응답에 텍스트와 공간 데이터가 함께 포함되면 샘플링된 텍스트 블록도 초안 생성 경로를 학습하는 데 사용됩니다.

추론 시 VFlash는 먼저 16개 위치로 이루어진 초안 생성 블록을 사용해 프리미티브 시작 토큰에 도달할 때까지 생성합니다. 그런 다음 프리미티브에 선언된 스키마를 읽고 구조화된 블록 전체를 한 번에 예측합니다. 제약 조건은 각 위치에 올 수 있는 값을 제한합니다. 예를 들어 좌표 필드에는 좌표 토큰만 허용하고, 한 지점이 이미지 프레임 바깥에 있는지와 같이 여러 위치 사이의 관계도 검사합니다. 이러한 검사는 이미 계산된 예측을 대상으로 하므로 신경망을 다시 실행할 필요가 없습니다.

그런 다음 검증기가 제안된 프리미티브를 받아들일 수 있는지 판단합니다. 경계 상자에는 공간 신뢰도에 기반한 추가 안전장치가 적용됩니다. 경계 상자의 좌표 예측이 불확실하면 시스템은 제약된 자기회귀 디코딩을 사용해 해당 부분을 다시 생성할 수 있습니다. 이 대체 방식은 필요할 때 더 신중한 결과를 얻는 대신 일부 속도를 희생합니다.

VFlash가 로봇공학에서 중요한 이유는 무엇인가요?

로봇은 장면을 인식한 뒤 행동을 취하기까지의 중간 단계로 공간 예측을 자주 활용합니다. 조작 시스템에는 객체 위치나 장면을 통과하는 경로가 필요할 수 있고, 이동 로봇에는 미래 궤적이 필요할 수 있습니다. 이러한 예측을 생성하는 데 긴 순차 디코딩이 필요하다면 모델이 계획 루프의 병목이 될 수 있습니다.

VFlash는 프리미티브가 커질수록 필요한 순차 단계 수를 줄여 이러한 병목을 해소하고자 합니다. 여러 미래 프레임에 걸쳐 다수의 지점을 예측해야 하는 비디오 기반 움직임 예측에서는 특히 시간 측정 결과가 의미 있습니다. 생성 속도가 빨라지면 제어 주기 안에서 인식, 안전 검사 또는 재계획에 더 많은 시간을 할애할 수 있습니다. 그렇다고 로봇의 행동이 안전하거나 성공적이라고 보장되는 것은 아닙니다. 후속 시스템은 예측이 실현 가능하고 적절한지 여전히 확인해야 합니다.

이 연구는 비전-언어 모델과 임바디드 시스템을 연결하는 유연한 인터페이스의 가능성도 제시합니다. 구조화된 경계 상자, 지점, 궤적은 자유 형식 텍스트로만 사용하는 대신 다양한 계획 또는 제어 구성 요소에 전달할 수 있습니다. 실제 플랫폼을 살펴보는 팀은 Robot Overflow에서 휴머노이드 로봇을 둘러볼 수 있으며, 운영팀은 시각적 계획과 이동이 밀접하게 연결되는 애플리케이션을 위해 창고 로봇을 비교할 수 있습니다.

VFlash의 한계는 무엇인가요?

디코딩이 빠르다고 해서 계획이 정확하거나 실행 가능한 것은 아닙니다. 스키마 검증기는 형식에 맞지 않는 좌표를 찾아낼 수 있지만, 형식이 올바른 궤적도 틀렸거나 물리적으로 도달할 수 없거나 안전하지 않을 수 있습니다. 경계 상자 전용 신뢰도 안전장치는 불확실한 예측에 대체 방식을 제공하지만, 보고된 방법으로는 동일한 신뢰도 전략이 모든 프리미티브에 똑같이 효과적이라는 점이 입증되지 않았습니다.

속도 비교는 H100 GPU 한 대, 배치 크기 1, 그리고 선정된 밀집 움직임 데이터셋이라는 특정 설정에 기반합니다. 다른 하드웨어, 작업 부하, 배치 크기 또는 배포 런타임에서는 결과가 달라질 수 있습니다. 논문은 여러 궤적 및 경계 상자 벤치마크에 대한 평가를 설명하지만, 제공된 본문에는 대부분의 벤치마크에 대한 정확도 수치가 포함되어 있지 않습니다. 다양한 장면과 실제 운영 조건에서도 속도 향상이 안정적인 성능과 함께 유지되는지 판단하려면 추가 테스트가 필요합니다.