HumanCOIN: 인간 의도 연구를 위한 자기중심 조작 데이터셋

HumanCOIN: 인간 의도 연구를 위한 자기중심 조작 데이터셋

Shihan Wu, You Liu, Chunyu He, Minghui Qin, Longhan Jiao +46개 더

10 분 읽기•2026년 11월 22일

자기중심 시각 데이터셋

Assembly101은 탁상 조립을 4,321개의 멀티뷰 영상으로 기록했습니다. ARCTIC은 관절형 물체의 양손 조작을 2.1 million frames 및 3D 손-물체 주석과 함께 포착했습니다. HOI4D는 범주 수준의 손-물체 상호작용을 2.4 million RGB-D frames로 기록했고, HoloAssist는 실수와 그 수정 과정을 포함해 인간과 보조자의 협업 166 hours를 주석 처리했습니다.

에피소드 길이와 작업 단계

에피소드 길이는 단일 샘플에 얼마나 많은 맥락과 단계가 담기는지를 결정하며, 해당 샘플로 수행할 수 있는 학습 및 평가의 종류를 크게 좌우합니다. HumanCOIN의 길이는 일률적으로 정해져 있지 않고, 계층, 작업 유형, 난이도에 따라 체계적으로 달라집니다.

길이 분포. 분포는 단봉형이며 긴 꼬리를 가집니다. 밀도는 52 seconds에서 정점을 이루고 평균은 88 seconds이며, 가장 짧은 에피소드는 약 10 seconds이고 꼬리는 five minutes를 넘어 이어집니다. 계층별 차이도 체계적입니다. L1은 범위가 가장 넓고 꼬리가 가장 두꺼우며 평균은 101 seconds입니다. L2와 L3은 각각 65와 60 seconds로 더 집중되어 있습니다. 이 차이는 작업이 아니라 기록 프로토콜에서 비롯됩니다. L1은 긴 연속 기록을 사후에 분할하는 반면, L2와 L3은 세션 길이가 제한된 스크립트 에피소드입니다. 전극 안정성도 가장 심층적인 세션을 더 짧게 만듭니다. 따라서 이 차이는 작업 난이도나 심도 자체에 관한 증거가 아닙니다.

작업 단계. 에피소드당 하위 작업 수는 주석의 시간적 세분성이 아니라 작업을 구성하는 단계를 셉니다. 에피소드당 11.0단계로 L1에서 가장 많으며, 자연스러운 활동이 여러 짧은 단계로 나뉩니다. 고정 프로토콜이 작업을 더 적은 수의 긴 단계로 묶는 L2와 L3에서는 각각 8.3과 7.9로 줄어듭니다.

종합하면 HumanCOIN은 에피소드 길이와 작업 구조 모두에서 계층별 차이를 뚜렷하게 보여줍니다. 얕은 계층에는 길고 느슨하게 분할된 다양한 일상 활동이 담기는 반면, 심층 계층은 동일한 작업을 더 적은 수의 긴 단계로 구성하는 스크립트 기반 표준화 작업에 집중합니다. 길이는 기록 구간을, 단계 수는 작업 구조를 나타내며, 두 요소가 함께 자연스러운 행동부터 복잡한 통제 작업까지 아우르는 코퍼스의 스펙트럼을 이룹니다.

작업 분포

각 계층은 작업 어휘를 서로 다르게 다룹니다. L3에는 작업 동사 40개(40%)가 있으며, 이 동사들은 L1 작업 발생 사례의 77.3%를 포괄합니다. 프로토콜이 작업 집합을 고정하므로 동사 목록은 스크립트에 포함된 작업으로 줄어들지만, 기록된 단계는 빠짐없이 라벨링됩니다. 즉, 심층 계층은 어휘 선택 범위는 좁지만 기록 자체는 선택적으로 남기지 않습니다.

세 계층의 어휘는 모두 긴 꼬리를 가집니다. 계층 간 절충점은 어휘의 크기가 아니라 폭과 깊이입니다. 얕은 계층은 일상 활동 전반에 걸쳐 전체 어휘를 펼쳐 담는 반면, 심층 계층은 프로토콜에 필요한 클래스만 남기고 그 기록을 해당 클래스에 집중합니다.

하드웨어 구성

앞서 요약한 의도 대리 지표는 기록 장치 없이 저절로 나타나지 않습니다. 각 지표는 물리량을 측정 가능한 신호로 변환하는 장치를 통해서만 기록이 되므로, 장비 구성은 측정 대리 지표의 집합입니다. 각 장치는 측정 프레임워크의 구성 요소 하나를 담당하며, 물리적으로 측정할 수 있는 대상에 맞춰 선택됩니다. 모든 장치는 각자의 시계, 기본 샘플링 속도, 좌표계를 유지합니다. 이 절에서는 계층별 착용 장치, 장비를 사용하는 두 가지 설정, 통제 세션을 구성하는 2단계 프로토콜, 그리고 결과 신호의 저장 방식을 설명합니다.

설정과 프로토콜

각 계층의 데이터 수집에는 두 가지 요구 사항이 적용됩니다. 일상 장면을 얼마나 충실히 보존해야 하는지, 그리고 장비가 얼마나 높은 신호 충실도를 요구하는지입니다. 두 요구는 서로 반대 방향으로 작용하며, 코퍼스는 계층별로 이를 조율합니다.

두 가지 설정. L1과 L2는 신호의 깊이보다 이동성을 우선합니다. 추가되는 장치는 모두 착용형이며 헤드밴드 장착 컴퓨터에 연결되므로, 작업자는 고정된 작업대나 케이블 제약 없이 서기, 방향 전환, 걷기, 몸짓 등 일상적인 환경에서 움직입니다. 이것이 개방 설정입니다. L1과 L2는 전 과정에서 이 설정으로 수집되며, L3도 더 가벼운 구성으로 이 설정을 사용해 EEG 밀도를 낮추는 대신 장면 범위를 넓힙니다. 여기서 개방은 작업이 아니라 데이터 수집 설정을 뜻합니다. 개방 설정 세션에서도 스크립트 작업지를 사용하거나 장면을 연출할 수 있습니다.

L3에서는 절충의 방향이 반대로 바뀝니다. 고밀도 전기생리학 측정에는 안정된 자세가 필요합니다. 움직이면 전극 접촉과 임피던스가 저하되며, 기록 밀도가 높을수록 움직임을 견디기 어렵습니다. 시선 추적기, 장갑, 손목 추적기가 같은 플랫폼에 연결되므로 움직이지 않는 작업대에서 데이터를 수집해야 합니다. 세션은 짧은 블록으로 진행하고, 드리프트를 줄이기 위해 블록 사이마다 기준선을 다시 설정합니다. L3는 두 설정 모두에서 수집됩니다. 통제 설정에서는 증폭기와 호스트 컴퓨터를 전용 책상에 두고 작업자는 움직이지 않으며, 세션은 심상화 후 실행 순으로 진행됩니다. 개방 설정에서는 장비를 헤드밴드 컴퓨터에 연결해 일상적인 장면에서 사용하며, 세션에서는 실행만 진행합니다.

통제 세션의 심상화 및 실행 단계

통제 세션의 두 가지 지시 단계는 심상화와 실행입니다(예: 컵 집어 들기). 파란 화면이 표시되는 심상화 단계에서 작업자는 손을 책상에 올려놓고 가만히 앉아 작업을 머릿속으로 연습합니다. 이때는 EEG와 시선만 기록합니다. 초록 화면이 표시되는 실행 단계에서는 같은 작업자가 물체를 조작하며, 잡는 동작이 허용하는 범위 안에서 머리를 최대한 움직이지 않습니다. 두 단계 모두 눈은 움직이지만, 손은 두 번째 단계에서만 움직입니다.

따라서 각 통제 에피소드는 두 가지 지시만으로 구성되지 않고, 작업자가 준비하는 구간, 작업 순서를 심상화하는 구간, 그 순서를 실행하는 구간의 세 부분으로 이루어집니다. 첫 두 구간은 몸을 움직이지 않은 상태에서 수집되므로, EEG에는 작업이 수행되는 모습이 아니라 계획되는 모습이 기록됩니다. 즉, 움직임에 가려지지 않은 상태로 단계의 순서와 각 단계에 필요한 동작이 기록됩니다. 고밀도 기록이 존재하는 이유는 이러한 짝을 포착하기 위해서입니다. 같은 작업을 몸을 움직이지 않은 상태에서 계획으로 기록하고, 몇 초 뒤 실행으로 기록합니다. 개방 설정(L1, L2, 그리고 더 가벼운 구성을 사용하는 L3)에서는 실행 구간만 기록합니다.

수집 절차. L1은 별도 지침 없이 기록합니다. 작업자에게 평소처럼 활동을 수행해 달라고만 요청합니다. L2와 L3에서는 작업지를 사용합니다. 작업자는 그림에 표시된 대로 물체를 배치하고 작업지에 적힌 순서대로 단계를 수행하므로, 같은 작업이 세션마다 동일한 방식으로 연출됩니다. L3에서는 작업을 묶음별로 진행하지 않고 무작위 순서로 제시합니다. 이를 통해 참여도를 유지하고 EEG가 졸음 상태 쪽으로 드리프트하는 것을 줄입니다. 작업자도 정해진 간격마다 장면을 바꿉니다. 따라서 한 작업자가 근무 시간 내내 한 장면만 담당하지 않으며, 특정 장면이 한 개인의 습관에 좌우되지 않습니다.

모든 작업자는 데이터 수집 전에 단일 기준에 따라 교육받습니다. 각 장비의 착용법, 세션 진행법, 기록법을 익힙니다. L3에는 두 가지 요건이 추가됩니다. 작업자는 데이터 수집 중 머리를 움직이지 않도록 교육받으며, 접촉 품질이 허용 범위 안에 유지되도록 전극을 장착하고 관리할 책임이 있습니다. L3 참여자는 EEG가 깨끗하고 안정적으로 기록되는지도 사전에 확인합니다. 집중력과 활력을 유지하기 위해 매시간 수집 후 15분간 휴식을 취합니다.

데이터 저장

신호는 기록된 그대로 저장하고 참조를 통해 연결하며, 하나의 파일로 병합하지 않습니다. 각 장치는 각자의 시계, 기본 샘플링 속도, 좌표계를 유지합니다. 이를 하나의 신호로 강제 통합하면 코퍼스가 보존하고자 하는 시간 정보가 손실됩니다. 따라서 동기화는 데이터에 선언되는 속성이지 데이터에 강제되는 속성이 아닙니다. 기록 시 리샘플링이나 정렬은 수행하지 않으며, 코퍼스는 각기 다른 속도로 기록된 여러 비동기 파일로 저장됩니다.

품질 관리는 후속 분석이 아니라 기록 단계에서 수행합니다. 세션이 기록되면 각 신호를 하나씩 확인합니다. 누락되거나 순서가 뒤바뀐 샘플, 검게 나오거나 멈춘 영상, 작동하지 않는 채널, 불가능한 값의 급변, 누락된 장치가 있는지 검사합니다. 검사를 통과하지 못한 세션은 수리하는 대신 다시 수집하므로, 공개된 에피소드에 정상 데이터와 수정된 데이터가 섞이지 않습니다. 검사 결과는 메타데이터에 에피소드와 함께 기록되며, 부록에는 검사 항목, 임계값, 각 단계의 비용이 나와 있습니다.

데이터 처리

잡음과 실패 양상이 각 모달리티의 측정 물리에 따라 달라지므로, 처리는 신호별로 진행하고 마지막 단계에서만 신호들을 결합합니다. 각 신호는 타임스탬프, 단위, 선언된 좌표계, 정렬 보고서로 축약됩니다. 다섯 처리 그룹은 데이터의 의존 순서를 따릅니다. 동기화와 보정, 기하와 움직임, 시선, 전기생리학 순으로 진행하고, 주석은 나머지 정보를 사용하므로 마지막에 처리합니다. 처리 과정은 고정되어 있고 매개변수는 에피소드별로 기록됩니다. 실패한 단계는 값을 채워 넣지 않고 표시하므로 어떤 실행이든 재현할 수 있습니다.

기하와 움직임

깊이 정보는 RGB 영상에서 생성합니다. 왼쪽 전면 렌즈와 오른쪽 전면 렌즈는 하드웨어 타임스탬프로 동기화되므로 모든 스테레오 쌍은 같은 시점의 영상입니다. 이 쌍과 카메라 매개변수를 FoundationStereo에 입력하면 깊이 맵이 반환되며, 깊이 맵은 생성에 사용된 내부 매개변수와 함께 저장됩니다. 깊이 정보를 해당 내부 매개변수로 투영해 프레임별 포인트 클라우드를 만들고, 이를 고정된 수의 점으로 서브샘플링합니다.

시선

시선은 직접 수집하거나 추정해 얻습니다. 두 방식 모두 타임스탬프와 픽셀 좌표라는 동일한 필드를 기록하며, 좌표는 각 방식에서 사용하는 영상의 픽셀 기준입니다. 해당 영상은 통제 L3 부분 집합에서는 시선 추적기의 장면 카메라 영상이고, L1, L2, 개방 L3 부분 집합에서는 보정된 헤드 뷰입니다.

통제 L3 부분 집합에서는 참여자별, 세션별로 시선 추적기를 보정하고 200 Hz로 기록합니다. 좌표는 장면 카메라 영상의 픽셀 기준이며, 해당 영상은 30 fps로 촬영됩니다. 각 기록을 생성한 보정 정보, 즉 카메라의 내부 매개변수와 왜곡 정보, 광선을 헤드 좌표계로 변환하는 변환값이 에피소드와 함께 제공됩니다. 따라서 픽셀 좌표를 역투영해 헤드 좌표계에 배치할 수 있습니다. L3는 참조 측정값을 기록하므로 L1과 L2에 사용하는 추정기의 시험장 역할도 합니다.

자기중심 기록에 사용된 HumanCOIN 장면

전기생리학

두 신호 모두 고정된 처리 과정을 거쳐 정제됩니다. EMG는 위상 왜곡 없이 필터링한 뒤 포락선으로 변환합니다. 신호의 양쪽 끝에 미러 패딩을 적용하고, 2차 및 4차 Butterworth 섹션을 순방향과 역방향으로 적용해 20~450 Hz 대역 통과 필터링을 수행합니다. 이어서 주기적 확장과 가장자리 주기 정렬을 적용하며, 대역폭 2 Hz로 50 Hz 콤 노치 필터링을 수행해 가장자리에서 노치 링잉이 발생하지 않도록 합니다. 정제된 신호는 전파 정류한 뒤 채널별 포락선 하나로 변환하고, 원시 신호는 *_emg_raw로 함께 보존합니다. 부록에는 필터 차수, 차단 주파수, 패딩 단계가 나와 있습니다.

작업자가 움직이는 기록에서 움직임을 완전히 제거할 수는 없으며, 가장 심층적인 계층도 프로토콜에 따라 움직임을 제한할 뿐입니다. 따라서 정제된 EEG에는 신호와 잔류 움직임 잡음이 모두 남습니다. 이를 가늠할 수 있는 임피던스 통과율, 보간된 채널의 비율, 인공 잡음으로 표시된 샘플의 비율을 공개하고, 더 엄격한 제외 임계값을 선택하는 것은 사용자에게 맡깁니다. EMG는 팔당 8개 채널, 2000 Hz로 기록되며 단위는 millivolts입니다. EEG는 128개 염수 채널에서 1000 Hz로, 또는 32개나 8개 젤 채널에서 250 Hz로 기록되며 단위는 microvolts입니다. 모든 채널은 뇌 영역별로 이름을 지정하고 임피던스를 kilohms 단위로 기록해 품질 지표로 사용합니다.

주석과 분할

L1에는 다른 처리 경로가 필요합니다. 수동 수집에서는 개입이 없으므로, 원시 L1 기록은 몇 시간 동안 지속되는 하나의 연속 신호입니다. 에피소드는 사후에 분할합니다. 프레임과 이용 가능한 주석을 VLM에 전달해 에피소드 경계와 단계 구간을 제안하게 한 뒤, 사람이 공개 전에 모든 경계를 확인하거나 조정합니다. 이 때문에 L1 에피소드의 길이는 크게 달라지는 반면 통제 L3 세션은 스크립트에 따라 진행됩니다. 또한 L1의 경계에는 지시 신호가 제공하는 확실성이 아니라 분할 과정의 불확실성이 따릅니다.

논의

자기중심 코퍼스는 관찰과 행동을 짝지어 무슨 일이 있었는지 답합니다. 행동이 그런 형태를 띤 이유는 그에 앞서 형성된 의도에 달려 있으며, 이는 실행 전에 결정되는 경우가 많습니다. HumanCOIN은 세 가지 신호 깊이에서 의도의 대리 지표를 기록해 그 의도를 수집합니다. 이 접근이 타당한지는 아직 수행하지 않은 연구에 달려 있으므로, 먼저 한계를 밝히고 이어서 가능성을 살펴봅니다.

한계

전제는 아직 검증되지 않았습니다. 의도가 관찰과 행동 사이에 있으며 관찰만으로는 얻을 수 없는 정보를 담는다는 점은 여기서 검증되지 않았습니다. 이 코퍼스는 이를 검증할 수 있게 할 뿐이며, 정책 학습, 리드 타임 기준선, 기관 간 품질 게이트는 범위에 포함되지 않습니다. 반대 가능성도 배제할 수 없습니다. 장면을 통해 시선을 예측할 수 있고 준비 단계의 EEG가 운동학을 따를 수 있으므로, 의도가 관찰과 중복될 수도 있습니다. 이 경우 실패하는 것은 개념이 아니라 대리 지표입니다. 부정적 결과가 나온다면 “의도는 중복되는가?”라는 질문은 입장이 아니라 측정의 문제가 됩니다.

범위와 대표성. L3는 전체 시간의 4%(500 hours)를 차지합니다. 그중 통제 부분 집합은 약 350 hours(2.8%)이며, 책상에서 수행되는 작업에 집중된 부분입니다. 전극 안정성 때문에 가장 밀도가 높은 에피소드를 지속할 수 있는 시간에도 한계가 있습니다. 장면과 작업의 구성은 조작 작업을 무작위로 추출한 표본이 아닙니다. L1은 카메라 수, 해상도, 보정 방식, 선언된 좌표계가 서로 다른 14개의 이질적인 단위로 구성되어 있어, L1 통계에서 행동의 영향과 장치 구성의 영향을 아직 분리할 수 없습니다.

주석과 비교 가능성. 단계 경계와 물체 속성은 사람이 판단합니다. L1 경계는 자동 분할 후 사람이 검토하며, 속성은 L2와 L3에서만 측정합니다. 손 움직임은 L1, L2, 개방 L3 부분 집합에서 추정하고 통제 L3 부분 집합에서 측정하므로, 추정된 부분에는 재구성 오차가 따릅니다. 비교 가능성은 부분적으로만 확보됩니다. 타임스탬프, 단위, 좌표계, 보정 정보는 각 원본에서 선언한 대로 공개되며, 선언 내용은 서로 일관되지 않습니다. 임피던스 통과율과 같은 품질 지표는 L3에서만 제공됩니다.

긴 꼬리 분포. 어휘는 긴 꼬리를 가집니다. 드문 클래스는 계층별 샘플 수가 적고, 계층 간 비교의 검정력도 고르지 않습니다. L3의 비중이 낮아 심층 계층의 희귀 클래스도 제한되므로, “심층 계층은 더 집중되어 있다”는 주장은 정성적인 의미에서만 성립합니다.

연구 방향

이 질문 중 어느 것도 수집된 데이터만으로 답할 수 없습니다.

사전에 평가하기. 관찰과 행동만 있을 때 코퍼스는 사후 평가만 할 수 있지만, 의도가 있으면 사전에 질문할 수 있습니다. 다른 의도에 따라 행동이 어떻게 달라지는지, 행동이 발생하지 않을 때도 결정을 이해할 수 있는지, 모델이 행동 자체를 예측하는지 아니면 그 이면의 의도를 예측하는지 살펴볼 수 있습니다. 이러한 답은 다음에 달려 있지 않습니다.

자주 묻는 질문

HumanCOIN이란 무엇인가요? HumanCOIN은 세 가지 신호 깊이에서 인간 의도의 대리 지표를 기록하는 자기중심 조작 코퍼스입니다.

HumanCOIN 계층별 에피소드 길이는 어떻게 다른가요? L1 에피소드의 평균 길이는 101 seconds로, L2의 65 seconds와 L3의 60 seconds보다 깁니다. 이러한 차이는 작업 난이도나 심도만이 아니라 기록 프로토콜에서 비롯됩니다.

통제 L3 세션에서는 무엇을 기록하나요? 통제 에피소드는 준비, 심상화, 실행으로 구성됩니다. 심상화 단계에서는 작업자가 움직이지 않는 동안 EEG와 시선을 기록하고, 실행 단계에서는 작업자가 물체를 조작하는 모습을 기록합니다.

L1 에피소드는 어떻게 분할하나요? L1 기록은 몇 시간 동안 이어지는 연속 신호이므로, VLM이 에피소드 경계와 단계 구간을 제안합니다. 사람이 공개 전에 모든 경계를 확인하거나 조정합니다.