Corpus de visión egocéntrica
Assembly101 instrumentó el ensamblaje de sobremesa con 4,321 vídeos multivista; ARCTIC capturó la manipulación bimanual de objetos articulados con 2.1 millones de fotogramas y anotaciones 3D de manos y objetos; HOI4D registró 2.4 millones de fotogramas RGB-D de interacción mano-objeto a nivel de categoría; y HoloAssist anotó 166 horas de colaboración entre personas y asistentes, incluidos los errores y sus correcciones.
Duración de los episodios y etapas de las tareas
La duración del episodio determina cuánto contexto y cuántos pasos contiene una muestra, y condiciona en gran medida los tipos de entrenamiento y evaluación que esta puede sustentar. La duración de HumanCOIN no es uniforme: varía sistemáticamente según el nivel, el tipo de tarea y la dificultad.
Distribución de la duración. La distribución es unimodal y tiene una cola larga: la densidad alcanza su máximo en 52 segundos y la media es de 88 segundos, con episodios de tan solo unos 10 segundos y una cola abierta que supera los cinco minutos. Los niveles difieren sistemáticamente. L1 presenta el intervalo más amplio y la cola más pesada, con una media de 101 segundos; L2 y L3 se concentran más, con 65 y 60 segundos, respectivamente. Esta diferencia se debe al protocolo de grabación, no a las tareas: L1 se segmenta a posteriori a partir de grabaciones continuas largas, mientras que L2 y L3 son episodios guionizados con sesiones acotadas; la estabilidad de los electrodos también acorta las sesiones de mayor profundidad. Por tanto, la diferencia no aporta pruebas sobre la dificultad de la tarea ni sobre la profundidad en sí.
Etapas de las tareas. El número de subtareas por episodio cuenta las etapas que componen una tarea, no la granularidad temporal de la anotación. El recuento es mayor en L1, con 11.0 por episodio, donde la actividad natural se divide en muchos pasos breves; baja a 8.3 en L2 y a 7.9 en L3, donde un protocolo fijo agrupa el trabajo en menos etapas, pero más largas.
En conjunto, HumanCOIN muestra diferencias claras entre niveles tanto en duración como en estructura de las tareas: los niveles menos profundos contienen actividades cotidianas largas, segmentadas de forma poco estricta y diversas, mientras que los más profundos se centran en tareas guionizadas y estandarizadas, en las que el mismo trabajo se organiza en menos etapas más largas. La duración caracteriza la ventana de grabación; el número de etapas, la estructura de la tarea; y, juntos, describen el espectro del corpus, desde el comportamiento natural hasta las tareas controladas complejas.
Distribución de las tareas
Los niveles tratan el vocabulario de manera diferente. L3 conserva 40 verbos de tarea (40%), y esos verbos abarcan el 77.3% de las apariciones de tareas en L1. Un protocolo fija el conjunto de tareas, por lo que la lista de verbos se reduce a las tareas que guioniza; sin embargo, los pasos que se graban se mantienen etiquetados en su totalidad: el nivel más profundo es selectivo en cuanto al vocabulario, pero no en cuanto al registro.
En conjunto, los vocabularios de los tres niveles tienen colas largas, y lo que los niveles intercambian es amplitud por profundidad, no tamaño del vocabulario: los niveles menos profundos distribuyen todo el vocabulario entre actividades cotidianas, mientras que el más profundo se limita a las clases necesarias para su protocolo y concentra allí el registro.
Configuración del hardware
Los indicadores indirectos de intención resumidos anteriormente no aparecen por sí solos en una grabación. Cada uno se convierte en un registro únicamente mediante un instrumento que transforma una magnitud física en una señal medible; por tanto, el equipo es un conjunto de indicadores indirectos de medición: una clase de instrumento por cada componente de el marco de medición, cada uno elegido según lo que puede medir físicamente. Cada instrumento mantiene su propio reloj, su frecuencia de muestreo nativa y su propio marco de coordenadas. Esta sección describe qué se lleva puesto en cada nivel, los dos entornos en los que se utiliza el equipo, el protocolo de dos fases que organiza una sesión controlada y cómo se almacenan los flujos resultantes.
Entornos y protocolo
La recopilación de cada nivel está sujeta a dos requisitos: cuánto de la escena cotidiana debe conservarse y cuánta fidelidad de señal exige la instrumentación. Ambos requisitos tiran en direcciones opuestas, y el corpus resuelve esa tensión nivel por nivel.
Dos entornos. L1 y L2 priorizan la movilidad por encima de la profundidad de la señal. Todos los instrumentos que incorporan son portátiles y se conectan a un ordenador montado en una diadema, de modo que el operador se desplaza por entornos cotidianos —de pie, girando, caminando y gesticulando— sin las limitaciones de una mesa fija ni de los cables. Este es el entorno abierto: L1 y L2 se recopilan siempre en él, y L3 también lo utiliza con una configuración más ligera, a cambio de reducir la densidad del EEG para ampliar la cobertura de la escena. Aquí, «abierto» se refiere al entorno de adquisición, no a la tarea: una sesión en un entorno abierto puede seguir una hoja de tareas guionizada y desarrollarse en una escena preparada.
En L3 se invierte esta compensación. La electrofisiología densa requiere una postura estable: el contacto y la impedancia de los electrodos se deterioran con el movimiento, y cuanto más densa es la grabación, menos tolera el movimiento. El rastreador ocular, los guantes y los rastreadores de muñeca utilizan la misma plataforma, por lo que la adquisición requiere una mesa que no se mueva. Las sesiones se realizan en bloques breves, con una nueva línea de base entre bloques para limitar la deriva. L3 se recopila en ambos entornos: en el entorno controlado, el amplificador y el equipo anfitrión permanecen en un escritorio dedicado y el operador no se mueve; la sesión incluye primero imaginación y luego ejecución. En el entorno abierto, el equipo funciona desde el ordenador de la diadema en escenas cotidianas, y la sesión incluye únicamente la ejecución.

Las dos fases indicadas de una sesión controlada (por ejemplo, recoger una taza) son la imaginación y la ejecución. Durante la imaginación, que se muestra en una pantalla azul, el operador permanece sentado, con las manos sobre el escritorio, y ensaya la tarea; solo se registran el EEG y la mirada. Durante la ejecución, que se muestra en una pantalla verde, el mismo operador manipula los objetos, manteniendo la cabeza tan quieta como lo permita el agarre. Los ojos se mueven en ambas fases; las manos, solo en la segunda.
Por tanto, cada episodio controlado consta de tres segmentos, no solo de las dos indicaciones: preparación mientras el operador se acomoda, imaginación de la secuencia de la tarea y ejecución de esa secuencia. Como el cuerpo permanece quieto durante los dos primeros, el EEG registra la tarea tal como se planifica, no tal como se realiza: la secuencia de pasos y la acción que requerirá cada uno, sin movimientos que los enmascaren. El registro de alta densidad existe para capturar esa correspondencia: la misma tarea como plan, adquirida mientras el cuerpo permanece quieto, y como ejecución segundos después. Los entornos abiertos (L1, L2 y L3 con la configuración más ligera) registran únicamente el segmento de ejecución.
Procedimiento de recopilación. L1 se graba sin instrucciones: solo se pide a los operadores que realicen la actividad como lo harían normalmente. L2 y L3 utilizan hojas de tareas: el operador coloca los objetos tal como aparecen en el dibujo y sigue el orden de los pasos indicado en la hoja, de modo que la misma tarea se prepara de forma idéntica en todas las sesiones. En L3, las tareas se presentan en orden aleatorio, en lugar de agruparse, para mantener la participación y limitar la deriva del EEG hacia la somnolencia. Los operadores también rotan entre escenas a intervalos fijos, para que ninguno trabaje en una sola escena durante todo un turno y ninguna escena quede determinada por los hábitos de una persona.
Todos los operadores reciben la misma formación antes de la recopilación: cómo llevar cada dispositivo, cómo realizar una sesión y cómo grabarla. L3 añade dos requisitos: los operadores reciben formación para mantener la cabeza quieta durante la adquisición y deben colocar y mantener los electrodos para que la calidad del contacto se mantenga dentro del intervalo establecido; además, se evalúa a los participantes asignados a L3 para comprobar que su EEG sea claro y estable. Después de cada hora de recopilación, se descansan quince minutos para mantener la atención y la energía.
Almacenamiento de datos
Los flujos se almacenan tal como se grabaron y se vinculan mediante referencias; nunca se combinan en un único archivo. Cada dispositivo mantiene su propio reloj, su frecuencia de muestreo nativa y su propio marco de coordenadas; obligarlos a integrarse en un único flujo descartaría la información temporal que el corpus se propone conservar. Por tanto, la sincronización es una propiedad que los datos declaran, no una que se impone: no se remuestrea ni se alinea nada al escribir los datos, y el corpus se escribe como numerosos archivos asíncronos, cada uno con su propia frecuencia.
La calidad se controla durante la grabación, no en el análisis posterior. Una vez escrita, cada sesión se comprueba flujo por flujo —muestras perdidas o fuera de orden, vídeo en negro o congelado, canales inactivos, saltos de valores imposibles, ausencia de un dispositivo del conjunto— y, si no supera la comprobación, se vuelve a grabar en lugar de repararla. Así, un episodio publicado nunca combina una mitad correcta con otra parcheada. Los resultados de las comprobaciones acompañan al episodio en sus metadatos; el apéndice enumera las comprobaciones, sus umbrales y el coste de cada nivel.
Procesamiento de datos
El procesamiento se ejecuta por flujo, porque el ruido y los modos de fallo de cada modalidad dependen de su propia física de medición; los flujos solo se reúnen al final. Cada flujo se reduce a una marca de tiempo, una unidad, un marco declarado y un informe de alineación. Los cinco grupos siguen el orden de dependencias de los datos —sincronización y calibración, geometría y movimiento, mirada y electrofisiología—, con la anotación al final, ya que utiliza los demás. Las cadenas de procesamiento son fijas, sus parámetros se registran para cada episodio y los pasos que fallan se señalan en lugar de rellenarse, de modo que cualquier ejecución puede repetirse.
Geometría y movimiento
La profundidad se obtiene a partir de RGB. Las lentes frontales izquierda y derecha están sincronizadas mediante marcas de tiempo de hardware, por lo que cada par estéreo procede del mismo instante; el par, junto con los parámetros de la cámara, se pasa a FoundationStereo, que devuelve un mapa de profundidad almacenado con los parámetros intrínsecos que lo generaron. Las nubes de puntos se forman por fotograma proyectando la profundidad mediante esos parámetros intrínsecos y se submuestrean hasta alcanzar un presupuesto fijo.
Mirada
La mirada se obtiene mediante adquisición o estimación. Ambas vías escriben los mismos campos —una marca de tiempo y una coordenada de píxel— en los píxeles de la imagen que utiliza cada vía: la cámara de escena del rastreador ocular en el subconjunto controlado de L3, y la vista rectificada de la cabeza en L1, L2 y el subconjunto abierto de L3.
En el subconjunto controlado de L3, el rastreador ocular se calibra para cada participante y cada sesión, y registra datos a 200 Hz; sus coordenadas son píxeles de la imagen de la cámara de escena, cuyo vídeo se ejecuta a 30 fps. La calibración que produjo cada registro —los parámetros intrínsecos y la distorsión de esa cámara, junto con la transformación que lleva un rayo al marco de la cabeza— se incluye con el episodio, de modo que un píxel se pueda reproyectar y situar en el marco de la cabeza. Como L3 registra una medición de referencia, también sirve como banco de pruebas para el estimador utilizado en L1 y L2.

Electrofisiología
Ambos flujos se limpian con una cadena fija. La EMG se filtra en fase cero y se reduce a una envolvente. La señal se extiende por reflexión en ambos extremos, se filtra en banda entre 20 y 450 Hz mediante secciones Butterworth de segundo y cuarto orden aplicadas en sentido directo e inverso, y se aplica un filtro de rechazo de banda a 50 Hz con un ancho de banda de 2 Hz, con extensión periódica y alineación del período en los extremos para evitar oscilaciones del filtro. La señal limpia se rectifica y se reduce a una envolvente por canal; la señal sin procesar se conserva junto a ella como *_emg_raw. El apéndice enumera los órdenes, las frecuencias de corte y los pasos de extensión.
El movimiento no puede eliminarse de una grabación en la que el operador se mueve, y ni siquiera el nivel más profundo permanece inmóvil más que por protocolo. Por tanto, el EEG limpio contiene señal y ruido residual de movimiento: publicamos las métricas que lo acotan —tasa de impedancia dentro del umbral, proporción de canales interpolados y proporción de muestras marcadas como artefactos— y dejamos que el usuario elija un umbral de rechazo más estricto. La EMG se graba a 2000 Hz en milivoltios, con ocho canales por brazo; el EEG, a 1000 Hz en 128 canales salinos o a 250 Hz en 32 u 8 canales de gel, en microvoltios. Cada canal lleva el nombre de una región cerebral y su impedancia, registrada en kiloohmios, se utiliza como indicador de calidad.
Anotación y segmentación
L1 requiere una vía diferente. Como la recopilación pasiva no interviene, una grabación sin procesar de L1 es un flujo continuo que dura horas, y los episodios se delimitan a posteriori: se pasan los fotogramas y las anotaciones disponibles a un VLM, que propone los límites de los episodios y los segmentos de pasos, y una persona revisora confirma o ajusta cada límite antes de la publicación. Por eso los episodios de L1 varían mucho en duración, mientras que las sesiones controladas de L3 están guionizadas, y por eso un límite de L1 conlleva la incertidumbre de una segmentación, no la certeza de una indicación.
Discusión
Un corpus egocéntrico empareja una observación con una acción y, por tanto, responde a qué ocurrió; por qué la acción adoptó esa forma depende de la intención que la precedió, que a menudo queda definida antes de la ejecución. HumanCOIN recopila esa intención mediante indicadores indirectos registrados en tres niveles de profundidad de señal. Su validez depende de un trabajo que aún no hemos realizado; exponemos primero sus limitaciones y después sus posibilidades.
Limitaciones
La premisa no está probada. No se ha probado aquí que la intención se sitúe entre la observación y la acción y aporte información que la observación no contiene: el corpus solo permite ponerlo a prueba, y el entrenamiento de políticas, las líneas base de anticipación y los criterios de calidad entre centros quedan fuera de su alcance. Tampoco puede descartarse lo contrario: la intención podría ser redundante con la observación, ya que la mirada es predecible a partir de la escena y el EEG preparatorio podría seguir la cinemática. En ese caso, no falla el concepto, sino los indicadores indirectos; el resultado negativo convierte «¿es redundante la intención?» de una postura en una medición.
Cobertura y representatividad. L3 representa el 4% de las horas (500 horas); su subconjunto controlado abarca unas 350 horas (2.8%) y es la parte concentrada en el escritorio, mientras que la estabilidad de los electrodos limita la duración de los episodios de mayor densidad. La combinación de escenas y tareas no constituye una muestra aleatoria de manipulación. L1 se compone de catorce unidades heterogéneas cuyos números de cámaras, resoluciones, calibraciones y marcos declarados difieren, por lo que todavía no se puede separar qué parte de una estadística de L1 refleja el comportamiento y cuál la combinación de dispositivos.
Anotación y comparabilidad. Los límites de los pasos y los atributos de los objetos son juicios humanos: los límites de L1 proceden de una segmentación automática revisada por una persona, y los atributos solo se miden en L2 y L3. El movimiento de las manos se estima en L1, L2 y el subconjunto abierto de L3, y se mide en el subconjunto controlado de L3, por lo que la parte estimada conlleva un error de reconstrucción. La comparabilidad es solo parcial: las marcas de tiempo, unidades, marcos y calibraciones se publican tal como los declara cada fuente, y las declaraciones no son uniformes; además, métricas de calidad como la tasa de impedancia dentro del umbral solo existen en L3.
Colas largas. Los vocabularios tienen colas largas: las clases poco frecuentes cuentan con pocas muestras dentro de cada nivel, las comparaciones entre niveles tienen una potencia estadística desigual y la proporción de L3 limita las clases raras del nivel profundo; por eso, «el nivel profundo está más concentrado» solo se sostiene cualitativamente.
Líneas de investigación
Ninguna de estas preguntas puede responderse únicamente con los datos recopilados.
Evaluar antes de los hechos. Con solo observaciones y acciones, un corpus evalúa a posteriori; con la intención, se puede preguntar antes: cómo cambiaría la acción ante una intención diferente, si la decisión sigue siendo legible cuando no se produce ninguna acción y si un modelo predice la acción o la intención que la sustenta. Esas respuestas no dependen de
Preguntas frecuentes
¿Qué es HumanCOIN? HumanCOIN es un corpus de manipulación egocéntrica que registra indicadores indirectos de la intención humana en tres niveles de profundidad de señal.
¿En qué se diferencian los niveles de HumanCOIN en cuanto a la duración de los episodios? Los episodios de L1 duran en promedio 101 segundos, frente a 65 segundos en L2 y 60 segundos en L3. Las diferencias reflejan los protocolos de grabación, no solo la dificultad de la tarea ni la profundidad.
¿Qué se registra durante una sesión controlada de L3? Un episodio controlado incluye preparación, imaginación y ejecución. Durante la imaginación se registran el EEG y la mirada mientras el operador permanece inmóvil; durante la ejecución se registra al operador manipulando objetos.
¿Cómo se segmentan los episodios de L1? Las grabaciones de L1 son flujos continuos que duran horas, por lo que un VLM propone los límites de los episodios y los segmentos de pasos. Una persona revisora confirma o ajusta cada límite antes de la publicación.
