Los humanos podemos agarrar cientos de objetos novedosos en escenas diversas y complejas, pero los sistemas robóticos actuales se limitan a un pequeño conjunto de comportamientos predefinidos en bandejas de superficie o con desorden disperso. Escalar el agarre robótico requiere un modelo que comprenda toda la diversidad del agarre humano en objetos, entornos y tareas. Presentamos HUG, un modelo de flujo-matching entrenado con 1 millón de agarres humanos de videos estéreo egocéntricos, que genera agarres diversos y similares a los humanos para cualquier objeto en cualquier escena a partir de una única imagen RGB-D.
Conjunto de Datos y Recopilación
Para entrenar HUG, construimos 1M-HUGs, un conjunto de datos de 1 millón de agarres humanos reales capturados en más de 400 horas de video egocéntrico de 70 participantes en diversos entornos interiores. Los agarres se etiquetan automáticamente utilizando un modelo de lenguaje-visión para identificar y segmentar los objetos agarrados, seguido de selección automatizada de fotogramas y control de calidad a través de una interfaz de anotación web.
Método
HUG es un modelo de flujo-matching que, entrenado con agarres humanos reales, genera agarres naturales diversos para cualquier objeto especificado por el usuario en una única imagen RGB-D de una cámara estéreo. El modelo procesa una nube de puntos de la escena y genera una pose de mano MANO que representa el agarre predicho.
Entrenamiento
Durante el entrenamiento, el peso concentra la pérdida geométrica en pasos cercanos a la limpieza donde el agarre predicho es más significativo. Este enfoque asegura que el modelo aprenda a producir agarres precisos y físicamente plausibles.
Experimentos
Introducimos HUG-Bench para una evaluación estandarizada, luego evaluamos HUG en simulación y en el mundo real.
Diseño de Evaluación en el Mundo Real
Los objetos se colocan en una sola ubicación para pruebas en superficie, variando solo ligeramente la posición y rotación entre pruebas. Se evita el desorden en experimentos de superficie para garantizar la repetibilidad y una comparación justa con métodos de referencia. Experimentos en entornos diversos y desordenados demuestran robustez frente al desorden real.
Reorientación a Manos Robóticas
HUG predice un agarre MANO, que se asigna a las manos robóticas objetivo en el despliegue. Reorientamos a la mano Ability con AnyTeleop y a la mano WUJI con la reorientación WUJI.
Observaciones Cualitativas
Los objetos más fáciles son redondeados y convexos, de tamaño adecuado para la mano (por ejemplo, pera, piña, pelota de hacky), que permiten muchos agarres envolventes estables. Los objetos más difíciles son demasiado grandes para que la mano los envuelva (por ejemplo, balón de fútbol, dispensador de toallitas) o irregulares y articulados difíciles de agarrar en lazo abierto (por ejemplo, cortaúñas, auriculares).
HUG es robusto a cambios de iluminación, rotación del objeto y punto de vista, operando tanto en cámaras estéreo a color como en escala de grises. También se observan agarres exitosos en superficies reflectantes donde la profundidad estéreo es más ruidosa.
La comparación con una política de pinza fuerte muestra que el beneficio de la destreza depende del objeto. En objetos grandes o irregulares, una pinza antipodal no encuentra un par de caras opuestas estables y tiende a deslizarse, mientras que un agarre envolvente con múltiples dedos enjaula el objeto. En objetos pesados cuya característica de agarre está descentrada del centro de masa, un agarre con múltiples dedos distribuye los contactos y resiste el torque gravitacional. En objetos pequeños, delgados o pellizcables, la pinza sigue siendo competitiva.
Etiquetado Automatizado
Las primeras tres etapas se ejecutan sin entrada humana: identificar el objeto agarrado, segmentarlo a lo largo de la grabación y seleccionar el fotograma de agarre. El objeto agarrado se localiza con un modelo de lenguaje-visión que compara un fotograma "antes" con cuatro fotogramas "después" y devuelve puntos que cubren todas las partes del objeto. Una segunda llamada VLM verifica que cada punto está en el objeto agarrado. El costo es de aproximadamente $0.003 por grabación.
Control de Calidad
Cada grabación se revisa en una aplicación de anotación web donde un revisor puede resegmentar la máscara, reseleccionar el fotograma de agarre y aprobar la grabación o marcarla como sin agarre estable.
Radio de Recorte de Nube de Puntos
Antes de la codificación, la nube de puntos retroproyectada se recorta a una esfera de radio fijo alrededor del punto de consulta 3D.
Generalización de Cámara
Los intrínsecos de la cámara ingresan a HUG solo a través de operaciones geométricas: retroproyectar un píxel con profundidad a un punto métrico.
Limitaciones
Si bien HUG logra un rendimiento de vanguardia, hereda limitaciones de los datos de entrenamiento. El modelo puede tener dificultades con objetos extremadamente raros, objetos muy pequeños o grandes, o agarres que requieren destreza fina de los dedos que están subrepresentados en el conjunto de datos. El trabajo futuro podría explorar la incorporación de retroalimentación táctil y el ajuste fino con datos de robots.
Preguntas Frecuentes
¿Cuál es la innovación clave de HUG? HUG es un modelo de flujo-matching entrenado con 1 millón de agarres humanos reales de video egocéntrico, lo que permite agarres diversos y similares a los humanos para cualquier objeto en cualquier escena a partir de una única imagen RGB-D.
¿Cómo se recopilaron los datos de entrenamiento? El conjunto de datos 1M-HUGs se recopiló de más de 400 horas de video estéreo egocéntrico de 70 participantes en diversos entornos interiores, con etiquetado automatizado utilizando un modelo de lenguaje-visión y control de calidad a través de una interfaz de anotación web.
¿Cómo se compara HUG con el agarre basado en pinzas? En objetos grandes, irregulares o pesados con masa descentrada, el agarre con múltiples dedos supera significativamente a las pinzas al distribuir los contactos y resistir el torque, mientras que las pinzas siguen siendo competitivas en objetos pequeños, delgados o pellizcables.
¿Cuáles son los requisitos computacionales de HUG? El pipeline de etiquetado automatizado cuesta aproximadamente $0.003 por grabación utilizando un modelo de lenguaje-visión, y el modelo entrenado se ejecuta eficientemente en hardware GPU estándar para generación de agarres en tiempo real.