El robot Pixel aprende manipulación móvil a partir de demostraciones humanas y robóticas

El robot Pixel aprende manipulación móvil a partir de demostraciones humanas y robóticas

Tony Tao, Jason Jingzhou Liu, Ruslan Salakhutdinov, Deepak Pathak

9 min de lectura•3 nov 2026

Pixel combina un humanoide con ruedas de menos de $15,000, herramientas de demostración que se llevan puestas, control de cuerpo completo y software de aprendizaje en un único sistema de código abierto para la manipulación móvil. En seis tareas de estilo doméstico, sus políticas aprendidas alcanzaron puntuaciones medias de progreso de la tarea del 82.0% con demostraciones humanas instrumentadas y del 78.7% con teleoperación del robot. Esto muestra cómo hacer compatibles el robot, los datos y el control puede volver práctico el aprendizaje más allá de una mesa.

Índice

¿Qué construyeron los investigadores?

Pixel es un robot humanoide con ruedas y un sistema integrado para aprender habilidades de manipulación móvil. En lugar de tratar el robot, los datos de entrenamiento y el software de control como proyectos independientes, sus diseñadores los crearon para que funcionaran en conjunto. El robot cuesta menos de $15,000 y tiene una parte superior del cuerpo de proporciones humanas con 17 grados de libertad, es decir, movimientos independientes disponibles en sus articulaciones. Una base holonómica le permite desplazarse hacia los lados, además de hacia delante y hacia atrás, mientras que un elevador vertical y un torso articulado le ayudan a alcanzar objetos a distintas alturas.

Sus pinzas están diseñadas para abrirse ampliamente y ejercer una gran fuerza de agarre. Para recopilar datos, las personas pueden ponerse pinzas ligeras e instrumentadas que capturan los movimientos de sus manos. También se pueden grabar demostraciones mediante un brazo maestro o controles de realidad virtual. Estas opciones permiten a los operadores mostrar cómo realizar una tarea sin tener que guiar físicamente al robot completo en todo momento.

A continuación, un controlador compartido convierte los objetivos de las demostraciones en movimientos del robot, teniendo en cuenta los límites articulares y evitando las colisiones consigo mismo. El resultado es una plataforma concebida para cubrir todo el ciclo: recopilar demostraciones, entrenar una política y ejecutarla en el robot.

Diseño del hardware de Pixel, con su base móvil, cuerpo ajustable y brazos de manipulación

¿Qué resultados obtuvo Pixel?

Los resultados principales son las puntuaciones medias de progreso de la tarea: 82.0% para las políticas entrenadas con demostraciones humanas instrumentadas y 78.7% para las entrenadas con demostraciones teleoperadas con el robot. Cada cifra resume tres tareas distintas del grupo correspondiente. Son puntuaciones de progreso, no porcentajes de intentos completados con éxito.

Fuente de las demostracionesTareas incluidasProgreso medio de la tarea
Demostraciones humanas instrumentadas382.0%
Demostraciones teleoperadas con el robot378.7%

Las tareas se diseñaron para poner a prueba distintos aspectos de la manipulación móvil. Las políticas entrenadas con demostraciones humanas se ocuparon de recoger juguetes, ordenar almohadas y desechar un vaso. Las políticas entrenadas mediante teleoperación del robot abordaron la limpieza con una aspiradora, colgar una chaqueta y recoger un tentempié. Los retos incluyeron desplazarse alrededor de obstáculos, manipular objetos deformables, interactuar con cajones y electrodomésticos, y desplazarse hasta una persona.

Los conjuntos de entrenamiento eran relativamente pequeños según los estándares del aprendizaje automático a gran escala: las tres tareas con datos humanos utilizaron 103, 129 y 189 demostraciones. Las tres tareas de teleoperación del robot utilizaron 133, 89 y 108. El artículo también probó si era posible combinar demostraciones humanas y robóticas para recoger juguetes y ordenar almohadas. En conjunto, estos resultados muestran que ambas fuentes pueden contribuir a un progreso significativo en las tareas, aunque las cifras resumidas por sí solas no demuestran que una fuente sea mejor que la otra.

Interfaces para recopilar demostraciones teleoperadas con el robot y demostraciones humanas instrumentadas

¿Cómo aprende Pixel y controla sus movimientos?

El proceso de aprendizaje de Pixel comienza con demostraciones: ejemplos de una persona o un operador realizando una tarea. Las pinzas instrumentadas que se llevan puestas registran los movimientos de las manos, mientras que la teleoperación del robot permite grabar demostraciones mediante interfaces como un brazo maestro y la realidad virtual. En un estudio de usuarios, 12 participantes probaron cuatro interfaces: un brazo maestro, un joystick de RV, el seguimiento corporal en RV y la recopilación de datos humanos instrumentados.

Las políticas aprenden a reproducir el comportamiento demostrado a partir de observaciones de cámaras. La política final de Pixel utiliza imágenes de tres cámaras RGB: una en la cabeza y una en cada muñeca. Estas vistas ofrecen información distinta: la cámara de la cabeza capta el entorno del robot, mientras que las cámaras de las muñecas enfocan los objetos que se están manipulando. Los investigadores compararon esta configuración con políticas que utilizaban solo la cámara de la cabeza o solo las cámaras de las muñecas.

Una decisión de diseño clave es cómo representa la política el movimiento. Una persona y un robot no tienen el mismo cuerpo, por lo que copiar directamente los ángulos articulares de una persona no proporcionaría un comando común útil. En su lugar, Pixel utiliza un espacio de acciones relativo a la base: los movimientos se representan con respecto a un marco de referencia similar al de una base, lo que proporciona a las demostraciones humanas y robóticas una forma compartida de describir el movimiento. Esto ayuda al sistema de aprendizaje a utilizar datos de cualquiera de las dos fuentes.

Durante la ejecución, el controlador de cuerpo completo convierte esos movimientos objetivo en acciones viables para el robot. Coordina la base y la parte superior del cuerpo, respeta los límites articulares y comprueba que no se produzcan colisiones consigo mismo. El artículo también prueba representaciones de acciones alternativas, incluidos marcos relativos separados y comandos en el espacio articular, para examinar cómo afecta cada opción al rendimiento de la política.

Arquitectura de la política de Pixel, que conecta las observaciones de las cámaras con los objetivos de movimiento

¿Por qué es importante Pixel para la robótica en el mundo real?

Muchas tareas útiles requieren que un robot se desplace, alcance objetos y los manipule como un sistema coordinado. Un robot que ordena una habitación podría tener que moverse alrededor de los muebles, bajar el cuerpo para recoger algo, transportarlo y alcanzar un lugar de almacenamiento. Un brazo de base fija no puede desplazarse por el espacio, mientras que una base móvil sin manipulación coordinada puede tener dificultades para interactuar con los objetos de forma fiable.

Pixel aborda este reto a nivel de sistema al conectar el diseño físico del robot con la forma de recopilar demostraciones y convertirlas en movimiento. Las pinzas que se llevan puestas ofrecen una manera de recopilar ejemplos sin tener que operar el robot completo repetidamente. La representación compartida de acciones busca que esos ejemplos sean compatibles con las demostraciones robóticas, y el controlador ofrece una vía común desde distintas interfaces hasta movimientos seguros y físicamente posibles.

Para los equipos de operaciones, lo importante no es que Pixel esté listo para realizar de forma autónoma cualquier tarea doméstica. Lo importante es que el sistema ofrece una plataforma para probar cómo afectan el diseño del robot, los datos de entrenamiento y las decisiones de control a capacidades como la navegación, la manipulación bimanual y el uso de electrodomésticos. Quienes comparen tipos de robots pueden explorar robots humanoides en Robot Overflow o consultar robots usados en venta al evaluar opciones prácticas de implementación.

¿Cuáles son las limitaciones y las preguntas abiertas sobre Pixel?

Los resultados comunicados abarcan seis tareas seleccionadas, no una prueba amplia de trabajo no guionizado en muchos hogares o entornos operativos. La evaluación también utiliza políticas independientes para cada tarea, por lo que las puntuaciones no demuestran que una política pueda alternar libremente entre las seis tareas. Varios experimentos presentan resultados de 20 repeticiones y cuatro configuraciones de tarea aleatorizadas; esto ofrece comprobaciones útiles de reproducibilidad, pero no equivale a demostrar un rendimiento robusto en distintos edificios, con diferentes usuarios y tipos de objetos.

El resumen del artículo presenta las puntuaciones medias de progreso, pero el texto proporcionado no incluye los valores subyacentes de cada estudio de ablación. Por ello, es difícil cuantificar exactamente cuánto aporta cada cámara, representación de acciones o fuente de datos. El costo del hardware, inferior a $15,000, resulta prometedor, pero los detalles disponibles no permiten establecer el costo total de propiedad, las necesidades de mantenimiento ni la economía de la implementación. La fiabilidad a largo plazo y la seguridad durante un funcionamiento prolongado también siguen siendo cuestiones importantes.

¿Qué deberían saber los lectores sobre Pixel?

¿Es Pixel un robot doméstico autónomo? Los resultados muestran políticas aprendidas que realizan tareas específicas de estilo doméstico, no un robot de propósito general capaz de responder a cualquier petición en un hogar desconocido.

¿Qué mide el resultado del 82.0%? Es el progreso medio en tres tareas entrenadas con demostraciones humanas instrumentadas, no una tasa de finalización de tareas del 82%.

¿Puede Pixel aprender de las personas sin teleoperar el robot? Sí. Las pinzas instrumentadas que se llevan puestas capturan demostraciones; el sistema está diseñado para transferirlas al robot mediante una representación de acciones y un controlador compartidos.

¿Cuánto cuesta el robot Pixel? El artículo indica que el robot cuesta menos de $15,000; el texto proporcionado no desglosa esa cifra ni especifica los costos totales de funcionamiento.

La contribución de Pixel es una plataforma de aprendizaje completa que vincula el diseño de un humanoide móvil con sus herramientas de recopilación de datos, su controlador y sus políticas. Los primeros resultados en las tareas muestran el potencial de este enfoque coordinado, aunque la generalización a situaciones más amplias y el rendimiento en implementaciones reales aún deben ponerse a prueba.