FAMOS predice las partes móviles de un objeto articulado y sus propiedades cinemáticas a partir de observaciones dispersas, proporcionadas como nubes de puntos parciales, en una sola pasada hacia delante mediante un Multi-state Articulation Transformer.
Multi-state Articulation Transformer
Partimos de formulaciones recientes de transformers basadas en consultas para predecir articulaciones de forma feed-forward. A diferencia de trabajos anteriores, que operan sobre una única nube de puntos completa, nuestro modelo debe agregar información distribuida entre varias nubes de puntos parciales que difieren tanto en la geometría visible como en el estado de articulación. Nuestro método está diseñado específicamente para este requisito y combina el contexto geométrico de cada estado con indicios de articulación entre estados.
Rango de articulación observado
Llamamos estado de articulación al valor real de la articulación —por ejemplo, un ángulo o un desplazamiento— de una parte en una observación. El conjunto de observaciones en las que una parte es visible determina las observaciones disponibles para esa parte.
El objetivo es el rango de articulación calculado a partir de los valores observados de la articulación para las partes visibles en al menos una observación. Los valores de las articulaciones se expresan en radianes para las articulaciones de revolución y en unidades normalizadas respecto al objeto para las articulaciones prismáticas.
Función objetivo de entrenamiento
El modelo utiliza el algoritmo húngaro para la asignación, mientras que los logits de máscara de un punto en una observación proporcionan la información de segmentación predicha. La asignación se calcula conjuntamente sobre todas las observaciones y, por tanto, se comparte entre los estados. Las consultas sin correspondencia se excluyen del cálculo de la pérdida.
Generación procedural de datos de entrenamiento
Complementamos los conjuntos de datos de objetos articulados disponibles con un generador paramétrico de activos cuyas anotaciones se conocen por construcción. Su arquitectura modular se basa en primitivas geométricas básicas, lo que permite ampliarla fácilmente a nuevas clases de objetos que puedan descomponerse en las mismas formas constituyentes.
Detalles de implementación
Obtenemos los activos articulados de PartNet-Mobility y GRScenes. Filtramos ambos conjuntos para conservar los objetos con articulaciones marcadas y visibles desde el exterior, y tratamos como estáticos los componentes pequeños, como botones y pomos.
Esto da lugar a 1.020 objetos de 25 clases procedentes de PartNet-Mobility y 968 objetos de 15 clases procedentes de GRScenes. Además, nuestro generador procedural produce un flujo ilimitado de activos autoanotados.
Resultados cualitativos
Los resultados cualitativos abarcan los tres benchmarks de evaluación. En comparación con las líneas base, FAMOS identifica con mayor fiabilidad las partes móviles y estima con más precisión los ejes de las articulaciones, mientras que las líneas base son más propensas a producir segmentaciones insuficientes o excesivas.
Conclusión
Hemos presentado FAMOS, un método feed-forward para modelar objetos articulados a partir de observaciones monoculares dispersas. Nuestro método razona conjuntamente sobre varias nubes de puntos parciales mediante un Multi-state Articulation Transformer que alterna entre atención específica de cada estado y atención global.
También introducimos una función objetivo basada en el rango de articulación observado, que anima al modelo a aprovechar las señales de articulación presentes en el conjunto completo de observaciones. Para aumentar la escala y diversidad de los datos de entrenamiento, diseñamos un generador procedural de activos que sintetiza objetos articulados autoanotados sobre la marcha durante el entrenamiento.
Los experimentos en tres benchmarks demuestran mejoras consistentes frente a métodos feed-forward y basados en optimización existentes, mientras que los resultados cualitativos muestran una buena generalización a capturas del mundo real.
Familias de activos
Para ampliar la escala de los conjuntos de datos disponibles y evitar la memorización geométrica, nuestro generador procedural sintetiza un flujo ilimitado de objetos 3D articulados anotados. Agrupamos estos activos en tres categorías principales.
Diseñamos tres familias de armarios:
- Armarios con puertas abatibles que cubren aperturas frontales, superiores y laterales, con puertas simples, dobles o divididas.
- Armarios con cajones que apilan un número variable de cajones deslizantes.
- Armarios combinados con dos módulos contiguos que combinan puertas y cajones.
Además de armarios, este grupo incluye:
- Puertas con movimientos de giro, deslizamiento y elevación.
- Cajas con tapas divididas o abatibles y bandejas deslizantes.
Preguntas frecuentes
¿Qué predice FAMOS? FAMOS predice las partes móviles de los objetos articulados y sus propiedades cinemáticas a partir de observaciones dispersas de nubes de puntos parciales.
¿Qué es el Multi-state Articulation Transformer? Es un transformer que agrega información geométrica de varias nubes de puntos parciales con distintas geometrías visibles y estados de articulación.
¿En qué consiste la función objetivo del rango de articulación observado? Anima al modelo a utilizar las señales de articulación presentes en el conjunto completo de observaciones en las que una parte es visible.
¿Cómo se generan los datos de entrenamiento procedural adicionales? Durante el entrenamiento, un generador paramétrico de activos crea objetos articulados autoanotados a partir de primitivas geométricas modulares.