Un pipeline nativo de Gaussian conserva sin editar la apariencia capturada y convierte determinados objetos en activos que pueden moverse de forma independiente. La construcción acoplada de escenas conecta la alineación y selección de candidatos con la eliminación de gaussianas de origen y la reconstrucción del fondo. La evaluación, realizada en escenas reales, abarca la disponibilidad de la construcción, la fidelidad geométrica y visual, la validez física y el rendimiento en tareas de manipulación.
Introducción
Las contribuciones son:
- Un pipeline nativo de Gaussian que conserva sin editar la apariencia capturada y convierte determinados objetos en activos que pueden moverse de forma independiente.
- La construcción acoplada de escenas, en la que la evidencia compartida sobre los objetos conecta la alineación y selección de candidatos con la eliminación de gaussianas de origen y la reconstrucción del fondo.
- Una evaluación en escenas reales que abarca la disponibilidad de la construcción, la fidelidad geométrica y visual, la validez física y el rendimiento en tareas de manipulación.
Observación de la escena
A partir de las gaussianas capturadas y de las entradas RGB y de pose calibradas, la observación de la escena proporciona las máscaras de los objetos y la superficie observada. SAM3, mantenido congelado, produce máscaras en las imágenes, que se proyectan sobre la superficie de la escena mediante intersecciones de primer impacto con los rayos. Estas regiones se asocian entre vistas mediante solapamiento de vóxeles para obtener instancias de objetos con muestras de superficie, máscaras y límites espaciales.
Construcción acoplada de escenas
Las dos ramas comparten la identidad del objeto, pero completan contenidos ausentes distintos: la forma del objeto y el fondo expuesto. Un activo registrado también proporciona soporte geométrico para eliminar las gaussianas de origen.
Las dos direcciones penalizan las superficies candidatas sin respaldo y las observaciones sin explicación. La limitación mediante [un umbral de distancia que limita los valores atípicos] reduce los valores atípicos, al igual que las penalizaciones aplicadas a las regiones no observadas. Esto mide la concordancia con lo observado, no la corrección de la forma oculta.
Verificación, selección y reintento
Los candidatos se ordenan mediante comprobaciones de construcción relativas al registro, la escala, el respaldo de las observaciones, la validez de las colisiones y el asentamiento aislado; después se aplican criterios residuales y de estabilidad. Si los candidatos iniciales fallan, un reintento acotado prueba orientaciones alternativas del eje vertical de la fuente. Esto modifica la hipótesis de alineación sin regenerar ni reparar la forma.
El constructor predeterminado conserva el mejor candidato numéricamente válido y registra las comprobaciones no resueltas. Una variante estricta rechaza los candidatos que siguen fallando, lo que permite separar los efectos del reintento de registro de los del rechazo.
Entorno interactivo
Los activos registrados y las gaussianas del fondo forman la escena interactiva.
Las mallas de colisión determinan los contactos, el simulador calcula las poses de los cuerpos y las gaussianas proporcionan la apariencia visual correspondiente. Cuando es compatible, CoACD convierte las mallas completadas en componentes de colisión convexos. Los parámetros físicos proceden de valores previos, salvo que se hayan medido por separado.
Esto aplica el movimiento relativo del cuerpo y conserva el desplazamiento inicial entre el cuerpo y el activo, sin exigir que el origen visual coincida con el centro de masas. Compartir el movimiento no garantiza que las superficies visual y de colisión sean idénticas.
Para la escala [el factor de escala del activo], la rotación [la transformación de rotación del activo] y la traslación [el vector de traslación del activo], las medias y covarianzas gaussianas se transforman en consecuencia.
La escala se aplica una sola vez durante la construcción; después, el movimiento del cuerpo es rígido. Las cámaras, los cuerpos y los renderizados utilizan el mismo estado del simulador. La apariencia dependiente del punto de vista requiere direcciones de observación coherentes.
En este trabajo, «listo para simulación» significa que hay objetos rígidos cargables cuya apariencia está vinculada a su estado; no garantiza exactitud física ni utilidad para una tarea.
Configuración experimental
En [el número de ensayos planificados] ensayos planificados, [el número de ejecuciones] ejecuciones y [el número de éxitos] éxitos, los rechazos durante la construcción no aportan éxitos a los estudios completamente contabilizados, mientras que las evaluaciones ausentes permanecen sin medir.
Los intervalos de las políticas utilizan remuestreo jerárquico emparejado sobre distribuciones, configuraciones y reinicios, en lugar de tratar los reinicios como reconstrucciones independientes.
Resultados cualitativos
Construcción acoplada del objeto y el fondo
La conversión parte de una escena gaussiana capturada y pasa por la eliminación de la fuente y la reconstrucción del fondo hasta llegar a un activo registrado con parámetros físicos. La secuencia muestra que el activo insertado corresponde a la apariencia de la fuente que se elimina, mientras que la reconstrucción completa el fondo expuesto por dicha eliminación. El panel de parámetros indica las propiedades físicas asignadas.
Armonización de la apariencia
Las observaciones renderizadas se comparan con y sin el armonizador opcional. A diferencia de la reconstrucción del fondo, que construye gaussianas de la escena, esta etapa modifica las imágenes renderizadas sin cambiar la geometría ni el estado del simulador. Aborda la discrepancia de apariencia analizada en el artículo.
Debate
Evidencia de los componentes
Los experimentos evalúan la selección, el reintento de registro y las decisiones del backend, mientras que el estudio de entrada mide la calidad de la construcción, no la precisión ni la exhaustividad del descubrimiento. La eliminación de gaussianas de origen, el relleno 3D local y la apariencia vinculada al simulador cuentan con evidencia cualitativa, pero no con pruebas cuantitativas aisladas.
Alcance de la interacción
En un estudio independiente con 48 configuraciones y acciones de reparación compartidas, tanto la reparación contextual adaptativa como la de orden fijo obtienen 65/480 éxitos, frente a 121/480 sin reparación. El éxito condicionado aumenta del 37,8 % al 54,2 %, pero las ejecuciones disminuyen de 320 a 120.
Por separado, la reconstrucción del destino reduce los éxitos de 45/240 a 20/240 en 24 configuraciones y cuatro distribuciones, conservando la articulación nativa y los objetivos. Estos resultados ponen de manifiesto las limitaciones de cobertura y compatibilidad de los activos.
La reparación contextual difiere del reintento basado únicamente en la alineación, y el éxito de una política no demuestra fidelidad dinámica en el mundo real.
Alcance de la captura y de la física
El estudio exploratorio de vídeo RGB basado exclusivamente en TRELLIS produce siete objetivos cargables a partir de 24 instancias y 21/70 éxitos, frente a 53/70 para la referencia; 170 ensayos del método quedan sin medir. Los problemas de asociación, calibración y apariencia, junto con una revisión posterior al fallo del estimador de marcadores, limitan la interpretación.
El pipeline presupone objetos rígidos, parámetros físicos previos y un relleno local aproximadamente plano. La articulación, los objetos deformables, las dinámicas identificadas, la geometría oculta arbitraria y la transferencia a robots físicos quedan fuera del alcance demostrado.
Conclusión
Presentamos φ-RIE, un pipeline nativo de Gaussian que convierte determinados objetos en activos móviles del simulador y conserva sin editar el contenido de la escena. La evidencia compartida sobre los objetos acopla la construcción de activos, la eliminación de la fuente y la reconstrucción del fondo, mientras que las poses del simulador gobiernan la apariencia gaussiana.
Los experimentos muestran una mejora geométrica con la misma tasa de retención y ganancias de manipulación frente a una línea base de un solo generador en pruebas controladas de sustitución de activos, junto con un compromiso en la fidelidad visual. Este acoplamiento amplía las escenas gaussianas capturadas, que pasan de servir para el renderizado estático a permitir la interacción a nivel de objeto.
Declaración sobre el uso de IA generativa
OpenAI Codex se utilizó para ayudar a redactar y depurar partes del código experimental, así como para editar el lenguaje a lo largo de todo el manuscrito. Los autores revisaron y validaron el código y el texto resultantes.
Todos los resultados comunicados se obtuvieron mediante ejecuciones experimentales reales y fueron verificados por los autores; la IA no inventó, alteró ni sintetizó ningún valor de los resultados empíricos.
Preguntas frecuentes
¿Para qué está diseñado φ-RIE? Convierte determinados objetos de escenas gaussianas capturadas en activos móviles del simulador y conserva sin editar el contenido de la escena.
¿Cómo utiliza la construcción acoplada de escenas la evidencia compartida sobre los objetos? Conecta la alineación y selección de candidatos con la eliminación de gaussianas de origen y la reconstrucción del fondo.
¿Qué significa «listo para simulación» en este trabajo? Significa que la escena contiene objetos rígidos cargables cuya apariencia está vinculada a su estado; no que se garantice la exactitud física o la utilidad para una tarea.
¿Qué limitaciones quedan fuera del alcance demostrado? La articulación, los objetos deformables, las dinámicas identificadas, la geometría oculta arbitraria y la transferencia a robots físicos quedan fuera del alcance demostrado.