Un flujo de trabajo basado en un smartphone proyectó una unión soldada sobre un modelo 3D con un error cuadrático medio de 4,2 mm, proporcionando a los robots una referencia aproximada y práctica para tareas de acabado o inspección. El sistema combina segmentación de imágenes con SegFormer, fotogrametría y fusión de múltiples vistas, de modo que las piezas grandes pueden analizarse rápidamente antes de que un escaneo más lento y preciso se concentre en la soldadura.
Índice
- ¿Qué construyeron los investigadores?
- ¿Cuáles fueron los resultados principales?
- ¿Cómo funciona el flujo de trabajo?
- ¿Por qué es importante para la robótica?
- ¿Cuáles son las limitaciones y las preguntas abiertas?
- Preguntas frecuentes
- Conclusión
¿Qué construyeron los investigadores?
Los investigadores desarrollaron un flujo de visión artificial que localiza cordones de soldadura en imágenes tomadas con una cámara convencional y los sitúa sobre una reconstrucción 3D de la pieza. El enfoque está concebido como un primer paso rápido antes de realizar escaneos detallados, operaciones de desbaste, suavizado, acabado o inspección robótica.
El montaje experimental utilizó la cámara de un smartphone convencional, 68 imágenes y dos paneles de marcadores AprilTag colocados alrededor de un componente de acero soldado. Los AprilTags son marcadores visuales impresos cuyas dimensiones se conocen. Proporcionan una escala y ayudan a alinear las vistas de la cámara dentro de un mismo sistema de coordenadas.
La pieza de prueba estaba formada por dos tubos rectangulares huecos de acero unidos mediante una soldadura a tope circunferencial continua. Medía 40 cm de largo, 10 cm de ancho y 5 cm de alto. La cámara capturó todos los lados accesibles con una resolución de 1.920 × 1.080 píxeles.
Las mismas imágenes alimentaron dos ramas de procesamiento. Una empleó RealityScan para reconstruir la pieza y estimar las posiciones de la cámara, su calibración y los mapas de profundidad. La otra utilizó un modelo de segmentación semántica SegFormer para etiquetar cada píxel de la imagen como soldadura o fondo.
A continuación, el sistema redujo cada máscara con forma de soldadura a una línea central fina y proyectó esa línea sobre el modelo 3D reconstruido. El resultado fue un mapa espacial de la soldadura, no una simple marca destacada en una imagen 2D.
¿Cuáles fueron los resultados principales?
El flujo de trabajo produjo una representación 3D útil de la soldadura de prueba, aunque los resultados se presentaron deliberadamente como una prueba de concepto y no como una evaluación exhaustiva de precisión industrial. Las dimensiones de la pieza reconstruida diferían de las del objeto físico en aproximadamente 3 mm. La línea central de soldadura proyectada alcanzó un error cuadrático medio de 4,2 mm frente a una línea de referencia anotada manualmente.
Esa precisión basta para una localización aproximada, sobre todo cuando el mapa se utiliza para dirigir un escaneo posterior de alta precisión hacia una región de interés. Todavía no sustituye a la geometría exacta necesaria para controlar directamente una herramienta de desbaste sobre la superficie de una soldadura.
| Medición | Resultado comunicado | Significado práctico |
|---|---|---|
| Imágenes de entrenamiento | 388 | Base de imágenes limitada para el modelo SegFormer |
| Imágenes de prueba capturadas | 68 | Cobertura multivista de la pieza |
| Resolución de imagen | 1.920 × 1.080 píxeles | Entrada de calidad propia de un smartphone |
| Tamaño de la pieza de prueba | 40 × 10 × 5 cm | Escala física de la pieza demostrada |
| Separación entre marcadores AprilTag | 5,2 cm | Referencia para la escala y la alineación |
| Error dimensional de la reconstrucción | Aproximadamente 3 mm | Precisión general del modelo 3D |
| Error de localización de la línea de soldadura | 4,2 mm RMSE | Diferencia respecto a la trayectoria de soldadura marcada manualmente |
El modelo de segmentación identificó la soldadura en la mayoría de las imágenes capturadas. Los fallos de detección aparecieron principalmente con cambios de iluminación, reflejos o superficies difíciles de distinguir. En ocasiones, el modelo también etiquetó como soldadura zonas que no lo eran, generando puntos espurios para la spline.
La fuente no presenta una comparación directa con un escáner láser, un sistema de luz estructurada ni una cámara de profundidad de baja resolución. En cambio, el resultado demuestra que las imágenes de un smartphone pueden servir para una fase práctica de localización aproximada.
¿Cómo funciona el flujo de trabajo?
El proceso comienza colocando marcadores AprilTag alrededor del componente soldado. Como se conocen las dimensiones y la separación de los marcadores, estos establecen una escala física y proporcionan puntos de referencia para relacionar las distintas vistas. Después, el smartphone captura imágenes solapadas desde varios ángulos, lo que permite al software de reconstrucción identificar rasgos visuales comunes en el conjunto de imágenes.
RealityScan procesa esas imágenes para generar una nube de puntos 3D o una representación de la superficie. También proporciona la pose de la cámara para cada imagen, sus parámetros intrínsecos y un mapa de profundidad. La pose de la cámara describe dónde estaba situada y hacia dónde apuntaba al capturar cada imagen. El mapa de profundidad estima a qué distancia de la cámara se encuentran las superficies visibles.
En paralelo, la red SegFormer realiza una segmentación semántica binaria. En lugar de detectar la soldadura mediante un único recuadro delimitador, etiqueta píxeles individuales como soldadura o fondo. Así genera una máscara que sigue la forma visible del cordón.
La máscara se limpia eliminando pequeñas regiones ruidosas y separando los componentes conexos. El análisis de componentes principales estima la dirección dominante de cada componente. Después, el algoritmo corta la máscara transversalmente a esa dirección, calcula un punto central en cada sección y conecta esos puntos en una línea central 2D con forma de spline.
Cada punto de la línea central se convierte de coordenadas de imagen a coordenadas de la cámara mediante su valor de profundidad y la calibración de la cámara. La pose correspondiente transforma después el punto al sistema de coordenadas global utilizado por la reconstrucción 3D. Los puntos procedentes de distintas imágenes se fusionan, se eliminan los duplicados y se filtran los valores atípicos.
Este paso de fusión es importante porque una misma soldadura puede aparecer en numerosas fotografías. En lugar de conservar detecciones 2D separadas e incoherentes, el sistema las combina en una única trayectoria 3D aproximada sobre la pieza reconstruida.
¿Por qué es importante para la robótica?
El posprocesado robótico depende de conocer la ubicación de una soldadura antes de que una herramienta pueda seguirla. Un robot que realice tareas de desbaste, eliminación de rebabas, acabado o inspección necesita algo más que una fotografía: necesita una trayectoria expresada en el sistema de coordenadas 3D de la pieza. Este flujo de trabajo conecta el reconocimiento visual con esa representación espacial.
La principal ventaja operativa es la medición selectiva. Un escaneo de alta resolución de un componente grande puede llevar tiempo y generar una cantidad considerable de datos de nube de puntos, muchos de ellos irrelevantes. Un análisis rápido basado en imágenes puede identificar las regiones donde probablemente haya soldaduras; después, un escáner láser, un sensor de luz estructurada u otro sistema de precisión puede inspeccionar únicamente esas zonas.
Esa división del trabajo encaja en fábricas que ya utilizan brazos industriales para operaciones de acabado o inspección. Las empresas que evalúan equipos para estas células pueden consultar robots industriales usados y adaptar el alcance, la carga útil y la interfaz de herramienta del robot a un proceso específico de escaneo o desbaste. Las operaciones más pequeñas también podrían considerar cobots usados a la venta cuando trabajadores y robots compartan una estación de acabado.
El enfoque también reduce la dependencia de una fijación rígida o de coordenadas de soldadura programadas de antemano. Si cambia la posición de la pieza, el modelo fotogramétrico y las referencias AprilTag proporcionan un nuevo sistema de coordenadas. Esa flexibilidad resulta valiosa en la fabricación de bajo volumen, los trabajos de reparación y las estructuras fabricadas de gran tamaño.
El resultado actual debe entenderse como un mapa de guiado. Reduce el área de búsqueda para un robot o un sensor de precisión, pero todavía no calcula la orientación completa de la herramienta, la fuerza de contacto, la normal de la superficie ni el movimiento libre de colisiones que exige un acabado autónomo.
¿Cuáles son las limitaciones y las preguntas abiertas?
El modelo se entrenó con solo 388 imágenes, por lo que su rendimiento depende en gran medida de la variedad representada en ese conjunto de datos. Los cambios de iluminación, los brillos, los reflejos de la superficie, el desenfoque, el aspecto de la soldadura y los materiales del fondo provocaron errores de segmentación. La fotogrametría también requiere textura y calidad de imagen suficientes; el metal reflectante o visualmente uniforme puede dificultar la reconstrucción.
El experimento utilizó una única pieza relativamente sencilla y una soldadura circunferencial continua. No permite establecer el rendimiento en soldaduras de filete, soldaduras interrumpidas, cordones estrechos, conjuntos complejos o componentes industriales de gran tamaño. El RMSE de 4,2 mm comunicado mide la localización respecto a una línea anotada manualmente, no la precisión final de una herramienta robótica en la superficie de contacto.
Los trabajos futuros necesitan datos de entrenamiento más amplios, una aumentación más sólida, un refinamiento 3D de la trayectoria, una mejor estimación local de las normales de superficie y planificación de la orientación de la herramienta. La principal pregunta abierta es si el mapa aproximado seguirá siendo lo bastante fiable para guiar el escaneo de precisión y generar trayectorias robóticas en piezas industriales variadas.
Preguntas frecuentes
¿Puede la cámara de un smartphone localizar cordones de soldadura en 3D? Sí. El flujo de trabajo combina imágenes de smartphone, profundidad fotogramétrica, poses de cámara y segmentación de soldaduras basada en imágenes para crear una trayectoria 3D aproximada del cordón.
¿Qué precisión alcanzó la localización de la soldadura? La línea central de soldadura proyectada alcanzó un error cuadrático medio de 4,2 mm frente a una línea de referencia anotada manualmente.
¿Puede el sistema controlar directamente una amoladora robótica? Todavía no. Proporciona la ubicación aproximada de la soldadura, pero el control directo de la herramienta requiere geometría refinada, normales de superficie, orientación de la herramienta, comprobación de colisiones y control de la fuerza del proceso.
¿Por qué utilizar fotogrametría en lugar de un escáner 3D completo? La fotogrametría ofrece una fase de análisis preliminar de bajo coste y amplia cobertura. Permite identificar las regiones que merecen un escaneo detallado sin medir todas las superficies con alta resolución.
Conclusión
La investigación demuestra una vía integrada desde las imágenes de un smartphone hasta un mapa 3D de un cordón de soldadura, combinando la segmentación de SegFormer con la reconstrucción fotogramétrica y la fusión multivista. Con un error del modelo de aproximadamente 3 mm y un RMSE de 4,2 mm en la línea de soldadura de una pieza de prueba, el método ofrece una capa creíble de localización aproximada para futuros sistemas robóticos de acabado e inspección.