Este trabajo propone un novedoso motor de datos para tareas de clasificación binaria. El método utiliza dos métodos de verificación diferentes — "Verificación Costosa" y "Predicción del Modelo" — para obtener tanto alta fiabilidad como rápida ejecución. Mediante el uso del método Wilson-Score, se pueden obtener límites de confianza para la predicción del modelo. Al seleccionar la verificación costosa si la confianza está fuera de los límites de confianza establecidos, se controla la tasa de error del sistema.
Trabajo Relacionado
Primero, ofrecemos una visión general de los métodos para la predicción de fallos en sistemas similares al nuestro. Luego, revisamos métodos para calcular la confianza en clasificación binaria y, como utilizamos reducción de dimensionalidad para preprocesar los datos, informamos sobre trabajos relacionados en estas áreas.
Predicción de Fallos en Procesos de Ensamblaje
Dado que las interrupciones en la fabricación son muy costosas, la detección de fallos ha sido estudiada extensamente. Un enfoque para evitar fallos es predecir anomalías utilizando datos de sensores.
Se presenta un método similar al nuestro, donde también se registran datos de fuerza durante una operación de inserción y se prueban varios clasificadores para la predicción de errores. Muestran buenos resultados de clasificación en el conjunto de datos de referencia UCI y se encuentra que un clasificador Naive Bayes funciona mejor. Sin embargo, no utilizan ningún tipo de límites de confianza para los clasificadores.
Los árboles de decisión también se han utilizado para la clasificación de errores utilizando datos de fuerza. Similar al método mencionado, el enfoque se prueba en el conjunto de datos de referencia UCI. No utilizamos el conjunto de datos de referencia UCI porque la tasa de muestreo y el tamaño del conjunto de datos son mucho más pequeños que en nuestro enfoque.
Estos métodos dependen todos del aprendizaje supervisado de los datos recopilados. Por lo tanto, se requiere una configuración experimental separada del sistema de ensamblaje en funcionamiento para recopilar los datos de entrenamiento, lo cual es un procedimiento costoso.
Otra solución es recopilar datos cuando el sistema falla. Pero, en muchos casos, esto es muy costoso, ya que conducirá a muchas fallas del sistema. Sin embargo, esto se puede agregar al sistema como una característica adicional. Así, aunque los fallos deben evitarse, si ocurren, los datos registrados se pueden utilizar para mejorar el sistema. Agregamos esto como una característica adicional a nuestro sistema, donde cualquier falla del sistema se registra y luego se etiqueta para mejorar el sistema.
Al utilizar el método Wilson-Score para la clasificación, nuestro sistema puede proporcionar un límite en la frecuencia máxima de fallos, lo que permite un proceso más confiable.
Límites de Confianza para Clasificación Binaria
Existen varios métodos diferentes para cuantificar la incertidumbre en la clasificación binaria. Como se mencionó, el clasificador k-NN proporciona una forma simple pero también inexacta de estimar la confianza, ya que no tiene en cuenta la incertidumbre de muestreo de los puntos vecinos.
Un método más fundamentado para la estimación de la incertidumbre es la Clasificación por Procesos Gaussianos. Si bien esta metodología funciona bien, es un método computacionalmente costoso, por lo que se requieren métodos aproximados para grandes conjuntos de datos, como los que se encontrarán en un sistema en funcionamiento.
Reducción de Dimensionalidad
Las técnicas de reducción de dimensionalidad ofrecen varias ventajas al tratar con datos de alta dimensión, incluida la eliminación de información insignificante o redundante, la reducción del tiempo de entrenamiento, la mejora del rendimiento del modelo, la mitigación del sobreajuste, la visualización más fácil de los datos y una mayor precisión de predicción, como lo demuestra el trabajo previo, donde los autores exploraron cómo estas técnicas podrían afectar la estimación de fuerza en cirugía robótica asistida utilizando redes neuronales.
Las técnicas de reducción de dimensionalidad recientes y populares incluyen la Aproximación y Proyección de Variedades Uniformes (UMAP), una técnica de aprendizaje de variedades que preserva las relaciones de vecindad local mientras mantiene también, en cierta medida, la estructura global, y se ha demostrado que supera a varios otros métodos de reducción de dimensionalidad no lineales en estos aspectos. Para nuestro trabajo, adoptamos UMAP, ya que es particularmente efectivo para visualizar e interpretar grandes conjuntos de datos de alta dimensión.
Método
El núcleo de nuestro método es un motor de datos en línea, que puede utilizar tanto un modelo de aprendizaje automático como un método de verificación costoso, para un caso de uso de clasificación de calidad de inserción. Esto permite que el sistema minimice clasificaciones incorrectas mientras mantiene la eficiencia.
La siguiente sección describe en detalle los componentes individuales del sistema. Comenzamos con el proceso de recopilación de datos ("Insertar en el dispositivo" y "Obtener datos"), seguido de la técnica de reducción de dimensionalidad ("UMAP"). Luego realizamos el modelo de aprendizaje automático adoptado ("Clasificación de Vecinos Radio") y aplicamos el método "Wilson Score" para calcular los límites de confianza.
Finalmente, mostramos cómo estos componentes se integran en el motor de datos completo (debajo de "Predicción del Modelo"): cuando el modelo de aprendizaje automático aún es demasiado incierto para realizar una predicción (es decir, la predicción no está dentro de los límites de confianza requeridos), se recurre a la "Verificación Costosa".
El propósito de la verificación costosa es asegurar el etiquetado correcto de la operación robótica. En este trabajo, se realiza como una operación única llamada verificación de altura y se describe con más detalle en la siguiente sección.
Cada vez que se utiliza la verificación costosa, el sistema recopila datos de entrenamiento para mejorar aún más el modelo de aprendizaje automático ("Almacenar en Base de Datos"). Dependiendo del resultado de la predicción, el sistema ejecuta en consecuencia y genera más datos para mejorar el modelo. Los límites de confianza del sistema garantizan un límite en la tasa de fallos al tiempo que reducen el número de verificaciones costosas requeridas.
En las secciones siguientes, describimos estos pasos en detalle.
Recopilación de Datos
En general, la verificación costosa puede ser una serie de operaciones, pero deben proporcionar con certeza absoluta la etiqueta perfecta.
Reducción de Dimensionalidad
Primero reducimos el espacio de características de alta dimensión utilizando UMAP para obtener una representación bidimensional.
En primer lugar, UMAP construye un gráfico de vecindad de alta dimensión que captura la estructura local conectando cada punto a sus vecinos más cercanos según la métrica de distancia elegida. Este gráfico se convierte luego en una representación topológica difusa. Posteriormente, UMAP realiza una incrustación de baja dimensión de los datos, lo que implica mapear los datos desde su espacio de alta dimensión original a un espacio de menor dimensión, preservando las relaciones de vecindad y la estructura global. La figura anterior muestra un ejemplo de visualización de nuestros datos de entrenamiento al final de un experimento.
Motor de Datos
Después de que Wilson score genera los límites de confianza, evaluamos el valor del límite inferior. Si supera el umbral elegido T, indica que la transformación UMAP coloca la muestra en una región densamente poblada por puntos similares, lo que permite que el modelo prediga su clase con mayor confianza.
En caso de una predicción de inserción incorrecta, el objeto se devuelve al contenedor y el sistema procede con la siguiente muestra. De lo contrario, procedemos con la secuencia estándar de acciones robóticas. Si surge un problema durante este paso (en nuestro caso, una parada del sistema), sabemos que la clasificación realizada anteriormente resultó en un falso positivo, lo que lleva a una parada del sistema donde el usuario debe intervenir para reiniciar el proceso. En consecuencia, podemos guardar esta muestra en la base de datos, teniendo en cuenta que se traduce en tiempo de ejecución adicional.
Después de iteraciones de inserción periódicas, el modelo del sistema se puede reentrenar utilizando la base de datos creciente que consiste en muestras para las cuales el modelo mostró baja confianza, así como muestras de falsos positivos obtenidas del componente "Almacenar en Base de Datos".
El motor de datos se ha probado solo en CPU, y el tiempo de entrenamiento se ha medido como menor que el tiempo completo de un ciclo robótico, que es en promedio de aproximadamente 80 segundos con el tamaño actual del conjunto de datos.
Resultados: Wilson Score
Para un alpha fijo y diferentes umbrales T, la precisión está consistentemente por encima del umbral. El umbral T influye directamente en el límite inferior de precisión: un umbral más alto produce una mayor precisión con menos falsos positivos, pero a costa de un número reducido de predicciones generales y, por lo tanto, de tiempos de ejecución más altos.
En cambio, alpha determina cuándo comienza a predecir el modelo al influir directamente en los límites de Wilson Score. Valores más bajos de alpha retrasan las predicciones al reducir el límite inferior, lo que lleva al motor a acumular más datos antes de emitir predicciones confiables.
Estudio de Ablación: Resultados Base Utilizando Puntaje de Intervalo Binomial
Comparamos nuestros resultados con el método base que utiliza el puntaje de intervalo binomial. En la figura siguiente se puede ver un ejemplo de resultado, y los resultados de diferentes configuraciones probadas se enumeran.
Al comparar los dos métodos, el enfoque de Wilson Score tiende a reducir la dependencia de la verificación costosa a medida que se acumula la confianza. Esto resulta en menos falsos positivos y un mayor porcentaje de predicciones seguras.
Conclusión
Este trabajo ha propuesto un novedoso motor de datos para tareas de clasificación binaria. El método utiliza dos métodos de verificación diferentes — "Verificación Costosa" y "Predicción del Modelo" — para obtener tanto alta fiabilidad como rápida ejecución. Al utilizar el método Wilson-Score, se pueden obtener límites de confianza para la predicción del modelo. Al seleccionar la verificación costosa si la confianza está fuera de los límites de confianza establecidos, se controla la tasa de error del sistema.
Trabajo Futuro
En investigaciones futuras, planeamos extender nuestro enfoque a tareas con variación en piezas, dispositivos, materiales y otros dominios que se ocupen de problemas similares para demostrar la generalización del motor de datos. Siempre que los datos de entrada para la clasificación estén claramente definidos y el componente de verificación costosa proporcione un etiquetado confiable y preciso, el motor de datos propuesto se puede aplicar sistemáticamente.
Preguntas Frecuentes
¿Cuál es la principal contribución de este artículo? El artículo propone un novedoso motor de datos para clasificación binaria en tareas de inserción robótica que combina un modelo de aprendizaje automático con un método de verificación costosa, utilizando límites de confianza de Wilson-Score para controlar las tasas de error minimizando las verificaciones costosas.
¿Cómo mejora el método Wilson-Score la fiabilidad de la clasificación? El método Wilson-Score proporciona límites de confianza en las predicciones del modelo, lo que permite que el sistema recurra a la verificación costosa cuando la confianza es baja, lo que garantiza un límite en la tasa de fallos al tiempo que reduce el número de verificaciones costosas requeridas.
¿Qué papel juega UMAP en el sistema? UMAP se utiliza para reducir el espacio de características de alta dimensión a una representación bidimensional, lo que preserva las relaciones de vecindad local y la estructura global, permitiendo una visualización e interpretación efectivas de grandes conjuntos de datos de alta dimensión.
¿Cómo maneja el sistema las predicciones falsas positivas? Cuando ocurre un falso positivo y causa una parada del sistema, la muestra se guarda en la base de datos con su etiqueta, y el modelo se reentrena periódicamente utilizando la base de datos creciente de muestras de baja confianza y falsos positivos para mejorar predicciones futuras.