La IA aprende a detectar el deterioro del conductor a partir de la mirada, el movimiento y el vídeo

La IA aprende a detectar el deterioro del conductor a partir de la mirada, el movimiento y el vídeo

John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell +5 más

9 min de lectura•18 nov 2026

Un modelo de IA que aprende de la mirada del conductor, el movimiento del vehículo, vídeos de la carretera y etiquetas de deterioro mejora la detección de alteraciones y, además, predice dónde miran los conductores y cómo se mueven los vehículos. El trabajo combina este modelo, ID-MAE, con DIVERT, un conjunto de datos de simulador de 103 horas que abarca 109 participantes y varios escenarios de alteración controlados, lo que ofrece a los investigadores un entorno de pruebas más completo para sistemas que deben reconocer comportamientos humanos de riesgo.

Índice

¿Qué desarrollaron los investigadores?

Los investigadores desarrollaron dos cosas: un modelo de IA multimodal llamado Impaired Driving MAE, o ID-MAE, y un conjunto de datos de conducción llamado DIVERT. ID-MAE está diseñado para detectar alteraciones del conductor mediante el aprendizaje conjunto a partir de varias señales: la mirada, las trayectorias del vehículo, el vídeo de la escena de conducción y las etiquetas que describen el estado de alteración del conductor. También aprende a predecir la mirada y el movimiento del vehículo, en lugar de limitarse a clasificar el deterioro.

DIVERT amplía los datos disponibles para desarrollar y evaluar este tipo de modelos. Los investigadores lo recopilaron en el simulador de conducción CARLA, con tareas y peligros controlados. El conjunto de datos completo contiene 103.3 horas de conducción de 109 participantes. De ese total, 46.42 horas corresponden a alteraciones inducidas mediante diez técnicas y cuatro categorías: distracción cognitiva, frustración y estrés, distracción visual y carga cognitiva.

Esta combinación busca resolver algunas carencias de conjuntos de datos anteriores, que podían ser pequeños, carecer de vídeo o datos de movimiento, utilizar distintos niveles de automatización del vehículo o abarcar solo una gama limitada de tipos de alteración. DIVERT ofrece condiciones variadas y, a la vez, un conjunto coherente de modalidades de datos enriquecidas.

Descripción general de la arquitectura multimodal de codificador-decodificador de ID-MAE

¿Cuáles son los resultados principales?

ID-MAE supera los modelos de referencia evaluados por los investigadores tanto en DIVERT como en el conjunto de datos existente Impaired Driving Dataset (IDD). El artículo también indica que reconstruir datos enmascarados de mirada y trayectoria mejora la detección de alteraciones frente al entrenamiento basado únicamente en etiquetas de alteración. En otras palabras, pedirle al modelo que aprenda patrones del comportamiento del conductor proporciona una señal de entrenamiento útil, además de la propia tarea de clasificación.

Los autores también analizan los resultados por tipo de alteración y evalúan las ventajas de entrenar con varios tipos a la vez. Esto es importante porque un detector entrenado con una categoría de alteración podría no generalizar bien a otra. El entrenamiento conjunto permite que el modelo aprenda patrones de comportamiento compartidos y, al mismo tiempo, evalúe categorías de alteración específicas.

El texto del artículo proporcionado no incluye las puntuaciones numéricas de detección ni los valores de AUC, por lo que aquí no se puede indicar la magnitud de las mejoras de rendimiento. Las cifras del conjunto de datos sí dan una idea de su escala: DIVERT incluye 109 participantes y 103.3 horas en total, mientras que IDD contiene 23.7 horas de 52 participantes y abarca tres condiciones de alteración: comprensión de enunciados, una tarea 1-back e intoxicación por alcohol. Los resultados respaldan el enfoque, pero la falta de puntuaciones detalladas impide comparar directamente cuánto mejor funciona.

Ejemplo de un escenario de peligro vial representado en los datos de DIVERT

¿Cómo funciona ID-MAE?

ID-MAE utiliza un transformador de codificador-decodificador: una red neuronal que procesa secuencias de información y aprende las relaciones entre sus elementos. En lugar de tratar cada fotograma de cámara o medición de la mirada como una entrada aislada, integra en un solo modelo el vídeo, la mirada, la trayectoria del vehículo y la información sobre alteraciones.

El enfoque de entrenamiento es una forma de difusión con enmascaramiento. A grandes rasgos, se ocultan o corrompen partes de la entrada y el modelo aprende a recuperar los datos subyacentes. Esto le proporciona una tarea de aprendizaje autosupervisado: puede aprender la estructura a partir de las propias señales de los sensores, sin depender por completo de las etiquetas de alteración. El estado de alteración se representa como un token discreto, mientras que la mirada y la trayectoria son señales continuas.

El modelo utiliza atención relativa geométrica para relacionar tokens según sus relaciones espaciales. La atención es el mecanismo que permite a un transformador ponderar qué entradas son relevantes entre sí; el sesgo adicional basado en la geometría le aporta información sobre la posición relativa de los tokens. La idea es ayudar al modelo a relacionar señales procedentes de distintas partes de la escena y del comportamiento de conducción.

Distintas cabezas de salida predicen objetivos diferentes. La cabeza de alteración produce una puntuación para cada tipo de alteración. La cabeza de mirada predice la guiñada y el cabeceo de cada ojo, es decir, las direcciones del movimiento ocular. La cabeza de trayectoria predice la aceleración y la tasa de guiñada —la rapidez con que cambia el rumbo del vehículo— y después integra esos valores para estimar la velocidad, la posición y el rumbo. Predecir estos objetivos conductuales claros junto con las etiquetas de alteración anima al modelo a aprender una imagen más completa del comportamiento al volante.

¿Por qué es importante para la robótica?

Los robots que operan cerca de las personas suelen tener que interpretar algo más que el entorno físico: también deben tener en cuenta la atención, la carga de trabajo y el comportamiento humanos. ID-MAE es un sistema de investigación sobre conducción, no un producto de seguridad robótica de propósito general, pero su idea central —combinar el contexto visual con señales de comportamiento y aprender a partir de datos parcialmente ocultos— podría servir de base para la supervisión en otros entornos de interacción entre humanos y máquinas.

En los vehículos autónomos, detectar señales de alteración podría contribuir a funciones de seguridad que alerten al conductor o ajusten el funcionamiento del vehículo. El estudio no demuestra una intervención implementada, pero ofrece una forma de desarrollar detectores que aprovechen algo más que las etiquetas. El conjunto de datos también proporciona a los investigadores un punto de partida estructurado para comprobar si un modelo reconoce distintos tipos de alteración y no solo uno.

El mismo reto general aparece en entornos industriales, donde las personas y la automatización comparten tareas y la atención de los operarios puede influir en una coordinación segura. Los equipos que evalúan robots de almacén pueden considerar la supervisión del estado humano como parte del sistema de seguridad general, junto con la percepción del robot y los procedimientos operativos. Antes de utilizar estos métodos en la práctica, habría que validarlos con operarios y sensores del mundo real.

¿Cuáles son las limitaciones y las preguntas pendientes?

DIVERT se recopiló en un simulador, donde los investigadores pueden controlar las tareas y los peligros de forma más coherente que en carreteras públicas. Esto permite repetir los experimentos, pero no demuestra que el modelo vaya a funcionar igual de bien en vehículos reales, con cámaras, condiciones de iluminación o poblaciones de conductores diferentes, ni ante formas naturales de alteración. El estudio abarca cuatro categorías inducidas, una variedad mayor que la de muchos conjuntos de datos, pero no representa todas las causas ni todos los grados de conducción insegura.

Los resultados comunicados muestran mejoras cualitativas, pero el texto proporcionado omite las puntuaciones exactas de las pruebas comparativas. Por eso, es difícil valorar la magnitud y la fiabilidad de las mejoras o compararlas numéricamente con otros sistemas. Otras preguntas pendientes son cuánto tarda el modelo en ejecutarse, cómo gestiona sensores ausentes o ruidosos y si sus predicciones son lo bastante fiables para respaldar decisiones críticas para la seguridad. Son pasos importantes entre un resultado prometedor en una prueba comparativa y una herramienta operativa.

¿Cuáles son las preguntas frecuentes?

¿Qué detecta ID-MAE? Clasifica estados de alteración a partir de la mirada, las trayectorias del vehículo, el vídeo de la escena y las etiquetas de alteración. El artículo lo evalúa en condiciones de alteración controladas, no como sistema de diagnóstico clínico.

¿Qué es DIVERT? DIVERT es un conjunto de datos del simulador CARLA con 103.3 horas de conducción de 109 participantes. Incluye diez técnicas de inducción que abarcan cuatro categorías de alteración.

¿ID-MAE solo clasifica alteraciones? No. También predice la dirección de la mirada y el movimiento del vehículo, incluidos la aceleración y la tasa de guiñada. Estas tareas de predicción adicionales ayudan al modelo a aprender tanto del comportamiento como de las etiquetas.

¿Se probó el modelo en carreteras reales? Los datos de DIVERT que se describen proceden de un simulador de conducción. El texto proporcionado no informa de pruebas de implementación en carreteras reales.

¿Cuál es la conclusión principal?

ID-MAE combina la clasificación de alteraciones con el aprendizaje para reconstruir y predecir el comportamiento del conductor, y supera los modelos de referencia comunicados en dos conjuntos de datos de conducción. DIVERT ofrece un recurso de simulación más amplio y variado para estudiar el rendimiento de estos modelos en distintas condiciones de alteración controladas.