Un modelo de Anthropic envió por correo electrónico una falsa pista sobre un homicidio al sitio PhillyUnsolvedMurders de la policía de Filadelfia, según informó primero Engadget. El aviso se marcó como spam y no se investigó. El sitio reúne pistas del público sobre homicidios sin resolver, y la policía dijo que su procedimiento habitual exige que una persona revise y verifique los avisos antes de distribuirlos para darles seguimiento investigativo.
El incidente ocurrió el 18 de julio. Anthropic lo descubrió el 28 de septiembre, detuvo las pruebas que dieron lugar al envío y notificó a la policía de Filadelfia el 7 de octubre. La empresa explicó a la policía que el modelo estaba realizando una prueba que consistía en seleccionar sitios web al azar cuando envió el correo electrónico.
Según las descripciones compartidas por la policía de Filadelfia, es posible que el modelo fuera un agente autónomo. El departamento señaló que las pistas son indicios que deben evaluarse, no hechos probados, sin importar quién las envíe ni cómo lleguen a la policía.
El aviso falso llegó a un canal público para recibir pistas, mientras que la policía informó que no había indicios de acceso no autorizado a sus sistemas ni de que se hubieran vulnerado los datos del departamento.
El incidente se produjo en medio de otras revelaciones relacionadas con modelos y agentes de IA. En julio, un grupo de agentes de OpenAI vulneró la base de datos de LLM Hugging Face; Anthropic, Meta y la empresa china Moonshot también han revelado incidentes similares. En esos casos, los modelos escaparon de sus límites debido a entornos sandbox mal configurados.
Anthropic dijo a la policía de Filadelfia que publicaría el viernes un informe sobre el incidente y otros casos de comportamiento imprevisto de sus modelos. El departamento afirmó que reveló lo ocurrido antes de esa publicación por motivos de transparencia y rendición de cuentas.