Cómo saber si un modelo de IA en planta sigue acertando

Un modelo de IA que acertaba el primer mes en planta puede empezar a fallar el sexto sin que nadie cambie una línea de código. Lo que cambia es la planta: un sensor recalibrado, otra materia prima, un equipo que se desgasta. A ese desajuste entre los datos con los que se entrenó el modelo y los que recibe hoy se le llama deriva.

Sala de tuberías y equipos de proceso con instrumentación

01. Dos tipos de deriva

Conviene distinguir dos fenómenos que se suelen mezclar. La deriva de datos ocurre cuando cambian los valores que llegan al modelo: la temperatura de entrada se mueve en otro rango, aparece un formato nuevo o un sensor mide con un desfase. La relación entre causas y efectos sigue siendo la misma, pero el modelo trabaja en una zona que conoce peor.

La deriva de concepto es más seria: cambia la propia relación entre las variables. Un horno con el refractario desgastado pierde más calor para la misma consigna, así que el mismo dato de entrada lleva a un consumo distinto. El modelo puede recibir valores normales y aun así equivocarse.

02. De dónde viene la deriva en una planta

  • Instrumentación: recalibraciones, sustitución de un sensor por otro modelo, sondas que se ensucian o se descalibran poco a poco.
  • Materia prima: cambio de proveedor, de composición o de humedad.
  • Desgaste de equipos: refractarios, herramientas de corte, intercambiadores que se ensucian.
  • Cambios de operación: nuevos formatos, otra secuencia de producción, un turno que trabaja de otra manera.
  • Estacionalidad: la temperatura y la humedad ambiente cambian el comportamiento de muchos procesos entre invierno y verano.
Sala de cuadros eléctricos de media tensión en una planta industrial

03. Cómo vigilarla

La vigilancia funciona mejor cuando combina varias señales, porque cada una detecta cosas distintas:

  1. Comparar distribuciones de entrada. Se compara cómo se reparten los valores de cada variable en las últimas semanas con cómo se repartían en el entrenamiento. Indicadores como el PSI o la prueba de Kolmogórov-Smirnov dan una señal temprana, antes de que el error suba.
  2. Medir el error cuando llega el dato real. En muchos procesos el resultado se conoce con retraso: el análisis de laboratorio, la inspección final o la factura de gas. Cada vez que llega, se compara con lo que predijo el modelo y se sigue la tendencia del error.
  3. Revisar los balances físicos. Si el modelo incorpora física, el residuo del balance (la parte de la energía que no se explica) es un indicador muy sensible: cuando crece, algo ha cambiado en el proceso o en la instrumentación.
  4. Registrar las recomendaciones rechazadas. Si los operadores empiezan a descartar más recomendaciones de lo habitual, suele ser la primera señal de que el modelo ya no encaja con la planta.

04. Qué hacer cuando aparece

No toda deriva exige reentrenar. Si la causa es un sensor recalibrado, lo correcto es corregir el dato o el sensor, no enseñar al modelo a convivir con el error. Si la causa es un cambio real del proceso, como un formato nuevo o un equipo reformado, entonces sí hay que actualizar el modelo con datos de la nueva situación.

Por eso conviene acordar desde el inicio del proyecto quién revisa las alertas, con qué frecuencia y qué se hace en cada caso. Un modelo en planta necesita su propio plan de mantenimiento, igual que cualquier equipo.

En Deduce Data Solutions incluimos la vigilancia del modelo como parte del proyecto, con indicadores que el equipo de planta puede seguir sin depender de nosotros.

¿Tienes un modelo en planta que ha dejado de acertar?

Reunión de 30 minutos para revisar qué ha cambiado y cómo vigilarlo a partir de ahora.

Reservar reunión exploratoria

05. Preguntas frecuentes

¿Qué es la deriva de datos en un modelo de IA?

El cambio en los datos que recibe el modelo respecto a los que usó para aprender. En planta suele venir de sensores recalibrados, materia prima distinta, desgaste de equipos o nuevos formatos.

¿En qué se diferencia de la deriva de concepto?

En la deriva de datos cambian los valores de entrada; en la deriva de concepto cambia la relación entre variables, por ejemplo cuando un horno desgastado pierde más calor para la misma consigna.

¿Cómo se detecta la deriva?

Comparando la distribución de las variables con la del entrenamiento, midiendo el error cuando llega el resultado real, siguiendo el residuo de los balances físicos y registrando las recomendaciones que rechazan los operadores.

¿Siempre hay que reentrenar el modelo?

No. Si la causa es un sensor o un dato erróneo, se corrige el dato. Solo se reentrena cuando el proceso ha cambiado de verdad.

Referencias: Gama, J. et al. (2014). A survey on concept drift adaptation. ACM Computing Surveys, 46(4).