#PyTorch

Cuando cambia la luz, un detector entrenado en otras condiciones se degrada. La respuesta habitual es recoger datos, etiquetar, reentrenar y redesplegar. vcalib explora la respuesta barata: dejar el modelo congelado y ajustar, en minutos y sin etiquetas, un filtro diminuto que corrige la entrada.

El problema

RF-DETR es un detector en tiempo real del estado del arte y, como casi cualquier modelo de visión, es sensible a la iluminación: amanecer frente a atardecer, interior frente a nublado, una cámara nueva, una planta nueva. Cuando la distribución de entrada se aleja de la de entrenamiento, la calidad de detección cae. Reentrenar o hacer fine-tuning es caro, necesita etiquetas y es poco práctico en dispositivos edge.

“El modelo acierta” y “el modelo entiende” no son la misma frase. La diferencia se descubre visualizando.

Cuando un modelo de visión clasifica una imagen, ¿en qué se está fijando? La pregunta parece filosófica pero es brutalmente práctica: he visto modelos con métricas excelentes en validación que en realidad habían aprendido a mirar otra cosa —un reflejo, una marca de la cámara, la esquina de la imagen donde casualmente aparecían los defectos del dataset—. Este post es un recorrido por las herramientas que uso para responder esa pregunta, de las más clásicas a las más actuales.

En el paper todo funciona. En la fábrica, el modelo se encuentra con polvo, reflejos, vibraciones y un defecto que aparece una vez cada 50.000 imágenes.

Llevo tiempo entrenando modelos de detección de defectos para inspección industrial, y una de las preguntas que más me hacen es: ¿CNN o Vision Transformer? La respuesta corta es “depende”. La respuesta larga es este post: qué dice la teoría, qué he visto en la práctica y qué criterios uso para decidir.