Cómo comprobar si una IA reconoce imágenes nuevas
La Ciencia de Jaun: divulgación científica y tecnológica en español. Sobre el proyecto
Entrenar un clasificador y ponerlo a prueba cumplen tareas distintas. Un ejemplo con tazas y botellas ayuda a entender por qué importan las fotos que reservamos y las condiciones en que las tomamos.
Los enlaces numerados abren la fuente del párrafo. Puedes consultar sus datos en Fuentes y materiales.
La pregunta empieza con otra fotografía
Imagina un programa que distingue fotografías de tazas y botellas. Durante su preparación recibe una colección de imágenes y después acierta muchas de ellas. Parece una buena noticia. Ahora le enseñas una fotografía que nunca había visto. Esa nueva imagen plantea una pregunta diferente: ¿funciona también fuera de los ejemplos con los que se ajustó?
El vídeo de preguntas sobre inteligencia artificial de La Ciencia de Jaun introduce el aprendizaje automático y el reconocimiento de imágenes. Partimos de esos asuntos para explorar cómo se comprueba un clasificador. La explicación de entrenamiento, pruebas y límites que sigue es una ampliación apoyada en documentación externa. [5]
En aprendizaje automático llamamos generalización a la capacidad de producir buenas predicciones con datos nuevos. Acertar en los ejemplos de entrenamiento no basta para demostrarla. Por eso necesitamos separar el material utilizado para ajustar el modelo del que servirá para evaluar su rendimiento. [3]
Qué recibe y qué ajusta el modelo
Vamos a concretar nuestro ejemplo imaginario en un método: la clasificación supervisada. Cada fotografía tiene una etiqueta que indica la respuesta esperada, como «taza» o «botella». Las imágenes aportan datos numéricos, los valores de sus píxeles. El objetivo es relacionar esos datos con las categorías previstas; no estamos describiendo todos los métodos de inteligencia artificial. [1]
El modelo incluye valores numéricos ajustables. Durante el entrenamiento, el procedimiento compara sus predicciones con las etiquetas y utiliza una medida del error para modificar esos valores. Repetir ese proceso busca mejorar las predicciones sobre la colección de entrenamiento. «Aprender» describe aquí un ajuste matemático: no acredita una experiencia humana de ver una taza. [1]
Una vez fijado el modelo, podemos darle otra fotografía y obtener una predicción. Para comprobarla, quien evalúa conserva la etiqueta correcta y la compara con la respuesta del programa. Esa etiqueta no se le entrega al modelo como parte de la imagen que debe clasificar. [1]
Tres grupos con trabajos distintos
Una forma habitual de organizar el trabajo es repartir los ejemplos en tres conjuntos. El de entrenamiento sirve para ajustar los valores del modelo. El de validación permite comparar configuraciones y decidir cambios durante su desarrollo. El de prueba se reserva para la evaluación final, una vez tomadas esas decisiones. [2]
La distinción importa porque una prueba puede acabar influyendo en el modelo aunque sus imágenes no entren directamente en el ajuste. Si miramos su resultado, cambiamos el sistema y repetimos hasta mejorar, estamos utilizando ese conjunto para decidir. Deja de ser una comprobación final ajena a esas elecciones. La validación cumple precisamente ese papel de orientación. [2]
También hay que revisar las imágenes reservadas: copiar una foto de entrenamiento a otra carpeta no la convierte en un ejemplo nuevo. Los duplicados pueden hacer que una evaluación parezca mejor de lo que es. El reparto necesita ejemplos suficientes y adecuados al uso previsto; no existe un porcentaje universal que resuelva todos los proyectos. [2]
Cuando el fondo parece dar la respuesta
Volvamos a nuestras tazas y botellas. Supongamos que fotografiamos todas las tazas sobre una mesa azul y todas las botellas sobre una blanca. Un modelo podría aprovechar el fondo como pista. Si reservamos fotografías nuevas hechas con esa misma combinación, el acierto no nos dirá por sí solo qué papel ha tenido el objeto y cuál ha tenido la mesa. Es una situación inventada para razonar, no un experimento que hayamos realizado.
Podemos imaginar una comprobación adicional: intercambiar los fondos manteniendo los tipos de objetos. Si el resultado empeora, habremos encontrado una limitación que merece investigación. Un error aislado tampoco demostraría por sí solo su causa. Habría que analizar más ejemplos y las condiciones de la prueba.
Conviene distinguir problemas. El sobreajuste aparece cuando el modelo se adapta demasiado a las particularidades del entrenamiento y funciona mal con ejemplos nuevos. Otra dificultad es que cambien las condiciones entre los datos preparados y los de uso. Un fallo con otra iluminación o cámara no permite concluir, sin más análisis, que el modelo «solo memorizó». [3]
Una buena prueba tiene un alcance
Una evaluación útil necesita reflejar las condiciones en las que queremos emplear el sistema. En su marco de gestión de riesgos de IA de 2023, el NIST vincula la validez y la fiabilidad al uso previsto y recomienda documentar las limitaciones de generalización. Es una guía institucional, no una garantía sobre nuestro clasificador imaginario. [4]
Podemos preguntar qué objetos se incluyeron, con qué cámaras se obtuvieron las imágenes y qué situaciones quedaron fuera. Un resultado favorable en esas condiciones aporta evidencia sobre ese rendimiento. No demuestra que el sistema vaya a acertar con cualquier fotografía futura. Si cambian las condiciones de uso, habrá que revisar si la evaluación sigue siendo pertinente. [4]
La próxima vez que una demostración anuncie que una IA reconoce imágenes, tendrás una pregunta concreta: ¿con qué fotos nuevas se comprobó? La respuesta ayuda a entender qué se ha medido y hasta dónde podemos confiar en ese resultado.
Fuentes y materiales
Para seguir aprendiendo
Explicaciones institucionales, documentación técnica y lecturas complementarias.
- Supervised Learning (se abre en otra pestaña)Google for Developers
Consultados los apartados Data, Model, Training, Evaluating e Inference. Explicación técnica de aprendizaje supervisado; no se ha entrenado un modelo para este artículo.
- Datasets: Dividing the original dataset (se abre en otra pestaña)Google for Developers · Machine Learning Crash Course
Leída la explicación de entrenamiento, validación, prueba, reutilización del conjunto de prueba, duplicados y representatividad. Sus porcentajes ilustrativos no se tratan como reglas universales.
- Overfitting (se abre en otra pestaña)Google for Developers · Machine Learning Crash Course
Consultadas las definiciones de sobreajuste y generalización y las condiciones de los conjuntos de datos. Los fallos por cambio de condiciones no se diagnostican automáticamente como sobreajuste.
- Artificial Intelligence Risk Management Framework (AI RMF 1.0) (se abre en otra pestaña)National Institute of Standards and Technology (NIST) · 2023
Consultados §3.1, páginas impresas 13–14, y MEASURE 2.3–2.5, página 29. Marco institucional voluntario sobre evaluación, condiciones de uso y límites; no es un estudio experimental.
Vídeo del proyecto
Contenido divulgativo de La Ciencia de Jaun; no sustituye a los estudios originales.
- Ver el vídeo completo en La Ciencia de Jaun: 15 preguntas de Inteligencia artificial ¿Qué es la inteligencia artificial? (se abre en otra pestaña)La Ciencia de Jaun · 2024
Leídas la descripción pública y la transcripción automática española completa. Los pasajes 0:40–1:01, 2:42–3:03 y 4:44–5:05 introducen aprendizaje automático y reconocimiento de imágenes. No se ha escuchado el audio. El mecanismo de evaluación y el ejemplo imaginario son ampliaciones independientes.
Correcciones y contacto
Si encuentras un posible error, indícanos el pasaje y, si la tienes, una fuente para contrastarlo.