Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?

En esta primera semana explicaremos los fundamentos de la clasificación de imágenes y presentaremos todos los pasos de un primer sistema de clasificación básico. Para ello, primero veremos algunos conceptos básicos sobre el procesamiento de una imagen que nos servirán para introducir un primer método para detectar y describir características locales (SIFT) en una imagen. Luego veremos cómo podemos agrupar estas características locales para representar toda la imagen y explicaremos un primer clasificador simple, k-NN. Finalmente comentaremos los aspectos básicos de la evaluación del rendimiento de un sistema de clasificación de imágenes.

Esta semana introduciremos Bag of Words como método de representación básico que utilizaremos mayoritariamente a lo largo de todo el curso. Explicaremos todos los detalles necesarios para construir la representación BoW de una imagen, incluyendo la construcción del vocabulario utilizando K-Means y cómo agregar la información de las características locales en la representación final en forma de histograma. En la segunda parte de la semana explicaremos Support Vector Machines (SVM) como método de clasificación, tanto los conceptos fundamentales como su formulación matemática y los detalles para entrenar y utilizar un clasificador basado en SVM. Finalmente, completaremos la explicación de la evaluación del rendimiento que introducimos en la primera semana.

En esta semana completaremos la explicación de métodos de extracción de características que iniciamos en la primera semana ofreciendo alternativas a la utilización de SIFT. En concreto veremos SURF como un nuevo método de detección y extracción más eficiente computacionalmente que SIFT. Para aumentar la capacidad descriptiva de las características analizaremos otras estrategias para la detección de características locales e introduciremos descriptores que nos permitan tener en cuenta la información del color en la imagen. Veremos también como podemos también mejorar la eficiencia computacional reduciendo la dimensión de los descriptores de carácterísticas locales.

En esta semana veremos cómo podemos combinar diferentes descriptores que aportan diferente tipo de información en el esquema de representación BoW. Explicaremos los diferentes niveles a los que se puede hacer esta combinación: a nivel de descriptores locales (early fusion), a nivel de construcción del vocabulario (intemediate fusion) o a nivel de clasificador (late fusion)