Clasificación temática y automática de imágenes de la red social Pinterest con deep learning

Abstract

La clasificación temática de imágenes consiste en asignar de manera automática una o más categorías predefinidas a una imagen dada. La clasificación de imágenes permite ajustar el contenido proporcionado a los usuarios con fines de marketing, información, entretenimiento, y más. En este artículo se presenta un proyecto de clasificación temática y automática de imágenes de la red social Pinterest. El objetivo del proyecto es asignar la categoría más adecuada a cada imagen de un conjunto de prueba, considerando 32 categorías predefinidas por el sitio. El proceso se divide en tres fases: la recolección de datos del sitio web de Pinterest, la extracción de características de las imágenes mediante técnicas de aprendizaje profundo (deep learning), y la clasificación de las imágenes utilizando modelos de aprendizaje de máquina (machine learning). Para extraer las características de las imágenes se utilizaron los modelos EfficientNetV2 y ConvNeXt con diferentes configuraciones. Para clasificar las imágenes en las categorías predefinidas, se aplicaron los modelos de k-vecinos más cercanos, máquinas de vectores de soporte, y una red neuronal de 3 capas. Los modelos de clasificación utilizaron las características extraídas en la segunda fase y fueron entrenados para predecir la categoría más adecuada para cada imagen. Para experimentar con los modelos mencionados, se utilizó un conjunto de datos compuesto por 32,000 imágenes obtenidas directamente del sitio web de Pinterest, las cuales corresponden a 670 usuarios y abarcan las 32 categorías establecidas. La evaluación de los modelos de clasificación se realizó utilizando la métrica macro F1.