VisDecode: Extracción de decisiones de diseño en visualizaciones con modelos pixel-to-text

  • Martín A. Sinnona
  • Viviana Siless
  • Emmanuel Iarussi
Palabras clave: Visualización de datos, Extracción de atributos, Lenguaje visual

Resumen

En este trabajo introducimos VisDecode, un framework para extraer decisiones de diseño a partir de visualizaciones. Haciendo uso de imágenes rasterizadas de visualizaciones genéricas (gráficos de barra, lineas, dispersión), nuestro algoritmo identifica atributos perceptuales y los relaciona con los datos. Entrenamos una red neuronal profunda con un dataset sintético que consiste en pares de visualizaciones-decisiones de diseño. Estas visualizaciones fueron rasterizadas a partir de tablas de datos , generadas aleatoriamente por modelos de lenguaje , que incluyen variables cuantitativas y categóricas que se asemejan a datos del mundo real. Luego del entrenamiento, VisDecode es capaz de extraer decisiones de diseño de gráficos provenientes de internet. Nuestro objetivo a mediano plazo es poder mejorar las interfaces de visualización para lograr mejores prácticas de diseño.

Publicado
2024-10-12
Cómo citar
Sinnona, M., Siless, V., & Iarussi, E. (2024). VisDecode: Extracción de decisiones de diseño en visualizaciones con modelos pixel-to-text. Memorias De Las JAIIO, 10(11), 109-112. Recuperado a partir de https://publicaciones.sadio.org.ar/index.php/JAIIO/article/view/1060
Sección
SAIV - Simposio Argentino de Imágenes y Visión