CACIC 2026 // Workshop de Computación Gráfica, Imágenes y Visualización

Evaluación comparativa entre aprendizaje profundo y seguimiento de identidad para el reconocimiento de tableros

Angelo V. Perrotta · Santiago M. González · Franco A. Balich · Néstor Balich

Universidad Abierta Interamericana · Facultad de Tecnología Informática
Centro de Altos Estudios en Tecnología Informática · Laboratorio de Robótica Física e Inteligencia Artificial

Artículo 16730 · 8 de octubre de 2026 Universidad Abierta Interamericana CAETI

El problema // 01

64 casillas. Cuál está ocupada y por qué pieza?

Reconstruir la posición de un tablero físico a partir de una imagen, en forma digital y sin que nadie la cargue a mano.

Por qué // 02

Un robot que juega sobre un tablero real

Toda la cadena depende de la primera etapa. Si la percepción falla, lo que sigue no tiene sentido.

Entrada
Cámara
Vista del tablero
imágenes→
Este trabajo
Módulo de visión
Estado de la partida
PGN→
Decisión
Motor de ajedrez
Stockfish por UCI
jugada→
Traducción
Coordenadas
De casilla a posición
MQTT→
Actuación
Brazo robótico
En construcción
El motor de ajedrez ya existe y el brazo se arma con componentes conocidos. La etapa de percepción es la única que hay que resolver desde cero.

Estado del arte // 03

El camino estándar es clasificar cada pieza

Un modelo aprende a reconocer las doce clases posibles a partir de imágenes etiquetadas.

  • ·Wölflein y Arandjelović (2021) · visión tradicional más dos redes convolucionales, una de ocupación y otra de clasificación
  • ·Naik y colaboradores (2025) · detección basada en YOLO en tiempo real
  • ·Masouris y van Gemert (2023) · arquitecturas de extremo a extremo
  • ·Czyzewski y colaboradores (2020) · detección de la retícula asistida por redes neuronales

El costo // 04

Tres limitaciones que arrastra clasificar

01 · Datos

Necesita muchas imágenes anotadas. Alguien tiene que etiquetar pieza por pieza.

02 · Entrenamiento

Consume tiempo y recursos de cómputo cada vez que cambia algo.

03 · Generalización

Queda atado a los estilos de pieza vistos durante el entrenamiento.

La tercera es la que nos afectó de verdad. El modelo no reconocía de forma confiable las piezas del laboratorio.

La pregunta // 05

Y si no clasificamos ninguna pieza?

Si se conoce la posición inicial y se observa la partida jugada a jugada, la identidad se mantiene por seguimiento, y las reglas del ajedrez validan cada cambio.

El sistema solo necesita detectar si una casilla está ocupada y de qué bando es la pieza. Nunca qué pieza es.
Estado t
→
1 jugada
Estado t+1

Punto de partida // 06

El prototipo geométrico inicial

Localización en cascada, rectificación por homografía y detección de ocupación. Sin aprendizaje automático.

Resolvió bien

  • +Localización del tablero
  • +División en 64 casillas
  • +Ocupación de cada casilla

Quedó pendiente

  • −Identificar el tipo de pieza, delegado en un modelo externo que no generalizaba
Esa carencia abrió dos caminos. Mejorar la clasificación, o eliminarla.

Paradigma A // 07

Aprendizaje profundo

  • ·YOLOv8 variante pequeña
  • ·6.588 imágenes de tableros reales, repositorio público
  • ·100 épocas desde pesos preentrenados
  • ·12 clases de pieza
  • ·Salida en notación FEN

Cómo trabaja

Detecta las piezas y devuelve recuadro, clase y confianza. El centro de cada recuadro se proyecta sobre la cuadrícula rectificada y asigna la pieza a su casilla.

Cámara oblicua, cerca de 60 grados respecto del plano del tablero. Es la disposición con la que fue entrenado.

Paradigma A // 08

Detecciones de YOLOv8 sobre un tablero real en vista oblicua

Detecciones con su clase y confianza, y la reconstrucción digital de la posición. Vista oblicua, el ángulo natural de este paradigma.

Paradigma B // 09

Seguimiento de identidad

La propuesta del trabajo. No clasifica ninguna pieza en ningún momento.

Posición inicial

En ajedrez es siempre la misma. La identidad de las 32 piezas se conoce de entrada.

Persistencia

Entre dos lecturas consecutivas cambian muy pocas casillas. El cambio es la señal.

Reglas del ajedrez

Determinan qué transiciones son posibles. Lo que no encaja se descarta.

Paradigma B // 10 · flujo

Inicialización · una sola vez
Paso 1
Localizar tablero
Cascada de tres estrategias y homografía
→
Paso 2
Calibrar vacío
Referencia para comparar ocupación
→
Paso 3
Asignar identidades
Las 32 piezas desde la posición inicial
Ciclo · en cada jugada
Paso 4
Leer tablero
Ocupación y bando por casilla
→
Paso 5
Detectar el cambio
Qué casillas se vaciaron y cuáles se ocuparon
→
Paso 6
Movimiento o captura
Transferir o retirar la identidad
→
Paso 7 · clave
Validar contra las reglas
Lo que no encaja se descarta
→
Paso 8
Registrar
Notación estándar y salida PGN
↺No valida · se descarta la lectura y el estado interno no se toca
↺Vuelve al paso 4 en la jugada siguiente

Paradigma B // 11

Localización y ocupación

Localización, cascada de tres

  • 149 esquinas internas del patrón 7×7, con refinamiento subpíxel
  • 2Transformada de Hough sobre las líneas de la cuadrícula
  • 3Análisis de contornos hasta hallar un cuadrilátero compatible

Homografía a 800 × 800 píxeles.

Ocupación, por diferencia

Comparación contra una referencia del tablero vacío tomada en la calibración.

De cada casilla se usa la región central, descartando un 15 % de cada lado para evitar las líneas divisorias.

Si la proporción de píxeles que cambiaron supera el umbral, la casilla está ocupada. El bando sale por segmentación de color.

Paradigma B // 12

Transferencia de identidad

Movimiento simple

Una casilla ocupada se vacía y una vacía se ocupa, mismo bando.

La identidad se transfiere del origen al destino.

Captura

Una casilla se vacía y otra cambia de bando.

La pieza capturada se retira del seguimiento.

Cada transición se valida contra las reglas y se registra en notación estándar. Si una lectura no encaja con ningún caso válido, el sistema la descarta y espera otra, así que el error no se propaga. Un clasificador que mira cada imagen por separado devuelve directamente una posición equivocada.

Paradigma B // 13

Seguimiento de identidad en vista cenital

Identidad superpuesta

Cada cubo lleva la letra de la identidad asignada desde la posición inicial. El color indica el bando.

Los cubos difieren del blanco y negro de las casillas, así que la segmentación evita el problema clásico de confundir una pieza clara apoyada sobre una casilla clara.

Cobertura del reglamento // 14

Los tres casos especiales

Enroque

4 cambios simultáneos del mismo bando. Solo hay cuatro combinaciones posibles, se resuelve con una tabla fija.

Captura al paso

3 cambios. Se vacía también la casilla del peón capturado, que no coincide con el destino. Ese desajuste la distingue.

Promoción

Sin cambio de conteo, pero sí de identidad. Al llegar a la última fila se reemplaza por la pieza elegida.

La estructura del método no cambia. Lo que se amplía es el repertorio de patrones reconocidos.

Montaje experimental // 15

Equipo

  • ·Intel Core i5, 13.ª generación · 16 GB RAM
  • ·Logitech C920e en alta definición
  • ·Iluminación blanca de laboratorio
  • ·Tres repeticiones por caso, se informa el promedio

Cuatro conjuntos de medidas

  • 1Detección del tablero
  • 2Ocupación de casillas
  • 3Identificación y seguimiento
  • 4Generalización de ángulo
Cada paradigma se evaluó en el dominio para el que fue diseñado, y esa asimetría es deliberada. Las cifras no dicen cuál es mejor en condiciones idénticas, sino cuánto rinde cada uno dentro de su dominio y cuánto se degrada fuera de él.

Resultados // 16 · tablero y ocupación

Acá los tres empatan

Aprend. profundo

100%

64 de 64

Seguimiento

100%

64 de 64

Prototipo geom.

100%

64 de 64

Localización del tablero y detección de ocupación son problemas resueltos para los tres enfoques dentro de su dominio. Las diferencias aparecen en la etapa siguiente.

Resultados // 17 · identificación

Identificación de piezas y exactitud del seguimiento

Aprend. profundo · posición inicial, 32 piezas
62 %
Aprend. profundo · mitad de partida, 16 piezas
75 %
Seguimiento · secuencia de 10 movimientos
100 %
Seguimiento · secuencia con 3 capturas
100 %
Seguimiento · secuencia de 15 movimientos
100 %
Las dos medidas no son directamente equiparables. Una cuenta piezas en una imagen estática, la otra movimientos en una secuencia. Responden a la misma pregunta de fondo, con qué fidelidad se reconstruye la partida.

Resultados // 18 · generalización de ángulo

Cada uno en su ángulo, y en el del otro

Aprend. profundo · oblicua (natural)
22/32
Aprend. profundo · cenital (cruzado)
13/32
Seguimiento · cenital (natural)
64/64
Seguimiento · oblicua (cruzado)
0/64
Ninguno domina en todo el espacio de condiciones. El aprendizaje profundo es más flexible frente al ángulo y lo paga con precisión y con entrenamiento. El seguimiento es exacto y no entrena, pero solo dentro de su dominio. Cada uno ocupa un nicho distinto.

Resultados // 19 · condiciones adversas

Robustez

ParadigmaCondiciónResultado
Aprendizaje profundoIluminación tenue10 de 16 piezas
Aprendizaje profundoReflejos intensos11 de 16 piezas
Aprendizaje profundoOclusión de piezasfalla
SeguimientoIluminación tenue64 de 64 casillas
SeguimientoReflejos intensos64 de 64 casillas
Tres repeticiones por caso, así que las diferencias pequeñas no deben leerse como significativas. Las de esta tabla no son pequeñas.

Síntesis // 20

PropiedadAprend. profundoSeguimientoPrototipo geom.
Requiere un modelo entrenadoSíNoNo
Requiere datos etiquetadosSíNoNo
Admite piezas no estándarNoSíSí
Reconoce desde cualquier posiciónSíNoSí
Registra la secuencia de jugadasNoSíNo
Valida legalidadNoSíNo
SalidaFENPGNOcupación

Conclusión // 21

El paradigma cambia el eje del problema

En lugar de invertir esfuerzo en reconocer cada pieza, lo invierte en mantener la coherencia de la partida a lo largo del tiempo.

Lo que mostramos

  • ·Ninguno domina en todas las condiciones
  • ·El nicho lo define el ángulo, los datos y el tipo de pieza
  • ·El seguimiento encaja con el robot que mira desde el inicio

Lo que sigue

  • ·Implementar los casos especiales
  • ·Caracterizar el costo computacional por cuadro
  • ·Ampliar repeticiones y medir dispersión
  • ·Integrar con el brazo en construcción
? ayuda