‘Count Anything’ busca convertir el conteo de objetos en una habilidad general de la IA

Un problema de visión por computadora que parece simple está recibiendo una respuesta más amplia

Los sistemas modernos de IA pueden describir imágenes, identificar objetos y extraer texto, pero contar sigue siendo una de las tareas visuales más difíciles de generalizar. Un modelo que funciona bien con personas en una multitud puede fallar con células bajo un microscopio o vehículos en imágenes satelitales. Esa brecha importa porque contar no es un problema trivial. Aparece en imágenes médicas, agricultura, análisis de tráfico y trabajo científico donde la precisión es crucial.

Un nuevo sistema de investigación llamado Count Anything está diseñado para abordar esa limitación convirtiendo el conteo de objetos en una capacidad de propósito general. Según el material de origen, el modelo puede contar y etiquetar objetos en tipos de imágenes muy diferentes usando solo una indicación de texto. El objetivo declarado es un sistema único al que se le pueda pedir contar cabezas, autos, células o colonias bacterianas sin necesidad de un modelo especializado separado para cada dominio.

Esa ambición es lo que hace notable el trabajo. El desafío no es solo la detección. Es manejar escalas de imagen, tamaños de objeto y densidades de escena radicalmente distintos, evitando al mismo tiempo el doble conteo y la ambigüedad que suelen romper los sistemas de conteo.

Dos métodos de conteo, combinados en un solo sistema

El diseño central de Count Anything es híbrido. La fuente indica que el modelo combina dos enfoques complementarios. Uno es basado en regiones y funciona mejor con objetos grandes y claramente visibles, dibujando cuadros delimitadores a su alrededor. El otro es basado en píxeles y está orientado a objetivos más pequeños o densos, colocando puntos en lugar de cuadros. El sistema fusiona ambas salidas en un conjunto final de objetos contados.

Este enfoque aborda un modo de fallo común en la IA visual. Los objetos grandes y los objetos diminutos muy compactos suelen requerir tratamientos diferentes. Un contador de multitudes puede funcionar bien para conteos densos de cabezas, pero mal para elementos grandes e aislados. Un detector entrenado para cuadros puede pasar por alto objetivos microscópicos muy compactos. Al dividir el trabajo y luego reconciliar las salidas, los investigadores intentan cubrir ambos extremos.

La etapa de reconciliación importa tanto como la configuración de dos modelos. Según la fuente, cuando ambos métodos detectan el mismo objetivo, una simple regla de confianza decide qué predicción se conserva, evitando el doble conteo. Es una solución práctica a un problema práctico: si dos contadores distintos ven el mismo objeto, el sistema necesita una forma de reducirlo a una sola respuesta.

Construido sobre SAM3 de Meta

Los investigadores no construyeron todo el modelo desde cero. El sistema usa como base SAM3, el modelo preentrenado de Meta, aprovechando su capacidad para procesar imágenes y texto juntos. En lugar de volver a entrenar toda la red, el equipo añadió componentes adaptadores más pequeños para la tarea de conteo.

Esa elección coincide con una tendencia más amplia en el desarrollo de IA. En lugar de reconstruir modelos multimodales generales para cada caso nuevo, los investigadores empiezan cada vez más con un modelo base capaz y añaden capas o módulos específicos para la tarea. La ventaja es obvia: menor costo de entrenamiento, experimentación más rápida y una mejor probabilidad de transferir conocimiento entre dominios.

En este caso, el objetivo de transferencia es inusualmente amplio. El modelo está pensado para funcionar en imágenes satelitales, escaneos médicos, fotos de laboratorio e imágenes cotidianas. Si el enfoque escala, sugeriría que el conteo puede tratarse menos como una serie de tareas verticales separadas y más como una función de razonamiento visual generalizada.

Un conjunto de datos personalizado y buenos resultados en pruebas

La fuente indica que Count Anything se entrenó con un conjunto de datos personalizado llamado CLOC y superó a varios sistemas competidores en las pruebas. Esa afirmación de rendimiento es importante porque la generalidad no sirve de mucho si se consigue a costa de la precisión. Los sistemas de conteo dependen de su capacidad para mantener la exactitud cuando las escenas se vuelven confusas, abarrotadas o cambian de dominio.

Al mismo tiempo, el informe evita exagerar el resultado. El modelo sigue teniendo dificultades con términos ambiguos y escenas extremadamente densas. Esas salvedades son esenciales porque ponen de relieve la parte del problema que sigue sin resolverse. Incluso los humanos pueden discrepar sobre qué exactamente debe contarse cuando el lenguaje es vago o la escena está visualmente recargada. Una instrucción como “cuenta los vehículos” parece sencilla hasta que se enfrenta a autos de juguete, oclusiones parciales o formas lejanas que no se distinguen del todo.

Las imágenes densas son otro desafío persistente. Cuando los objetos se superponen mucho o se vuelven casi indistinguibles, contar se parece menos a la detección estándar y más a una estimación estadística. Un sistema que maneja bien un tipo de densidad puede seguir fallando en otro. Por eso el diseño híbrido es notable, aunque no resuelva por completo los casos límite.

Por qué importa el conteo general

Si Count Anything o sistemas similares maduran, el impacto podría ir mucho más allá de las clasificaciones en benchmarks. En medicina, un conteo fiable puede respaldar el análisis de imágenes donde los clínicos necesitan estimar células, lesiones u otros objetivos visibles. En agricultura, contar plantas o rasgos de cultivo puede ayudar a estimar rendimientos. En transporte y planificación urbana, contar autos o peatones puede servir para gestionar el tráfico. En ciencia, contar estructuras pequeñas en imágenes densas es un requisito rutinario pero tedioso.

El atractivo de un sistema basado en indicaciones es que reduce la distancia entre la intención del usuario y la salida de la máquina. En lugar de seleccionar una herramienta estrecha creada para una sola categoría, el usuario podría especificar el objeto en lenguaje y recibir tanto un conteo como marcas visuales que muestran qué se incluyó. Ese tipo de explicabilidad es útil porque permite revisar si el sistema contó lo correcto, no solo si produjo un total plausible.

La investigación no elimina las partes difíciles del conteo, pero las replantea. En lugar de tratar el conteo como una colección de nichos aislados, lo aborda como un problema multimodal compartido con variaciones específicas de dominio. Ese es un objetivo más ambicioso y, según la fuente, los resultados iniciales son lo bastante sólidos como para seguirlos de cerca.

Este artículo se basa en la cobertura de The Decoder. Leer el artículo original.