« Count Anything » vise à faire du comptage d’objets une compétence générale de l’IA

Un problème de vision par ordinateur en apparence simple reçoit une réponse plus large

Les systèmes d’IA modernes peuvent légender des images, identifier des objets et extraire du texte, mais le comptage reste l’une des tâches visuelles les plus difficiles à généraliser. Un modèle performant sur des personnes dans une foule peut échouer sur des cellules au microscope ou des véhicules sur des images satellite. Cet écart compte, car le comptage n’est pas un problème anodin. On le retrouve en imagerie médicale, en agriculture, en analyse du trafic et dans les travaux scientifiques où la précision est essentielle.

Un nouveau système de recherche appelé Count Anything est conçu pour s’attaquer à cette limite en transformant le comptage d’objets en capacité polyvalente. Selon la source, le modèle peut compter et étiqueter des objets dans des images très différentes à l’aide d’une simple instruction textuelle. L’objectif affiché est un système unique capable de compter des têtes, des voitures, des cellules ou des colonies bactériennes sans nécessiter de modèle spécialisé distinct pour chaque domaine.

C’est cette ambition qui rend le travail remarquable. Le défi ne se limite pas à la détection. Il faut gérer des échelles d’image, des tailles d’objets et des densités de scène très différentes, tout en évitant les doubles comptes et les ambiguïtés qui font souvent échouer les systèmes de comptage.

Deux méthodes de comptage, réunies dans un seul système

La conception de base de Count Anything est hybride. La source indique que le modèle combine deux approches complémentaires. L’une est basée sur les régions et fonctionne mieux pour les grands objets bien visibles, en traçant des boîtes englobantes autour d’eux. L’autre est basée sur les pixels et vise les cibles plus petites ou plus denses, en plaçant des points plutôt que des boîtes. Le système fusionne ensuite les deux sorties en un ensemble final d’objets comptés.

Cette approche répond à un échec courant de l’IA visuelle. Les grands objets et les petits objets très serrés exigent souvent des traitements différents. Un compteur de foule peut bien fonctionner pour des têtes très denses, mais mal pour des éléments grands et isolés. Un détecteur entraîné sur des boîtes peut manquer des cibles microscopiques compactes. En séparant la tâche puis en réconciliant les sorties, les chercheurs cherchent à couvrir les deux extrémités du spectre.

La phase de réconciliation compte autant que le double dispositif. Selon la source, lorsque les deux méthodes identifient la même cible, une simple règle de confiance décide quelle prédiction est conservée, évitant ainsi les doubles comptes. C’est une solution pratique à un problème pratique : si deux compteurs voient le même objet, le système doit pouvoir n’en faire qu’une seule réponse.

Construit sur SAM3 de Meta

Les chercheurs n’ont pas tout construit à partir de zéro. Le système utilise SAM3, le modèle préentraîné de Meta, comme base, en tirant parti de sa capacité à traiter ensemble les images et le texte. Plutôt que de réentraîner tout le réseau, l’équipe a ajouté de petits modules adaptateurs dédiés à la tâche de comptage.

Ce choix s’inscrit dans une tendance plus large du développement de l’IA. Au lieu de reconstruire des modèles multimodaux généraux pour chaque nouveau cas d’usage, les chercheurs partent de plus en plus d’un modèle de base déjà performant et ajoutent des couches ou modules spécifiques à la tâche. L’avantage est clair : coût d’entraînement moindre, expérimentation plus rapide et meilleure chance de transfert des connaissances entre domaines.

Dans ce cas, la cible du transfert est particulièrement large. Le modèle doit fonctionner sur des images satellites, des examens médicaux, des photos de laboratoire et des images du quotidien. Si l’approche passe à l’échelle, cela suggère que le comptage peut être traité moins comme une série de niches isolées que comme une fonction de raisonnement visuel généralisée.

Un jeu de données personnalisé et de solides résultats de benchmark

La source indique que Count Anything a été entraîné sur un jeu de données personnalisé nommé CLOC et a surpassé plusieurs systèmes concurrents aux tests. Cette performance est importante, car la généralité ne sert à rien si elle se paie au prix de la précision. Les systèmes de comptage réussissent ou échouent selon leur capacité à rester précis lorsque les scènes deviennent confuses, encombrées ou changent de domaine.

En même temps, le rapport évite de surestimer le résultat. Le modèle a encore du mal avec des termes ambigus et des scènes extrêmement denses. Ces réserves sont essentielles, car elles soulignent la partie du problème qui reste non résolue. Même des humains peuvent diverger sur ce qu’il faut exactement compter lorsque le langage est vague ou que la scène est visuellement encombrée. Une consigne comme « comptez les véhicules » paraît simple jusqu’à ce qu’elle rencontre des voitures miniatures, des occultations partielles ou des formes lointaines difficilement identifiables.

Les images denses constituent un autre défi persistant. Lorsque les objets se chevauchent fortement ou deviennent presque indiscernables, le comptage ressemble moins à une détection classique qu’à une estimation statistique. Un système qui gère bien un type de densité peut encore échouer sur un autre. C’est pourquoi la conception hybride est notable, même si elle ne résout pas entièrement les cas limites.

Pourquoi le comptage général est important

Si Count Anything ou des systèmes similaires arrivent à maturité, leur impact pourrait dépasser largement les classements de benchmark. En médecine, un comptage fiable peut soutenir l’analyse d’images où les cliniciens doivent estimer des cellules, des lésions ou d’autres cibles visibles. En agriculture, compter des plantes ou des caractéristiques de culture peut aider à estimer les rendements. Dans les transports et l’urbanisme, compter des voitures ou des piétons peut éclairer la gestion du trafic. En science, compter des structures minuscules dans des images denses est une tâche routinière mais fastidieuse.

L’intérêt d’un système fondé sur des instructions est qu’il réduit la distance entre l’intention de l’utilisateur et la sortie de la machine. Au lieu de choisir un outil étroit conçu pour une seule catégorie, l’utilisateur peut spécifier l’objet en langage naturel et recevoir à la fois un nombre et des marques visuelles montrant ce qui a été inclus. Ce type d’explicabilité est utile, car il permet de vérifier si le système a compté les bonnes choses, pas seulement s’il a produit un total plausible.

La recherche n’élimine pas les difficultés du comptage, mais elle les reformule. Au lieu de traiter le comptage comme une collection de niches isolées, elle l’envisage comme un problème multimodal partagé, avec des variations propres à chaque domaine. C’est une cible plus ambitieuse et, selon la source, les premiers résultats sont suffisamment solides pour mériter qu’on les suive de près.

Cet article est basé sur un reportage de The Decoder. Lire l’article original.