De Circle à Commerce
Lorsque Google a introduit Circle to Search en janvier 2024, il a débuté comme une solution élégante à un problème persistant : les frictions impliquées dans la recherche de quelque chose que vous voyez sur l'écran de votre téléphone. Plutôt que de faire une capture d'écran, de basculer vers un navigateur, d'ouvrir Google Lens et de télécharger la capture, Circle to Search permettait aux utilisateurs de simplement appuyer longuement sur le bouton d'accueil et de dessiner un cercle autour de ce qu'ils voulaient rechercher — un texte, une image, un produit, un visage — sans quitter l'application dans laquelle ils se trouvaient. La fonction s'est depuis étendue à des dizaines de millions de dispositifs Android et a été citée par Google comme l'une de ses fonctionnalités alimentées par AI les plus réussies au cours des deux dernières années.
Google approfondit désormais les capacités de Circle to Search dans une direction qui élargira considérablement son utilité et, sans coincidence, son potentiel commercial. Un ensemble de nouvelles mises à jour ajoute ce que Google appelle des fonctionnalités d'intelligence visuelle : la capacité de reconnaître et de rechercher des articles spécifiques de mode, des produits de décoration intérieure et des biens de consommation dans les images — et d'afficher des résultats achetables qui permettent aux utilisateurs de trouver où ces articles sont vendus, à quel prix et dans quelles configurations. Combiné à une nouvelle capacité de voir l'image complète dans la recherche visuelle — comprendre les relations spatiales et contextuelles entre les objets dans une scène — les mises à jour représentent une expansion significative de ce que Circle to Search peut faire.
Recherche de Mode : Le Cas d'Usage Principal
La capacité d'identification de mode est la plus directement orientée vers l'utilisateur des nouvelles fonctionnalités. L'utilisant, un utilisateur peut entourer un vêtement dans un post Instagram, un pin Pinterest, une image de site web ou même une photo qu'il a prise avec son appareil photo et recevoir des résultats qui identifient l'article spécifique (quand c'est un produit reconnaissable), des articles visuellement similaires de plusieurs détaillants et des informations sur le prix et la disponibilité actuels. Le système utilise les modèles d'incorporation visuelle de Google — la même technologie qui sous-tend la recherche de produits de Google Lens — mais intégré nativement à l'interface de Circle to Search et étendu pour gérer les vues partielles, les conditions d'éclairage variables et les articles partiellement obscurcis.
Le cas d'usage pratique est celui que les consommateurs conscients de la mode reconnaîtront immédiatement : voir quelque chose que quelqu'un porte, vouloir le trouver ou quelque chose de similaire, et faire face au processus fastidieux d'essayer de le décrire en termes de recherche textuelle. La recherche Circle to Search pour la mode élimine complètement cette friction. La précision de l'identification varie selon le caractère distinctif de l'article — une pièce de créateur très spécifique avec une marque ou des détails reconnaissables est plus facilement identifiée qu'un t-shirt générique de couleur unie — mais les données d'entraînement étendues de Google sur des milliards d'images de produits donnent au système une large base de reconnaissance.
Reconnaissance de Décoration Intérieure et de Produits
Les mêmes capacités de reconnaissance visuelle s'étendent à la décoration intérieure et à l'électronique grand public, des catégories dans lesquelles les utilisateurs rencontrent fréquemment des articles dans les photographies — contenu éditorial, messages sur les réseaux sociaux, annonces immobilières — et veulent les acheter. Identifier une lampe spécifique, un motif de tapis particulier ou un modèle de télévision à partir d'une photographie de pièce a toujours été un problème difficile pour les systèmes de recherche d'images car ces articles apparaissent souvent à des angles, sous un éclairage varié et dans des vues partielles qui rendent l'identification exacte difficile.
Les modèles mis à jour de Google gèrent ces scénarios plus élégamment en raisonnant sur l'objet dans son contexte de scène plutôt que d'essayer de le faire correspondre à une image de produit isolée. Le système comprend qu'un objet en arrière-plan d'une photographie de pièce est probablement du mobilier ou de la décoration, incorpore cet antécédent dans le processus de reconnaissance et affiche les résultats qui tiennent compte de l'angle de visualisation et des conditions d'éclairage plutôt que d'exiger une image de catalogue propre pour une identification précise.
La Dimension Commerciale
Il serait naïf d'analyser ces mises à jour sans reconnaître leur dimension commerciale. L'activité publicitaire principale de Google dépend de la connexion de l'intention de l'utilisateur avec les opportunités commerciales, et la recherche visuelle représente une énorme zone de surface inexploitée pour cette connexion. Lorsqu'un utilisateur entoure un produit dans une image, c'est une expression d'intention d'achat qui est plus spécifique et actionnable que la plupart des recherches textuelles. La capacité d'afficher immédiatement les résultats achetables à partir de cette intention — et de le faire à l'intérieur des applications où les utilisateurs sont déjà engagés plutôt que de les obliger à naviguer vers Google — est énormément précieux du point de vue de la publicité et du commerce.
Google Shopping a été un contributeur important aux revenus pendant des années, et l'intégration de Circle to Search avec les résultats d'achat transforme essentiellement n'importe quelle image sur un appareil Android en un point de contact commercial potentiel. L'entreprise prend soin de le présenter comme un avantage pour l'utilisateur — trouver ce que vous voulez facilement — et pour la plupart des cas d'usage, ce cadre est précis. Mais l'alignement entre la commodité de l'utilisateur et les intérêts commerciaux de Google n'est pas une coïncidence, et il est important de noter que les améliorations d'AI visuelle qui permettent le plus directement le commerce sont celles qui reçoivent le placement le plus proéminent dans les annonces de produits Google.
Regards vers l'Avenir
Les mises à jour de Circle to Search font partie d'une évolution plus large des capacités d'AI sur appareil de Google. À mesure que Gemini Nano et les modèles connexes deviennent capables d'exécuter des tâches de plus en plus sophistiquées directement sur le matériel mobile, les fonctionnalités qui nécessitaient auparavant l'envoi de données vers les serveurs de Google peuvent être exécutées localement, avec des implications pour la latence et la confidentialité. Google a indiqué que certains traitements visuels de Circle to Search se déplaceront vers l'exécution sur l'appareil à mesure que l'efficacité du modèle s'améliore, ce qui permettrait à la fonction de fonctionner hors ligne et réduirait le transfert de données associé aux recherches visuelles. Pour l'instant, la combinaison de l'intelligence cloud et de l'exécution sur l'appareil confère à Circle to Search un profil de capacité qu'il est difficile pour les concurrents de reproduire sans accès à l'échelle des données d'entraînement et de l'infrastructure de Google.
Cet article est basé sur les reportages du Google AI Blog. Lire l'article original.
