Quando um alerta da loja vira uma acusação pública

Um novo conjunto de casos relatados no Reino Unido está tornando mais agudo o debate sobre reconhecimento facial no comércio do dia a dia. Segundo reportagem do The Guardian, alguns compradores foram abordados em lojas, informados de que deveriam sair e avisados de que um sistema de reconhecimento facial em tempo real os havia identificado como suspeitos de furto em lojas. As pessoas envolvidas afirmam que eram inocentes e depois tiveram dificuldade para encontrar um caminho prático para contestar a acusação ou limpar seus nomes.

O artigo se concentra na Facewatch, um sistema que está sendo implantado no varejo do Reino Unido para ajudar a combater furtos. O site da empresa afirma precisão de 99,98% e diz ter enviado 50.288 alertas de infratores conhecidos para lojas participantes em um mês recente. Mas as experiências relatadas mostram que mesmo um sistema promovido como altamente preciso pode se tornar socialmente danoso quando um erro chega ao chão da loja. Percentuais de precisão não apagam as consequências de uma correspondência falsa para a pessoa mandada largar seus itens e sair.

A lacuna de governança está virando a história

Talvez a questão mais importante aqui não seja o uso bruto do reconhecimento facial, e sim a fraca responsabilização em torno de sua implantação. Um dos compradores descritos no relatório, Ian Clayton, disse que lhe informaram que ele aparecia no sistema como ladrão de loja enquanto visitava uma loja da Home Bargains. Depois de tentar obter respostas, ele acabou enviando uma solicitação de acesso do titular dos dados e descobriu que havia sido associado incorretamente a um incidente anterior. Ele descreveu a experiência como se fosse ser considerado culpado até que se prove o contrário.

Essa frase captura o problema mais profundo. Em muitos debates públicos sobre IA, a ênfase recai sobre a precisão do modelo, as alegações do fornecedor e se a tecnologia funciona em princípio. Mas, para as pessoas atingidas por um alerta falso, as perguntas urgentes são processuais. Quem tomou a decisão? Foi erro do sistema ou da equipe? Que evidências existem? Com que rapidez um erro pode ser corrigido? Quem é responsável pelo dano?

A resposta relatada, ao menos nesses casos, não foi tranquilizadora. Algumas pessoas disseram que receberam pouca ajuda e não sabiam como reclamar ou provar sua inocência. Isso sugere que a supervisão e a reparação ao cliente não acompanharam o ritmo da implantação.