Uma nova camada de rede para clusters de IA maiores
A OpenAI apresentou o Multipath Reliable Connection, ou MRC, um protocolo de rede projetado para sistemas de treinamento de IA em larga escala, nos quais atrasos entre GPUs podem desacelerar uma tarefa inteira. A empresa disse que desenvolveu o protocolo com AMD, Broadcom, Intel, Microsoft e NVIDIA e, em seguida, publicou a especificação por meio do Open Compute Project para que outros operadores possam adotá-la.
A iniciativa mira um dos gargalos menos visíveis no desenvolvimento de modelos de fronteira. As execuções de treinamento dependem de enormes volumes de dados circulando entre aceleradores, e uma única transferência atrasada pode deixar hardware caro aguardando sem uso. A OpenAI argumenta que, à medida que os clusters crescem, congestionamento, falhas de link e problemas de roteamento se tornam frequentes o suficiente para que o próprio design da rede passe a ser um fator central na velocidade e na confiabilidade do treinamento.
O que o MRC pretende corrigir
Em sua descrição do sistema, a OpenAI disse que o protocolo se baseia em três ideias: redes de alta velocidade em múltiplos planos para redundância, espalhamento adaptativo de pacotes para reduzir a congestão no núcleo e roteamento estático de origem para contornar falhas. A empresa apresentou essas escolhas como uma forma de reduzir a complexidade ao mesmo tempo em que melhora a resiliência.
O problema básico é a escala. Uma etapa de treinamento moderna pode exigir milhões de transferências de dados pela malha de um supercomputador. Se um caminho de rede ficar congestionado ou um dispositivo falhar, essa interrupção pode se espalhar e travar o trabalho sincronizado em muitas GPUs. A OpenAI disse que o MRC foi criado para impedir que esses problemas se propaguem, distribuindo o tráfego de forma mais eficiente e permitindo que falhas sejam contornadas sem depender de um comportamento de roteamento mais frágil.
Três decisões centrais de design
- A rede em múltiplos planos foi pensada para oferecer redundância usando menos componentes e menos energia do que algumas alternativas.
- O espalhamento adaptativo de pacotes distribui o tráfego por diferentes caminhos para reduzir pontos de calor no núcleo da rede.
- O roteamento estático de origem é usado na implantação para contornar falhas e evitar por completo certas classes de falhas de roteamento.
Por que isso importa além de uma empresa
A OpenAI relacionou o lançamento à sua estratégia mais ampla de computação e às exigências de uma infraestrutura em escala Stargate. A empresa afirmou que padrões compartilhados em camadas-chave da infraestrutura podem ajudar os sistemas de IA a escalar com mais eficiência em um ecossistema mais amplo de parceiros. Lançar a especificação por meio do OCP também sinaliza que o design de redes para clusters de IA começa a ser tratado como um problema compartilhado da indústria, e não como um detalhe privado de implementação.
Isso importa porque a economia do treinamento de modelos não é determinada apenas por chips e energia, mas por quão bem os operadores conseguem manter os clusters ocupados. Um protocolo que reduza a variabilidade e torne mais fácil contornar falhas pode melhorar a utilização em grandes implantações, o que por sua vez afeta a rapidez com que novos modelos podem ser treinados e quanto de infraestrutura precisa ser construída para atingir uma meta específica.
A lista de parceiros também ressalta o quão amplo o problema se tornou. Com fornecedores de semicondutores, operadores de infraestrutura em nuvem e fabricantes de sistemas todos envolvidos, o lançamento sugere que a rede de IA está se tornando sua própria camada competitiva importante. O fato de a OpenAI ter escolhido uma especificação aberta em vez de uma abordagem puramente proprietária indica uma aposta de que interoperabilidade e adoção pelo ecossistema agora valem mais do que manter essa parte da pilha fechada.
O sinal maior de infraestrutura
O anúncio é notável menos por um único recurso do protocolo e mais por mostrar onde a pressão sobre a infraestrutura de IA está se acumulando. Durante anos, a conversa pública sobre escalonamento de modelos se concentrou em GPUs. O MRC destaca a próxima restrição: quando o número de aceleradores se torna massivo, a rede entre eles pode decidir se a capacidade teórica de computação realmente se traduz em trabalho útil.
A OpenAI está, na prática, argumentando que o caminho para sistemas de treinamento maiores e mais confiáveis passa por malhas de rede mais simples e mais tolerantes a falhas. Se o MRC tiver o desempenho descrito em implantações reais, ele poderá ajudar a definir expectativas sobre como futuros clusters de IA em hiperescalas serão construídos. No mínimo, ele marca mais um passo na industrialização da infraestrutura de IA, em que os avanços passam cada vez mais pela engenharia de sistemas tanto quanto pela arquitetura de modelos.
Este artigo é baseado em reportagem da OpenAI. Leia o artigo original.
Originally published on openai.com
