El próximo cuello de botella de la IA podría ser los datos, no el tamaño del modelo

Un exinvestigador de OpenAI está defendiendo con fuerza que la próxima gran carrera armamentista de la IA se centrará en los datos de entrenamiento, y no solo en el escalado. Según informa The Decoder, Andrew Ho dejó OpenAI después de ocho meses para crear una empresa centrada en producir conjuntos de datos especializados y de alta calidad, impulsado por la idea de que los modelos de lenguaje grandes todavía generalizan mal en tareas económicamente importantes.

La afirmación choca con una de las suposiciones más persistentes de la IA moderna: que los modelos más grandes, entrenados con más cómputo, seguirán ampliando su competencia en distintos dominios. La postura de Ho es que eso no basta. En su opinión, muchas formas valiosas de trabajo son demasiado contextuales, están demasiado mal representadas o son demasiado difíciles de evaluar dentro de los conjuntos de datos existentes como para que el manual actual de escalado pueda capturarlas de forma fiable.

Ese argumento importa porque desplaza la atención desde la competencia visible entre los laboratorios de modelos frontera hacia el negocio menos glamuroso pero cada vez más estratégico de la creación de datos. Si Ho tiene razón, la próxima ventaja duradera en IA podría venir de quien sea capaz de recopilar, estructurar y validar ejemplos específicos de tareas a escala industrial.

Por qué los conjuntos de datos actuales podrían ser insuficientes

El informe original dice que Ho cree que el problema central es que la mayoría de las habilidades económicamente significativas apenas están representadas en los corpus de entrenamiento existentes. El texto a escala de internet ha bastado para crear chatbots capaces, asistentes de código y herramientas de investigación, pero quizá no para enseñar a los modelos a realizar trabajo especializado con fiabilidad constante.

La crítica de Ho es especialmente aguda porque procede desde dentro del ecosistema de modelos frontera y no de un escéptico externo. Argumenta que, incluso cuando los humanos pueden observar un “camino dorado” a través de una tarea, es difícil saber si las rutas alternativas también son buenas, malas o incompletas. Esa ambigüedad hace que muchas habilidades del mundo real sean difíciles de codificar en entornos de referencia ordenados.

En otras palabras, el desafío no consiste simplemente en recopilar más texto. Se trata de construir conjuntos de datos que conserven contexto, resultados, casos límite y señales de calidad en dominios donde los errores salen caros y donde el desempeño correcto depende del conocimiento tácito. Ese es un problema de datos mucho más difícil que simplemente rastrear la web pública.

De la ambición amplia en IA a la ejecución en dominios más estrechos

La tesis de Ho se ve reforzada en el informe por el trabajo del investigador de Cambridge Adam Hunt y por el apoyo de investigadores de Google DeepMind, que sostienen que los sistemas actuales se están volviendo más especializados en lugar de más universalmente capaces. La implicación es que algunas mejoras destacadas pueden ocultar un panorama subyacente más desigual: los modelos pueden afinarse en áreas concretas mientras se estancan o se deterioran en otras.

Esa diferencia es importante para las empresas que intentan desplegar IA en laboratorios, flujos de trabajo sanitarios, análisis científico u otros entornos de alto valor. Un modelo que impresiona en demostraciones pero es inconsistente en entornos reales no basta. La fiabilidad, la repetibilidad y la competencia específica del dominio importan más que una fluidez amplia pero superficial.

Si los desarrolladores de modelos están llegando a un techo en la resolución creativa de problemas o en la transferencia generalizada, entonces los datos dirigidos se convierten en una forma de impulsar la capacidad allí donde realmente cuenta. Ese es, en esencia, el apuesto de Ho: no que el escalado sea inútil, sino que sus retornos disminuyen si no va acompañado de datos diseñados en torno a tareas concretas.

Two paths of AI development: gradual, broad improvement across all tasks (top) versus extreme specialization where a few capabilities spike while core skills stagnate or shrink (bottom). | Image: via Adam Hun
Two paths of AI development: gradual, broad improvement across all tasks (top) versus extreme specialization where a few capabilities spike while core skills stagnate or shrink (bottom). | Image: via Adam Hun

Los primeros objetivos: bioinformática y trabajo rutinario de laboratorio

La empresa que Ho está lanzando supuestamente comienza con dos áreas. Una es la bioinformática, donde el artículo dice que incluso modelos actuales como GPT-5.6 Sol solo alcanzan alrededor de un 30 por ciento de éxito en análisis científicos complejos relacionados con el trabajo previo de Ho en OpenAI. La segunda área es el trabajo rutinario de laboratorio, incluidos escenarios en los que investigadores envían imágenes de experimentos a sistemas de IA para su evaluación.

Esos puntos de partida son reveladores. Ambos son ámbitos en los que una IA útil requiere más que imitación del lenguaje. La bioinformática suele implicar razonamiento en varios pasos, convenciones del dominio, contexto científico y alta sensibilidad al error. Los flujos de trabajo de laboratorio pueden depender del juicio visual, la comprensión procedimental y la interpretación práctica, en lugar de respuestas de libro de texto. Precisamente son estos los entornos en los que unos datos de baja calidad o genéricos pueden hacer que los modelos parezcan capaces en métricas agregadas, mientras fracasan en usos decisivos.

El informe dice que la química, la ciencia de materiales, la salud y el trabajo del conocimiento en general están previstos a continuación. Esa hoja de ruta sugiere una estrategia comercial construida en torno a industrias en las que los errores tienen coste y en las que los datos a medida podrían convertirse en infraestructura defendible.

Un desafío a la economía de los laboratorios frontera

Ho también parece escéptico respecto a las elevadas valoraciones atribuidas a los laboratorios de IA frontera. Como resume The Decoder, argumenta que empresas como OpenAI y Anthropic son crónicamente poco rentables porque deben seguir gastando mucho en nuevos modelos solo para mantenerse por delante de rivales de menor coste como Qwen o Kimi. Se acepte o no ese diagnóstico completo, apunta a una tensión creciente en el mercado.

Si el coste marginal del escalado frontera sigue siendo alto mientras los competidores abiertos o más baratos reducen la distancia, entonces la ventaja propietaria puede tener que venir de algo más difícil de replicar que el tamaño del modelo por sí solo. Los conjuntos de datos curados, los flujos de trabajo privados, los resultados verificados y los circuitos de retroalimentación específicos del dominio cumplen mejor ese requisito que la escala bruta. Son más lentos de construir, más difíciles de copiar y, a menudo, están más estrechamente ligados a los casos de uso de los clientes.

Eso no significa que los modelos fundacionales dejen de importar. Significa que su diferenciación dependerá cada vez más de la calidad de los datos que los rodean. En ese escenario, las empresas de datos no quedan aguas abajo de los laboratorios de modelos; se convierten en una parte crítica de la capa de capacidades.

Qué señalaría un mercado de datos de 100.000 millones de dólares

La estimación de Ho de que los laboratorios de IA gastarán más de 100.000 millones de dólares en recopilación de datos dirigida en los próximos años es una previsión audaz, pero su lógica estratégica es fácil de seguir. Si los datos web generales se agotan como fuente de ganancias fáciles, entonces la industria necesita nueva materia prima. Esa materia prima podría ser tareas científicas anotadas, flujos de trabajo empresariales validados, registros de laboratorio multimodales u otra experiencia estructurada que los modelos actuales no ven lo suficiente durante el entrenamiento.

Ese gasto también cambiaría a quién beneficia el auge de la IA. En lugar de concentrar el valor principalmente en fabricantes de chips, hyperscalers y desarrolladores de modelos frontera, un ciclo centrado en los datos elevaría a los expertos de dominio, los sistemas de etiquetado, las herramientas de datos sintéticos, las alianzas de datos empresariales y las organizaciones capaces de medir la calidad en entornos especializados.

La conclusión más amplia es que la competencia en IA podría entrar en una fase menos visible pero más fundamental. El próximo salto no vendrá solo de hacer los modelos más grandes. Podría venir de enseñarles mejor, con datos construidos para el trabajo desordenado, contextual y de alto riesgo que todavía resiste la automatización. Ho apuesta a que este cambio no es una historia secundaria. Apuesta a que se convertirá en uno de los mercados definitorios del próximo ciclo de IA.

Este artículo se basa en el reportaje de The Decoder. Leer el artículo original.

Originally published on the-decoder.com