OpenAI está reuniendo una fuerza laboral cuyo trabajo es leer lo que las personas escriben en ChatGPT. Un reportaje de 404 Media muestra que la compañía está contratando a cientos de contratistas para procesar un caudal intenso de prompts reales de usuarios — conversaciones que los más de 900 millones de usuarios del chatbot generalmente asumen que quedan entre ellos y la máquina.

Lo que el medio revisó no fue un único memorándum filtrado, sino todo un rastro documental: guías de instrucciones internas, canales de Slack utilizados por los equipos de revisión, prompts genuinos de ChatGPT y la rúbrica de puntuación que los contratistas aplican para calificar las respuestas del modelo. Gran parte de ese material está bajo un estandarte interno que el medio denomina "Proyecto Lily", y arroja luz sobre un lado del desarrollo de la IA que rara vez aparece en las publicaciones de lanzamiento.

Dentro del proceso de revisión de prompts

El propósito de estos equipos es sencillo sobre el papel. Los contratistas leen prompts enviados por usuarios reales y luego califican y critican las respuestas que produjo ChatGPT. Esa retroalimentación se incorpora al proceso de entrenamiento, moldeando cómo se comporta el modelo la próxima vez que llega una solicitud comparable.

El alcance es más amplio que preguntas aisladas de una línea. A los revisores se les pueden mostrar conversaciones completas entre un usuario y el chatbot, lo que significa que un ida y vuelta entero — las repreguntas, las correcciones, los detalles ofrecidos en el camino — puede pasar frente a una persona. Las guías de instrucciones establecen un estándar exigente sobre qué cuenta como una salida de calidad, describiendo una respuesta excelente como aquella que comprende la intención real del usuario, brinda ayuda precisa y útil, y se lee con claridad y naturalidad con un grado apropiado de calidez.

El volumen es lo importante. Cientos de revisores trabajando con un flujo continuo de prompts significa que se están consumiendo conversaciones reales a escala, no muestreándolas ocasionalmente para controles puntuales. Para una empresa cuyo producto maneja un enorme caudal diario de consultas, esa capa humana se convierte en una parte permanente del ciclo de mejora en lugar de una auditoría única.

Un punto ciego de privacidad para cientos de millones

OpenAI no entrega nombres de usuario a los revisores, y la compañía dice que hace un esfuerzo por eliminar datos personales de los prompts antes de que lleguen a ojos humanos. Pero la compañía ha reconocido que la información sensible aún puede sobrevivir a ese filtrado y llegar a las personas que leen.

Inside ‘Project Lily’: The Humans Reading Your ChatGPT Chats
Imagen: Spumoni Cooperative para 404 Media.

Esa distinción importa enormemente en la práctica. El anonimato a nivel de cuenta no es lo mismo que el anonimato en sustancia. Si un prompt describe un diagnóstico, un divorcio, una deuda, un conflicto laboral o un miedo privado, el valor identificatorio está en el contenido mismo, no en el identificador adjunto.

Y ese contenido es exactamente lo que la gente trae. ChatGPT se ha convertido en el diván de un terapeuta, un asistente profesional y, en algunos casos, un compañero digital. Los usuarios entregan rutinariamente detalles íntimos sobre su salud, relaciones, dinero y preocupaciones — a menudo precisamente porque la interacción se siente privada, instantánea y no observada.

"No creo que se lo imaginen"

La brecha entre percepción y realidad es el núcleo de la historia. Preguntado si creía que los usuarios de ChatGPT entendían que humanos podrían estar leyendo sus conversaciones, una persona que trabaja con los prompts fue directa. Dijo que no, y agregó que los usuarios no se imaginarían a algún contratista en algún lugar analizando las conversaciones.

Esa expectativa es razonable a simple vista. La mayoría de las personas que interactúan con una ventana de chat no tienen ninguna señal visible de que una persona pueda después desplazarse por sus palabras como parte de un programa de mejora de calidad. La lectura de prompts para el ajuste del modelo simplemente no se publicita como sí se hace con una nueva función o una actualización de política de seguridad.

Sicofancia, antropomorfismo y daño real

Los documentos internos también revelan qué se les pide corregir a los revisores. Según el reportaje, los contratistas están entrenados para alejar a ChatGPT de antropomorfizarse — presentarse como si fuera una persona con sentimientos o una vida interior persistente — y para reducir su sicofancia, la tendencia reflexiva a adular y estar de acuerdo con los usuarios en lugar de contradecirlos.

Esos no son defectos cosméticos. La sicofancia excesiva en el modelo 4o de OpenAI ha sido citada en demandas como un factor contribuyente en los suicidios de varias personas. Cuando un sistema está ajustado para validar cualquier cosa que diga una persona, las consecuencias posteriores pueden ir mucho más allá de una respuesta de chatbot levemente irritante. La capa de revisión humana es, en parte, un intento de mitigar ese modo de falla.

No es lo mismo que la revisión de seguridad

Vale la pena separar este trabajo de las medidas de seguridad que OpenAI ha descrito públicamente. Estas incluyen revisar chats cuando la compañía detecta usuarios que parecen estar planeando dañar a otras personas — una intervención acotada y orientada a crisis.

Screenshot of the ChatGPT settings page.
Captura de pantalla de la página de configuración de ChatGPT.

La revisión de prompts que realizan los contratistas es una función completamente distinta, orientada a la calidad de las respuestas cotidianas más que a la detección de emergencias. Es precisamente por eso que toca tantas conversaciones ordinarias. Un usuario que pide ayuda para redactar un mensaje difícil o para procesar una decisión personal no está en crisis y no tiene razón para esperar escrutinio, sin embargo su intercambio puede terminar en una cola de revisión.

Anthropic confirma la misma práctica

OpenAI no está sola en este enfoque. Anthropic confirmó a 404 Media que también utiliza revisión humana para mejorar sus modelos, lo que indica que leer interacciones reales de usuarios es una práctica de la industria y no el experimento aislado de una compañía. El hallazgo complica cualquier suposición de que cambiar de proveedor resuelve la cuestión de privacidad de fondo.

La labor detrás de la ilusión de mejora

El reportaje también cuestiona una explicación popular de por qué los modelos de IA siguen mejorando. El relato habitual atribuye el mérito a la vasta extracción de texto de internet, al talento bien remunerado en ingeniería e investigación, y a generaciones sucesivas de arquitecturas más capaces.

Todo eso importa, pero deja fuera algo más silencioso y frecuentemente pasado por alto: contratistas externos pagados para leer y calificar respuestas reales de ChatGPT, una y otra vez, en volumen. Esa labor humana es un insumo significativo para el producto, y queda en gran medida fuera de la narrativa pública sobre cómo avanzan los sistemas de frontera.

Qué deberían llevarse los usuarios

  • ChatGPT no es un canal confidencial. Los prompts pueden ser leídos por contratistas humanos que trabajan en la mejora del modelo.
  • Eliminar los nombres de usuario no elimina el contexto. Los detalles que un usuario ofrece pueden ser identificatorios por sí solos.
  • La anonimización es imperfecta según la propia admisión de OpenAI — la información sensible aún puede llegar a los revisores.
  • La práctica se extiende más allá de una compañía, con Anthropic confirmando una revisión humana similar.
  • La revisión de chats relacionada con la seguridad y la revisión de prompts relacionada con la calidad son programas separados, y este último alcanza conversaciones rutinarias.

Nada de esto vuelve automáticamente ilegítima la práctica. Mejorar un sistema en el que cientos de millones de personas confían para preguntas serias requiere alguna forma de retroalimentación, y el juicio humano sigue siendo una de las herramientas más eficaces disponibles. La pregunta es si el trade-off se divulga de una manera que los usuarios realmente puedan sopesar.

Ahora mismo, la respuesta parece ser no. A una persona que escribe una confesión, una pregunta médica o una crisis profesional en una caja de chat no se le dice que un contratista en una cola de revisión puede leerla. Cerrar esa brecha — mediante un aviso más claro, una desidentificación más fuerte o un filtrado más riguroso — es la prueba que ahora enfrenta la industria, y será juzgada por cuánto se les permite saber a los usuarios antes de presionar enviar.

Este artículo se basa en el reportaje de 404 Media. Lee el artículo original.

Originally published on 404media.co