Deployment Simulation: probar agentes antes de soltarlos

Qué pasó

OpenAI publicó Deployment Simulation, un método interno para predecir cómo se va a comportar un modelo nuevo antes de soltarlo a producción. Usan conversaciones reales del pasado, las pasan por el modelo nuevo y comparan con qué tan bien (o mal) responde antes de hacer el switch. La idea es bajar sustos por regresiones de calidad y seguridad.

Por qué importa para PyMEs LATAM

Cuando una empresa de 5 a 50 personas activa un agente o cambia el modelo detrás de su chatbot, suele descubrir los problemas con clientes reales en producción. No tienen QA dedicado ni equipo de evaluación, así que el feedback son quejas. La técnica que OpenAI llama Deployment Simulation es, en versión chica, exactamente lo que cualquier empresa que pone agentes a operar debería estar haciendo.

La lectura

El hype dice que esto es investigación de frontera, lejos del día a día. La señal real es lo contrario: te están enseñando el patrón de seguridad operativa que tu empresa debería copiar antes de cambiar de modelo o de proveedor. El trade-off es trabajo: tener un conjunto de 50 a 200 conversaciones reales etiquetadas con la respuesta correcta cuesta un par de tardes; no tenerlas cuesta enterarte de una regresión por un cliente enojado. Caso concreto: una distribuidora con un agente de cobranza por WhatsApp. Antes de cambiar de GPT a Claude, debería pasar las últimas 100 conversaciones por ambos modelos en sandbox y comparar a mano cinco o diez al azar. Es viejo principio de QA aplicado a IA: nunca prendas algo nuevo en producción sin haberlo probado contra lo viejo.

Lo que ya estoy haciendo en GNB Labs

En los sistemas que opera GNB Labs hoy, este tipo de cambio toca cómo se diseñan agentes que aguantan operación real, no demos. Por eso lo cubrimos en Cohort IA Operativa, un programa donde fundadores y operadores aprenden a poner agentes en producción para sus procesos reales, no en una hoja en blanco.

Qué hacer a partir de hoy

• Guarda 50 conversaciones reales de tu agente actual, con la respuesta correcta a cada una anotada por una persona del equipo.
• Cada vez que cambies de modelo, prompt o proveedor, pasa esas 50 por la versión nueva antes de soltarla a producción.
• Compara mano a mano. No necesitas tooling sofisticado; una hoja de cálculo con tres columnas (entrada, salida vieja, salida nueva) basta.
• Define un criterio mínimo de paso: por ejemplo, “80% igual o mejor que la versión anterior”. Si no pasa, no cambies.
• Documenta cada cambio con su evaluación. En seis meses vas a tener evidencia real de qué modelo sirve para tu caso, no opiniones.