Saltar al contenido
Gabriel Neuman
Gabriel Neuman

IA Operativa

Escribí las reglas de cómo trabaja mi equipo y las medí: se cumplían en el 6% de los casos

Por qué un agente de IA ignora las reglas que le escribiste. Medí 250 tickets de mi propio equipo: donde algo verificaba la regla se cumplía en 67%, donde no, en 3%.

Gabriel Neuman
Escribí las reglas de cómo trabaja mi equipo y las medí: se cumplían en el 6% de los casos

Escribí las reglas de cómo trabaja mi equipo, con sus ejemplos y sus razones. La semana pasada las medí sobre 250 tickets reales: se cumplían en el 6%.

Lo que me sirvió no fue ese 6%. Fue partir la muestra en dos y ver que la misma regla, con el mismo texto, se cumplía en 67% de un lado y en 3% del otro.

Hace unos días conté cómo mi automatización perdía el 36% de los datos sin dar un solo error. Este post es el mismo problema una capa más arriba: no el dato que se pierde en silencio, sino la regla que nadie está aplicando mientras todos creemos que sí.

¿Por qué mi agente de IA ignora las reglas que le escribí?

Porque una regla escrita depende de que alguien se acuerde de aplicarla en el momento exacto, y un agente no se acuerda de forma confiable.

Mi equipo trabaja con una regla simple: ningún ticket nace incompleto. Título que diga el resultado y no el archivo, fecha, responsable, y una etiqueta que indique si un agente puede tomarlo solo o si hace falta criterio humano. Está escrita, argumentada, y cada parte existe porque su ausencia costó algo.

En algunos de mis repositorios esa regla tiene una revisión que corre sola antes de dejar crear el ticket. En otros, solo está escrita.

Ese fue el corte:

Tickets bien etiquetados
Donde la revisión corría67%
Donde solo estaba escrita3%

Veintidós veces mejor, con el mismo texto y el mismo modelo. La diferencia entera está en si algo ejecutaba la regla o no.

Ya había escrito sobre las reglas que conviene poner en un archivo de contexto. Sigo pensando que ese archivo vale, y ahora sé para qué sirve de verdad: es el insumo de la verificación, no el control.

¿Cómo mido si mi proceso se está cumpliendo de verdad?

Contando, una vez, a mano. Tardé veinte minutos.

Tomé los 250 tickets creados en 30 días por los siete equipos, y revisé cinco cosas en cada uno: fecha, responsable, quién lo ejecuta, contenedor y título. Catorce cumplían las cinco. Ciento sesenta y seis no tenían ni una sola etiqueta.

Ese número no aparecía en ningún tablero, y nadie lo había pedido. El proceso "funcionaba" porque los documentos estaban bien escritos y nadie se quejaba de ellos.

Guardé la consulta. Un número que solo se puede tomar una vez no sirve para saber si mejoraste: dentro de un mes vas a tener una impresión, y las impresiones siempre dicen que sí mejoró.

Te dejo algo gratis para empezar por el lado correcto. La estructura de carpetas, prompts y plantillas que uso con clientes para armar su primer agente está completa en gabrielneuman.com/como-instalar-claude-code. Es gratis y no pide nada a cambio.

¿Dónde tiene que vivir una regla para que se cumpla?

Donde pasa el trabajo. Y ahí me equivoqué al primer intento.

Mi explicación inicial fue cómoda: la gente crea tickets fuera de la herramienta donde vive la revisión, desde el teléfono o en una junta. Molesto, pero comprensible.

Fui a ver proyecto por proyecto y no era eso. En uno de mis proyectos de integración convivían once tickets impecables y diecinueve sin una sola etiqueta, el mismo día.

Los diecinueve estaban escritos con el estilo de la casa, con títulos como "Geolocalización del pánico: el dato que ya nos mandaban y estábamos tirando". Eso no lo escribe alguien de prisa desde el celular.

Lo escribió uno de mis propios agentes, trabajando en un repositorio donde la revisión no estaba instalada. En mi CRM interno la proporción fue uno contra dieciocho.

La causa quedó clara: mi verificación viaja con el repositorio, y el trabajo se produce en repositorios que no la tienen. El repositorio donde guardo el método se protege a sí mismo perfectamente. Los demás, no.

De ahí salió la regla que ahora uso para decidir dónde poner cualquier control: la verificación tiene que viajar con quien hace el trabajo. Durante años eso fue el repositorio, así que ponerla ahí era obvio. Hoy quien hace el trabajo es un agente, y un agente cambia de repositorio cada hora.

¿Conviene poner un agente a revisar, o basta con una validación automática?

Las dos, en un orden que importa por lo que cuesta cada una.

Que el título empiece con un verbo, que haya fecha y responsable, que el ticket cuelgue de un proyecto: eso son comprobaciones de sí o no. Se escriben una vez, corren en un script y cuestan lo mismo hoy que en un año. No necesitan un modelo.

Saber si ese ticket duplica algo que ya existe, a qué proyecto pertenece, o si el alcance alcanza para que un agente lo tome solo: eso pide leer el resto del tablero. Ahí sí vale pagar una corrida de modelo, y es donde un agente aporta algo que un script no puede.

El orden no es intercambiable. Si pones al agente primero, pagas una corrida por cada ticket para descubrir que faltaba una fecha. Si pones la comprobación primero, al agente le llega menos trabajo y te cuesta menos cada mes.

Es la misma lógica que aplico cuando uso Claude Code para la gestión de proyectos: lo determinista se escribe como verificación, y el criterio se delega.

¿Qué parte de esto no se arregla poniendo más agentes?

La fila de espera. Y era mi número más incómodo.

La misma medición me devolvió 32 trabajos terminados, esperando que alguien los revisara. El más viejo llevaba diecisiete días. Dieciséis habían entrado el mismo día, en bloque.

Eso no es falta de capacidad para producir. Es una fila sin dueño claro y unos accesos que nadie terminó de repartir.

Y ahí está la trampa del momento que estamos viviendo con los agentes: la tentación es acelerar la parte que ya era rápida. Yo puedo cerrar el 6% mañana y subir la producción otro tanto, y lo único que voy a lograr es que la fila de 32 llegue a 60.

Por eso ese es el primer arreglo de mi lista, antes que cualquier automatización nueva. Sobre esto escribí también cuando conté qué cambia cuando los agentes empiezan a trabajar por ti: el cuello de botella se mueve, y casi nunca se mueve hacia donde estás mirando.

Lo que voy a hacer con esto

Cuatro movimientos, en orden de lo más barato:

  1. La verificación viaja con el agente, no con el repositorio. Corre en cualquier proyecto, incluido el que se clona por primera vez esta tarde.
  2. Una red en la herramienta donde vive el tablero, para lo que de verdad nunca pasa por un repositorio: el cliente que escribe, la junta, el formulario.
  3. Comprobación barata primero, criterio de modelo después. En ese orden, por lo que cuesta cada uno.
  4. El medidor guardado, para que dentro de un mes haya un número y no una sensación.

Y antes de los cuatro, vaciar la fila de 32.

Si tienes un manual de proceso escrito, la pregunta que yo no me había hecho es cuántas de esas reglas se están cumpliendo ahora mismo, y cuál fue la última vez que alguien lo contó en vez de suponerlo. Cuenta una sola regla sobre los últimos treinta días. El número te va a decir si tienes un sistema o una carta de buenas intenciones.

Preguntas frecuentes

¿Por qué un agente de IA no sigue las instrucciones que le escribí?

Porque una instrucción escrita depende de que el agente se acuerde de aplicarla, y no se acuerda de forma confiable. En mi medición, la misma regla se cumplió en 67% de los casos donde había una verificación que corría sola, y en 3% donde solo estaba escrita. El texto era idéntico en los dos lados.

¿Cómo mido si mi equipo está siguiendo el proceso que documenté?

Cuenta. Yo tomé los 250 tickets creados en 30 días y revisé cinco campos obligatorios en cada uno. Salieron 14 completos. Sin ese conteo habría seguido creyendo que el proceso funcionaba, porque los documentos estaban impecables y nadie se quejaba.

¿Conviene poner un agente de IA a revisar el trabajo de otro agente?

Solo para lo que pide criterio. Que un ticket tenga fecha y responsable es una comprobación de sí o no: se escribe una vez y cuesta lo mismo siempre. Saber si duplica algo que ya existe pide leer el resto del tablero, y eso sí justifica pagar una corrida de modelo. Si lo pones al revés, pagas por descubrir que faltaba una fecha.

¿Cuánto cuesta que una regla no se esté cumpliendo?

En mi caso, 166 tickets en un mes sin una sola etiqueta. Eso significa que nadie podía abrir el tablero y saber qué podía tomar un agente y qué necesitaba una persona. El costo no aparece como error: aparece como tiempo de alguien releyendo tickets para clasificarlos a mano.

¿Vale la pena escribir un manual de proceso si igual no se cumple?

Sí, pero como insumo, no como control. El documento sirve para que la verificación tenga qué verificar. Mis ocho documentos estaban bien argumentados y con ejemplos reales, y aun así el cumplimiento era de 6%. Lo que movió el número fue convertir tres de esas reglas en revisiones que corren solas.

¿Los agentes de IA hacen que mi equipo entregue más rápido?

Solo si el cuello de botella está en producir. Cuando medí, tenía 32 trabajos terminados esperando revisión humana, el más viejo de 17 días. Sumar capacidad de producción encima de esa fila la hace más larga, no más corta.

Tema completo

Este artículo es parte de Growth Hacking. Ahí tienes el panorama completo.

Ver Growth Hacking

¿Te sirvió este artículo?

Recibe la siguiente táctica en tu correo.

Una guía práctica de automatización e IA cada viernes. 3,000+ founders en LATAM. Gratis.

Resume este artículo con IA

Gabriel Neuman

Quién escribe esto

Gabriel Neuman

Consultor en automatización e IA con más de 15 años de experiencia. Ayudo a dueños de negocios a recuperar su tiempo con sistemas que trabajan solos. Fundador de GNB Labs.

Sigue leyendo

También te puede interesar...

¿Y si lo montamos juntos?

Automatizar lo repetitivo empieza con una llamada de 30 minutos.

Reviso tu operación, te digo qué se puede sistematizar y qué no vale la pena tocar todavía. Sin costo y sin presentación de ventas.