Contenido del curso
Generar pruebas como un problema de evaluación
La AI como revisor de código
Analisis estático usando la IA como capa de evalulación
Integrar y Calibrar en CI/CD
Rollout gradual: de gate shadow a bloqueante
Resumen
Activar un AI gate en modo bloqueante desde el día uno suena tentador, pero es la forma más rápida de matar la adopción. Un solo falso positivo el primer día hace que el equipo de desarrollo pierda confianza antes de que la herramienta se gane el derecho de opinar. Aquí aprenderás a desplegar un gate por etapas, ganando confianza con evidencia antes de otorgarle poder real de bloqueo.
Por qué no debo activar el gate en modo bloqueante de inmediato
Cuando tienes el gate funcionando, la reacción natural es encenderlo y dejar que bloquee pull requests de una vez. Es un error. Un falso positivo temprano genera fricción y desconfianza en el equipo, y una herramienta desconfiada termina ignorada.
La clave está en un principio simple: una regla pasa de consultiva a bloqueante solo cuando su acuerdo medido es lo bastante alto. La decisión de qué bloquea y qué no, no es una opinión, es el resultado de muchos datos acumulados.
¿Por qué un AI gate no debe bloquear desde el día uno? Porque un falso positivo temprano destruye la confianza del equipo. La herramienta necesita demostrar con datos que sus veredictos coinciden con las decisiones humanas antes de tener poder de bloqueo.
Cuáles son las 4 fases del rollout gradual
La estrategia correcta es promover reglas a bloqueantes solo cuando los datos las respaldan. El despliegue se divide en cuatro etapas, cada una con más poder que la anterior.
- Fase uno, la fase shadow: el gate corre y registra el veredicto, pero no lo muestra ni bloquea. Su único objetivo es ganar datos del acuerdo real sin molestar a nadie.
- Fase dos, la fase consultiva: el comentario ya es visible, pero nunca bloquea el merge. El equipo se acostumbra, lee los hallazgos y da feedback.
- Fase tres, bloqueo parcial: el gate bloquea, pero solo un subconjunto de reglas. El poder de freno se aplica únicamente donde está justificado.
- Fase cuatro, bloqueo ampliado: se suman más reglas a bloqueante con el tiempo. La cobertura crece, siempre basada en evidencia.
Esta progresión conecta las piezas del curso: el acuerdo medido entre la IA y las decisiones humanas es lo que autoriza subir de fase.
Cómo configuro el workflow en modo consultivo
El trabajo concreto consiste en reconfigurar el workflow para que corra en modo consultivo. Es decir, que registre el veredicto en el comentario, pero que no bloquee pull requests aunque su veredicto sea bloquear.
Si el modelo pide block, no lo tratas como la autoridad final. Lo tratas como una señal que debe compararse contra una decisión humana [00:52]. El equipo revisa, analiza y da feedback, y así se acumula el acuerdo que después justificará el bloqueo real.
El cambio se hizo principalmente a partir de la línea 48 del workflow, con un insert que revisa el resultado y, aun cuando el veredicto sea bloquear, solo deja el comentario o la recomendación [01:32].
Cómo se ve el gate funcionando sin bloquear un PR
Para probarlo se crea un pull request en una rama nueva con un cambio distinto y una descripción exacta para el caso. Al abrirlo, el workflow corre y deja un comentario con todos los hallazgos.
Un detalle importante: la salida del comentario se cambió a prosa en lugar del estilo JSON de la clase anterior. Y aquí viene lo interesante sobre qué formato usar en cada lugar.
¿El veredicto del gate debe estar siempre en JSON? El estilo JSON sí o sí debe existir para que el gate lo procese internamente. Pero la respuesta que se devuelve como comentario al pull request la puedes mostrar en prosa para que sea más legible.
En la prueba, el veredicto fue bloqueo y el gate dejó todos los hallazgos, pero no bloqueó nada. El pull request pasó y se pudo mergear correctamente [02:34]. Esa es la primera etapa funcionando tal como debe.
¿Qué pasa en la fase consultiva si el modelo dice block? El comentario muestra el veredicto y los hallazgos, pero el merge sigue permitido. El bloqueo es solo una recomendación visible, no una acción que detenga el desarrollo.
Después de esta etapa vendría el bloqueo de solo cierto tipo de cosas, y por último la fase donde se bloquean bastantes políticas, como el ejercicio anterior del curso.
Qué costo tiene ejecutar el gate en cientos de PRs
El rollout gradual resuelve el problema de la confianza, pero abre otro. Cada llamada a la IA cuesta dinero y toma tiempo.
Multiplica eso por cientos de pull requests al mes y el gasto aparece directamente en la factura [03:15]. Ese es el frente que queda pendiente.
En la próxima sesión se aborda el costo, la latencia y ese asunto incómodo de que los LLMs no son deterministas. ¿Ya pensaste cuántos pull requests procesa tu equipo al mes? Cuéntame en los comentarios cómo escalarías tu gate.