Le pedí lo mismo a seis inteligencias artificiales
El 3 de septiembre le pedí a una inteligencia artificial que revisara una de mis webs, aspenski.es. Me devolvió un informe estupendo.
Luego le pedí lo mismo a otra. Y a otra. Y a otra, hasta seis.
No coincidieron.
No es que discreparan en matices de gusto. Es que ni siquiera contaron los mismos enlaces en la misma página. Y ahí es donde este post se puso interesante.
De dónde salió la idea
Llevo semanas estudiando cómo trabaja Boris Cherny, el creador de Claude Code — la herramienta con la que hago casi todo esto. Metí siete vídeos y documentos suyos en un cuaderno de NotebookLM y le fui haciendo preguntas.
De todo lo que dice, hay una frase que me cambió la forma de trabajar:
«the skill nowadays is less about prompt engineering and more about … the verification»
En cristiano: ya no gana el que escribe mejor la orden, gana el que sabe comprobar lo que le devuelven.
Y su receta para dar una orden son tres cosas, ninguna de ellas «haz esto, luego esto, luego esto»:
«describe the task, describe the guardrails, describe the exit criteria, and then just let the model cook»
O sea: qué quiero, qué no debe tocar, y cómo sabremos que ha terminado. Y luego dejarle cocinar.
Aviso honesto antes de seguir: esas citas salen de transcripciones automáticas de sus vídeos, resumidas por la IA del cuaderno. No he visto los vídeos enteros. Lo digo porque este post va justamente de eso.
El experimento
Escribí un encargo con las tres partes de Boris. Qué: audita aspenski.es en móvil y escritorio. Qué no: no toques nada, solo mira. Cuándo has terminado: capturas de pantalla, medición de velocidad, lista de enlaces comprobados uno a uno, e informe con la prueba pegada al lado de cada afirmación.
El mismo texto, palabra por palabra, se lo di a seis agentes distintos el mismo día:
- Claude Code, sin ninguna de mis instrucciones personalizadas
- Claude Code, con todas mis instrucciones cargadas
- Creao (el navegador de agentes que uso a diario)
- Codex, el de OpenAI
- Gemini, el de Google
- Antigravity
Seis carpetas de resultados. Y ahora viene lo que aprendí.
Lo primero: uno se estrelló nada más empezar
Codex arrancó, intentó abrir Chrome para hacer las capturas… y Chrome se murió en el acto. En su registro está escrito:
[pid=6487] <process did exit: exitCode=null, signal=SIGABRT>
"asi" : {"libsystem_c.dylib":["abort() called"]}La causa es aburrida pero útil de saber: Codex trabaja dentro de una caja de seguridad, una especie de habitación cerrada dentro de mi Mac de la que no puede salir. Chrome, para arrancar, necesita darse de alta con el sistema operativo. Desde dentro de esa habitación no puede. Se aborta y muere.
Lo relancé fuera de la caja y funcionó a la primera.
Lección práctica: si un agente de OpenAI te dice que no puede abrir un navegador, casi nunca es culpa del navegador.
Lo segundo: en lo grave, todos coincidieron
Esto es la buena noticia, y es importante: las cosas de verdad las vieron todos.
- En el móvil, la página se sale por la derecha: ocupa unos 440 píxeles de ancho dentro de una pantalla de 375.
- La tabla de precios de forfaits queda cortada por ese mismo motivo. La columna de la derecha, la que dice cuánto te ahorras conmigo, no se ve entera.
- La velocidad en móvil es mala. Volví a leer las 26 mediciones guardadas: entre 57 y 63 sobre 100 en móvil, contra 84 y 90 en escritorio. La web no es lenta: son mis fotos, que pesan 8,9 megas y se descargan todas de golpe.
Seis agentes distintos, seis empresas distintas, el mismo diagnóstico. Cuando eso pasa, te lo puedes creer.
Lo tercero: en lo demás, se contradijeron
Y aquí está el verdadero motivo de este post. Les pregunté a todos lo mismo: ¿cuántos enlaces tiene la portada y cuáles están rotos?
| Agente | Enlaces contados | Enlaces rotos |
|---|---|---|
| Creao | 49 | 0 |
| Codex | 63 | 0 |
| Gemini | 49 | 1 |
| Antigravity | 49 | 1 (+ 14 redirecciones) |
Léelo otra vez. No coinciden ni en cuántos enlaces hay.
Codex contó 63 y dijo que estaban todos bien. Creao contó 49 y dijo lo mismo. Gemini y Antigravity contaron 49 y señalaron uno roto: el enlace a un restaurante de Aspen, el White House Tavern.
Así que fui a mirarlo yo. Y aquí está lo bonito: tenían razón los cuatro.
El enlace abre perfectamente en un navegador. Lo comprobé hoy: responde correctamente. Pero el servidor de ese restaurante está mal configurado — no entrega entera la cadena de su certificado de seguridad. Un navegador normal rellena el hueco solo y ni te enteras. Una herramienta estricta se planta y dice «roto».
Dos agentes usaron el navegador. Dos usaron la herramienta estricta. Ninguno de los cuatro mintió. Ninguno de los cuatro me contó con qué había mirado.
Y hay otra donde el desacuerdo es de números puros: en cuánto se sale la página por la derecha, Codex midió 63 píxeles y Creao midió 76. Sobre la misma web, el mismo día.
Ah, y una cosa más: solo dos de los seis se dieron cuenta de que en el móvil mi web no tiene menú. Ni las tres rayitas de siempre. Los otros cuatro miraron la misma captura de pantalla y no lo vieron.
Lo que esto significa para cualquiera que use IA
No es que los agentes mientan. Es más incómodo que eso: cada uno mira con un método distinto y ninguno te dice cuál usó, salvo que se lo exijas.
Uno cuenta los enlaces del código. Otro cuenta los que se pueden pinchar. Uno comprueba los certificados de seguridad, otro se conforma con que el servidor conteste. Todos te entregan una tabla con la misma cara de seguridad.
De ahí saco cuatro reglas que ya no me salto:
1. Lo que dicen todos, te lo crees. Lo que dice uno solo, vas a mirarlo tú. Eso es literalmente por qué monté seis y no uno.
2. Exige la prueba pegada al dato. Cada línea de esos informes lleva al lado el fichero y la medición de donde sale. Sin eso, un informe bonito y un informe inventado se parecen demasiado.
3. Pregunta con qué ha mirado. El caso del restaurante lo deja claro: la respuesta cambia según la herramienta, no según la verdad.
4. Al final hay una persona. Boris lo dice sin rodeos: «there always has to be a person in the loop approving the change». En mi caso esa persona soy yo, mirando la web con el móvil en la mano.
La otra cosa que me dijo Boris, y que dolió
Hay una frase suya que me tocó donde más:
«every six months delete your claude.md, delete your skills, delete your hooks, see what the model does»
Cada seis meses, borra todas tus instrucciones y mira qué hace la máquina sola.
Yo había construido un edificio de instrucciones. Manuales, reglas, listas de prohibiciones. Cada error que cometía la máquina se convertía en una norma nueva. Y cuanto más largo era el manual, menos lo leía.
Lo medí. Al arrancar cada sesión, mi asistente se tragaba 52.627 caracteres de instrucciones antes de que yo escribiera una sola palabra. Lo bajé a 13.626. Funciona mejor.
Benjamín Cordero lo resume en tres preguntas para decidir si una instrucción merece quedarse. Yo las llamo las tres erres:
- Repetible: ¿lo hago más de tres veces al mes, igual?
- Requisito: ¿es un dato que la máquina no puede adivinar sola?
- Repartible: ¿lo va a usar alguien más?
Si no pasa las tres, fuera.
Y una última, sobre mí
Mientras escribía esto encontré un fallo mío. En la carpeta de mi propio blog había un certificado que decía que un trabajo estaba «terminado y verificado». Fui a comprobarlo con la herramienta que hace esa verificación de verdad. Su respuesta:
state: SIN_CONTRATOEl certificado se lo había escrito la máquina a mano, imitando el formato del bueno. El trabajo estaba bien hecho. Pero el sello era de mentira.
Y ese es el resumen del día: la máquina no te engaña por maldad. Te engaña porque es buenísima produciendo cosas que se parecen a las cosas verdaderas. Tablas, certificados, informes, cifras redondas.
Por eso la habilidad ya no es pedir bien.
Es comprobar.
¿Qué te ha parecido?