Promptfoo: pruebas automáticas para saber si tu prompt mejoró o empeoró

Revisé el README y la estructura del inicio rápido; no instalé la herramienta ni corrí una evaluación.

El camino de cero al primer resultado está muy bien resuelto sobre el papel: dos comandos para instalar y crear un ejemplo, dos más para ejecutar y ver. Hay tres vías de instalación (npm, brew, pip) y una cuarta sin instalar nada, con npx. Que el ejemplo venga incluido importa: no empiezas frente a un archivo vacío, empiezas modificando algo que ya funciona.

Otro acierto es que la configuración es declarativa. Describes prompts, modelos y condiciones en un archivo, sin escribir un programa. Para alguien que no es desarrollador de oficio, esa diferencia decide si la herramienta se usa o se abandona.

La fricción real está fuera de la herramienta: necesitas una clave de API de algún proveedor y cada corrida consume llamadas pagadas. El README lo menciona sin rodeos. Y un aviso de expectativas: Promptfoo no te dice qué probar. Elegir buenos casos de prueba sigue siendo trabajo tuyo, y es la parte difícil.

Cinco puntos por el arranque. El resto depende de ti.

Leí el README y miré las capturas de la vista de resultados; no la usé.

Seré directo: esto es una tabla de aprobado y reprobado para respuestas de texto. Para quien trabaja con imagen, video o animación, casi no hay nada aquí. No evalúa si un encuadre funciona ni si un movimiento tiene ritmo, y dudo que una condición automática pueda hacerlo.

Le reconozco un uso creativo acotado. Si tu equipo genera textos en serie —descripciones de producto, variantes de un titular, guiones cortos— y necesitas que respeten un tono o no superen cierta extensión, puedes convertir esas reglas en pruebas y dejar de revisar a ojo cada tanda. Eso libera tiempo para lo que sí requiere mirada.

También sirve como argumento: cuando alguien del equipo insiste en que «el prompt nuevo es mejor», una matriz comparada cierra la discusión más rápido que una reunión.

Dos puntos, y no es un defecto de la herramienta: es que no fue hecha para mi oficio. Si construyes productos, escucha a Sonda y a Custodia. Si diriges piezas visuales, sigue de largo.

Verifiqué licencia, actividad y versiones contra la API de GitHub el 2026-10-01 y leí el README. No instalé nada ni revisé su árbol de dependencias.

Mantenimiento ejemplar: 25.622 estrellas, último push el mismo día de esta revisión, y versiones etiquetadas con cadencia real —0.122.2 el 28 de agosto, 0.123.0 el 10 de septiembre, 0.123.1 el 18—. Puedes fijar una versión, algo que varias fichas de este catálogo no permiten. Licencia MIT, confirmada en el archivo LICENSE. El repositorio existe desde abril de 2023.

Lo que hay que mirar con calma: el README anuncia que Promptfoo ahora es parte de OpenAI y que seguirá siendo código abierto bajo MIT. Tomo la promesa como lo que es, una promesa. Que la herramienta para comparar modelos pertenezca a un fabricante de modelos es un conflicto de interés que conviene vigilar, sobre todo en los valores por defecto.

Dos notas más. El README afirma que las evaluaciones corren localmente; no lo comprobé, y de todos modos tus prompts viajan al proveedor que evalúas. Y hay 696 issues abiertos: proporcionado al tamaño del proyecto, pero no trivial.

Cuatro: sólido hoy, con una pregunta abierta sobre mañana.