Producto · funcionando hoy

Checkpoint — control de calidad para la IA.

Las empresas congelan proyectos de IA porque nadie puede responder una pregunta simple: "¿esta actualización lo empeoró?". Checkpoint la responde con una luz roja o verde. Cada actualización presenta un examen — si la nota baja, no sale.

cada versiónpresenta el examen automáticamente — sin excepciones ni opiniones
2productos de este sitio ya pasan por Checkpoint antes de publicarse
1falla sembrada en la demo, para que veas cómo la atrapa

El problema, en palabras simples

El software normal funciona o no funciona, y las pruebas lo demuestran. La IA es más difusa: una "mejora" puede empeorar las respuestas en silencio, y el equipo se entera por los clientes. Ese miedo es la razón por la que tantos pilotos de IA nunca se lanzan. La solución es aburrida y poderosa: un examen obligatorio antes de cada lanzamiento.

Cómo funciona

1 · Examenpreguntas reales con respuestas correctas conocidas
2 · Revisión duralas citas existen, nada de contenido prohibido
3 · Calificaciónun juez evalúa la calidad, criterio por criterio
4 · La puerta¿nota baja? El lanzamiento se bloquea

Checkpoint también compara dos exámenes cualesquiera y lista exactamente qué preguntas empeoraron — para que el equipo sepa qué se rompió antes que los clientes.

Prueba de que funciona

La demo siembra a propósito una respuesta mala — estadísticas inventadas citando una fuente inexistente. Checkpoint la detecta de tres maneras distintas, y el informe lo deja registrado. Dos productos de este sitio ya pasan por él antes de publicarse: el examen de precisión de Radar y el de verificación de Compass corren en cada actualización.

Para lectores técnicos
  • Las suites son YAML + conjuntos dorados en JSONL; el sistema bajo prueba es cualquier función Python o endpoint HTTP.
  • Los chequeos deterministas corren antes que los jueces: campos requeridos, resolución de citas, contenido prohibido, latencia, etiquetas esperadas.
  • Juez LLM con veredictos estructurados (un criterio por juez) más un respaldo heurístico sin credenciales para CI.
  • Integración con CI: la puerta bloquea el build; los reportes son artefactos comparables.

Lo que aún no puede hacer