Saltar al contenido
Todos los proyectos

Caso de estudio · Ingeniería de IA · Forward Deployed · Ingeniería de Datos

Extracción con LLM y Evaluaciones: Saber Cuándo Confiar

Extrae campos de facturas con Claude o Gemini, guarda el texto exacto detrás de cada valor, califica cada campo y envía los documentos dudosos a una persona.

El problema

Sacar JSON de un LLM es fácil. Saber si confiar en él es lo difícil: un modelo puede devolver un valor limpio y válido que simplemente está mal, como el RUC del cliente en vez del vendedor. La precisión promedio oculta qué documentos están mal.

Restricciones

  • Cada valor debe señalar el texto exacto de donde salió, para que una persona lo revise en segundos
  • Claude y Gemini detrás de una misma interfaz y un mismo prompt, para comparar modelos y no redacciones
  • Las pruebas y CI deben correr sin API key y sin costo

Arquitectura y decisiones

Haz clic en una caja para ver por qué se eligió.

LLM extraction with evalsDocuments
Invoices60 generated, 4 layouts
Gold labelsknown answersExtract
Claudestructured outputs
Geminiresponse schema
Regex baselinethe bar to beatScore
Normalize1.234,50 = 1234.50
Field scoringaccuracy per field
Evidence checkquote must be in the docRoute
Auto-acceptevery field backed
Human reviewanything doubtful

Por qué · Claude

messages.parse() con un esquema Pydantic: el SDK devuelve un objeto validado. Rechazos, salidas cortadas y errores de API se vuelven un resultado vacío, registrado con el ID del documento, así una falla nunca detiene la corrida.

Resultados

facturas generadas en 4 formatos, cada una con trampas
60
facturas generadas en 4 formatos, cada una con trampas
línea base: campos correctos vs documentos completos
86% vs 25%
línea base: campos correctos vs documentos completos
de los documentos aceptados sin revisión por la línea base están completos: lo que la evaluación debe detectar
33%
de los documentos aceptados sin revisión por la línea base están completos: lo que la evaluación debe detectar
pruebas; el código de Claude y Gemini se prueba con clientes simulados
29
pruebas; el código de Claude y Gemini se prueba con clientes simulados

Qué haría después

  1. 01Guardar corridas de Claude y Gemini y compararlas con la línea base
  2. 02Usar la evidencia para resaltar cada valor en una pantalla de revisión
  3. 03Agregar PDF escaneados para cubrir el ruido del OCR