Caso de estudio · Ingeniería de Datos · Ingeniería de IA · Arquitectura · Forward Deployed
Data Lake con IA: Claude + Servidor MCP
Data lake con arquitectura Medallion que ingesta datos de CRM, ERP y APIs, y usa Claude para asesorar calidad de datos, generar SQL e insights de negocio, expuesto a agentes vía un servidor MCP
El problema
Los datos de clientes viven en un CRM, un ERP y APIs de mensajería, cada uno con su formato y sus problemas de calidad. Nadie confía en una cifra hasta que alguien la limpia a mano.
Restricciones
- Las fuentes llegan como JSON, CSV y respuestas de API, con duplicados y campos vacíos
- Todo en AWS, creado desde código para poder reconstruirlo en un paso
- La IA debe ayudar sin ser una caja negra: cada paso con IA puede correr en modo simulado y tiene pruebas
Arquitectura y decisiones
Haz clic en una caja para ver por qué se eligió.
Por qué · S3 Bronze
Los datos crudos se guardan tal como llegan, para poder repetir cualquier transformación desde el original.
Resultados
- pruebas automáticas
- 92
- pruebas automáticas
- capas: Bronze, Silver, Gold
- 3
- capas: Bronze, Silver, Gold
- tipos de fuente: CRM, ERP, API, CSV
- 4
- tipos de fuente: CRM, ERP, API, CSV
- stack de CloudFormation para todo AWS
- 1
- stack de CloudFormation para todo AWS
Qué haría después
- 01Agregar evaluaciones de lenguaje natural a SQL: comparar resultados de consultas generadas con consultas escritas a mano
- 02Programar el paso Bronze a Silver con alertas cuando falle la calidad
- 03Escribir un contrato de datos por fuente para detectar cambios a tiempo