Principales harnesses de evaluación y observabilidad de agentes de IA para equipos de producción en 2026

Los agentes de IA en producción no fallan como fallan las demos.

Una demo falla cuando el modelo da una respuesta débil. Un agente en producción falla cuando llama a la herramienta equivocada, se salta un paso en silencio, entra en bucle durante 14 minutos, quema presupuesto, gestiona mal un traspaso, recupera contexto obsoleto o pasa una prueba de workflow una vez y regresa al día siguiente. Por eso, en 2026 los equipos de producción necesitan más que logs de prompts. Necesitan harnesses de evaluación y observabilidad: sistemas que capturan trazas, puntúan el comportamiento, comparan versiones, detectan regresiones y conectan la revisión humana de vuelta con el desarrollo.

Este artículo clasifica los principales harnesses de evaluación y observabilidad de agentes de IA para equipos de producción en 2026:

1. LangSmith
2. Braintrust
3. Langfuse
4. Arize Phoenix / Arize AX
5. Galileo
6. DeepEval / Confident AI
7. OpenAI Agent Evals
8. Helicone
9. Ragas

MCPlato se incluye por separado, no como proveedor directo de observabilidad, sino como un harness de espacio de trabajo de IA local-first complementario alrededor del harness de evaluación.

¿Qué cuenta como harness de evaluación / observabilidad de agentes de IA?

Para esta comparación, un harness de evaluación y observabilidad de agentes de IA es una plataforma o framework que ayuda a los equipos a responder cinco preguntas de producción:

• ¿Qué pasó? Trazar pasos del agente, llamadas a herramientas, llamadas al modelo, recuperación, traspasos, sesiones, coste, latencia y errores.
• ¿Fue bueno? Puntuar salidas y trayectorias con evaluadores en código, LLM-as-judge, revisión humana, feedback o métricas específicas del dominio.
• ¿Hemos regresado? Ejecutar evaluaciones repetibles contra datasets antes del despliegue y monitorizar el comportamiento online después del despliegue.
• ¿Podemos depurarlo? Inspeccionar trazas fallidas, comparar versiones de prompts/modelos/herramientas y convertir fallos de producción en casos de prueba.
• ¿Encaja en nuestro stack? Integrarse con SDKs, CI/CD, OpenTelemetry, observabilidad existente y requisitos de gobernanza.

Los mejores harnesses combinan trazas + datasets de evaluación + experimentos + monitorización de producción + feedback humano. Los más débiles son valiosos, pero más estrechos: un proxy para logs, una biblioteca de pruebas o un toolkit de métricas RAG en lugar de un bucle completo de control de producción.

Metodología

Este ranking prioriza a equipos de producción que construyen sistemas LLM y de agentes de múltiples pasos. La puntuación es cualitativa, basada en páginas públicas de producto, documentación, páginas de precios, integraciones, repositorios open-source e información pública de empresas/clientes disponible al 14 de mayo de 2026.

Ejes principales de puntuación:

Evitamos métricas inventadas. Si precios, tracción, ingresos, número de clientes o benchmarks no se divulgan públicamente, lo decimos.

1. LangSmith — Mejor opción general para equipos de agentes en producción

Ideal para: Equipos que construyen agentes con LangChain, LangGraph o stacks Python/JavaScript adyacentes y necesitan un sistema maduro todo-en-uno para trazado, evaluación, datasets, monitorización y confianza de despliegue.

LangSmith ocupa el primer lugar porque es uno de los harnesses de producción más completos para constructores de agentes. Su producto de observabilidad enfatiza trazado, monitorización, depuración y visibilidad operativa para apps LLM y agentes.¹ Su documentación de evaluación cubre datasets, experimentos, evaluadores automatizados y workflows para comparar el comportamiento del sistema a lo largo del tiempo.²

Capacidades clave

• Trazado de agentes y LLM para workflows de múltiples pasos.
• Datasets de evaluación y ejecuciones de experimentos.
• Evaluadores automatizados y workflows de revisión humana.
• Monitorización de producción para latencia, coste, errores y señales de calidad.
• Fuerte ajuste con proyectos LangChain y LangGraph.
• Página pública de precios con planes basados en uso y orientados a equipos.³

Fortalezas

La mayor ventaja de LangSmith es su completitud. Muchos equipos empiezan con LangChain o LangGraph y luego necesitan la capa operativa alrededor. LangSmith les da el camino más corto desde la depuración local hasta la inspección de trazas, datasets de evaluación y monitorización de producción.

Es especialmente fuerte para equipos de agentes porque los fallos de agentes suelen estar a nivel de trayectoria más que a nivel de salida. Una respuesta final puede parecer aceptable mientras las llamadas intermedias a herramientas revelan coste desperdiciado, acciones inseguras o planificación frágil. Los workflows de trazado y evaluación de LangSmith están diseñados para ese tipo de inspección.

Limitaciones

LangSmith resulta más convincente dentro del ecosistema LangChain/LangGraph. Los equipos que quieren un plano de control totalmente neutral respecto al proveedor, open-source o self-host-first pueden preferir Langfuse o Phoenix. Los precios son públicos, pero el coste final depende del volumen de uso y los detalles del plan, no de una única cifra plana.

Precios / métricas públicas

LangChain publica los precios de LangSmith públicamente.³ No se encontraron métricas públicas de número de clientes o ingresos específicas de LangSmith en las fuentes requeridas.

2. Braintrust — Mejor plataforma evaluation-first

Ideal para: Equipos de producto e ingeniería que tratan las evaluaciones como un workflow central de desarrollo: datasets, experimentos, regresiones, revisión humana y bucles de feedback desde trazas de producción.

Braintrust es la plataforma más centrada en evaluación de este ranking. Su homepage posiciona el producto alrededor de evaluar, enviar y mejorar productos de IA con experimentos, datasets, logging, prompts, playgrounds y revisión humana.⁴ También documenta integración con OpenTelemetry, algo importante para equipos que estandarizan en una infraestructura de observabilidad más amplia.⁵

Capacidades clave

• Datasets y experimentos para evaluación repetible.
• Workflows de puntuación online y offline.
• Bucles de revisión humana y anotación.
• Comparación de prompts y modelos.
• Logging de producción y feedback de trazas hacia evaluaciones.
• Integración con OpenTelemetry.⁵
• Páginas públicas de clientes y casos de estudio.⁶

Fortalezas

Braintrust es más fuerte cuando las evaluaciones no son una idea posterior. Anima a los equipos a convertir ejemplos, trazas, feedback y casos límite en datasets duraderos. Ese es el modelo mental correcto para agentes en producción: cada fallo debería convertirse en una futura prueba de regresión.

También tiene señales sólidas de credibilidad. Braintrust anunció públicamente una ronda Series A y lista historias de clientes en su sitio.⁷⁶ No son métricas de rendimiento del producto, pero muestran adopción de mercado y confianza inversora.

Limitaciones

Braintrust es menos open-source-first que Langfuse, Phoenix, DeepEval o Ragas. Los equipos que quieren self-hostear toda la capa de observabilidad o inspeccionar un servidor OSS completo pueden encontrar Langfuse o Phoenix más atractivos. También es evaluation-first: si tu dolor inmediato es logging a nivel de gateway y analítica de coste, Helicone puede desplegarse más rápido.

Precios / métricas públicas

Braintrust publica precios públicamente.⁸ Su número exacto de clientes, ingresos y volumen de uso no se divulgan públicamente en las fuentes requeridas.

3. Langfuse — Mejor harness open-source / self-hosted todo terreno

Ideal para: Equipos que quieren una plataforma open-source y self-hostable para observabilidad LLM, trazado, gestión de prompts, evaluaciones, datasets y experimentos.

Langfuse es la opción open-source todo terreno más fuerte. El repositorio GitHub de Langfuse es público,⁹ el producto tiene precios públicos,¹⁰ y la documentación de self-hosting explicita las opciones de despliegue.¹¹ También tiene una integración nativa con OpenTelemetry, cada vez más importante a medida que la observabilidad de agentes converge con la telemetría estándar.¹²

Capacidades clave

• Plataforma open-source de observabilidad LLM.
• Trazas, sesiones, seguimiento de usuarios y puntuaciones.
• Gestión de prompts, datasets y experimentos.
• Evaluaciones automatizadas y workflows LLM-as-judge.¹³
• Integración nativa con OpenTelemetry.¹²
• Soporte de self-hosting.¹¹

Fortalezas

Langfuse ofrece una combinación rara: transparencia open-source, self-hosting, workflows modernos de evaluación y una superficie amplia de observabilidad. Eso la hace atractiva para equipos conscientes de seguridad, industrias reguladas y organizaciones de ingeniería que quieren evitar el lock-in inmediato de proveedor.

También encaja con stacks heterogéneos. Si tus agentes no están construidos exclusivamente sobre un framework, Langfuse aún puede ubicarse en el centro como capa de trazas y evaluación.

Limitaciones

El self-hosting es poderoso, pero no es gratis operativamente. Los equipos deben ejecutar, asegurar, actualizar y escalar el despliegue. Langfuse también puede requerir más ensamblaje que una plataforma empresarial totalmente gestionada para gobernanza avanzada, alertas o adopción entre equipos.

Precios / métricas públicas

Langfuse publica información de precios y self-hosting.¹⁰¹¹ No se encontraron métricas públicas de ingresos o número de clientes en las fuentes requeridas.

4. Arize Phoenix / Arize AX — Mejor stack orientado a OpenTelemetry y OpenInference

Ideal para: Equipos que quieren observabilidad de desarrollo open-source mediante Phoenix y observabilidad empresarial de IA en producción mediante Arize AX, especialmente con instrumentación estilo OpenTelemetry y OpenInference.

Arize es un actor serio de observabilidad de producción, y Phoenix es uno de los proyectos open-source más importantes del ecosistema de observabilidad LLM. Phoenix se posiciona para observabilidad y evaluación de IA,¹⁴ mientras el material de observabilidad de agentes de Arize se centra en trazas, llamadas a herramientas, pasos de agentes y monitorización de producción.¹⁵ El repositorio GitHub de Phoenix es público.¹⁶

Capacidades clave

• Workflows open-source de observabilidad y evaluación con Phoenix.¹⁴¹⁶
• Observabilidad empresarial de IA con Arize AX.
• Observabilidad de agentes para llamadas a herramientas, trazas y comportamiento de múltiples pasos.¹⁵
• Integraciones con OpenTelemetry.¹⁷
• Narrativa de instrumentación OpenInference y OTel.¹⁸
• Credibilidad empresarial mediante el anuncio público de financiación de Arize.¹⁹

Fortalezas

La ventaja de Arize es la profundidad de observabilidad. Viene de un trasfondo de observabilidad de machine learning y se ha movido agresivamente hacia observabilidad LLM y de agentes. Phoenix da a los equipos un punto de entrada open-source, mientras AX ofrece una ruta empresarial de producción.

La historia de OpenTelemetry también es fuerte. A medida que las empresas estandarizan trazas y métricas entre servicios, la telemetría de agentes no debería vivir en una caja negra aislada. La orientación OTel y OpenInference de Arize encaja con esa tendencia.

Limitaciones

La división Phoenix/AX puede requerir decisiones arquitectónicas más claras que un producto único SaaS-first. Phoenix es atractivo para desarrollo y workflows open-source; AX es la capa empresarial de producción. Los equipos deben decidir dónde pertenece cada uno en su ciclo de vida.

Precios / métricas públicas

Phoenix es open source. Los precios empresariales de Arize AX no se divulgan públicamente en las fuentes requeridas. Arize anunció públicamente una Series C de 70 millones de dólares para construir infraestructura de evaluación y observabilidad de IA.¹⁹

5. Galileo — Mejor plataforma empresarial de evaluación agentic

Ideal para: Equipos empresariales que quieren evaluaciones agentic gestionadas, visibilidad de workflows, guardrails, dashboards y monitorización sin construir su propia plataforma de evaluación con componentes open-source.

Galileo se posiciona como una plataforma empresarial de evaluación y observabilidad de IA.²⁰ Tiene información pública de precios,²¹ casos de estudio públicos,²² y una historia de cliente de Google Cloud.²³ Su anuncio de lanzamiento de evaluaciones agentic se centra específicamente en ayudar a desarrolladores a construir agentes de IA fiables.²⁴

Capacidades clave

• Evaluaciones agentic para workflows de agentes de múltiples pasos.²⁴
• Dashboards de observabilidad para sistemas de IA.
• Monitorización de calidad, coste, latencia y errores.
• Guardrails y workflows de evaluación.
• Casos de estudio empresariales y orientación a despliegue gestionado.²²²³

Fortalezas

El posicionamiento de Galileo es claro: evaluación y observabilidad de nivel empresarial para IA en producción. Es especialmente relevante para equipos que quieren workflows de evaluación específicos de agentes pero no quieren ensamblar por sí mismos trazado OSS, métricas personalizadas y dashboards.

La historia de cliente de Google Cloud es una señal útil de credibilidad porque los compradores empresariales suelen preocuparse tanto por la madurez operativa y las alianzas como por las listas de características.²³

Limitaciones

Galileo está menos centrado en open source que Langfuse, Phoenix, DeepEval, Helicone o Ragas. Los equipos que quieren control local-first, transparencia de self-hosting o código de pruebas a nivel de framework pueden preferir otras opciones. El detalle técnico público varía por área de producto y algunos términos empresariales requieren conversaciones con ventas.

Precios / métricas públicas

Galileo publica información de precios.²¹ No se encontraron métricas detalladas de número de clientes, ingresos o uso de plataforma en las fuentes requeridas.

6. DeepEval / Confident AI — Mejor framework code-first para pruebas de agentes

Ideal para: Desarrolladores que quieren evaluaciones estilo pytest para apps LLM y agentes, con una plataforma gestionada opcional para dashboards, colaboración y observabilidad.

DeepEval es un framework de evaluación code-first de Confident AI. Su homepage y repositorio GitHub hacen central el framework open-source,²⁵²⁶ mientras Confident AI proporciona la plataforma más amplia, docs y precios.²⁷²⁸²⁹

Capacidades clave

• Framework open-source de evaluación LLM.
• Evaluaciones tipo unit test para aplicaciones LLM.
• Métricas para corrección de respuestas, alucinación, RAG y comportamiento de agentes.
• Workflow de desarrollador compatible con CI.
• Plataforma Confident AI para dashboards y colaboración.²⁸

Fortalezas

DeepEval es una de las recomendaciones más fáciles para equipos de ingeniería que quieren evaluaciones en código. Mapea de forma natural al modelo mental que los desarrolladores ya entienden: escribir tests, ejecutar tests, hacer fallar builds y corregir regresiones.

Eso lo hace fuerte para validación preproducción. Si un equipo quiere que cada prompt, workflow de agente o cambio de recuperación pase una suite de evaluación antes de merge, DeepEval pertenece a la shortlist.

Limitaciones

DeepEval por sí solo no equivale a una plataforma completa de observabilidad de producción. Para ingesta de trazas de producción, alertas, analítica de sesiones largas y monitorización organizacional, los equipos pueden necesitar Confident AI u otra capa de observabilidad.

Precios / métricas públicas

DeepEval es open source en GitHub.²⁶ Confident AI publica precios para su plataforma.²⁹ No se encontraron métricas públicas de clientes o uso en las fuentes requeridas.

7. OpenAI Agent Evals — Mejor para constructores de agentes OpenAI-native

Ideal para: Equipos que construyen principalmente con el stack Agents de OpenAI y quieren evaluación, trazado, calificación de trazas e integraciones de observabilidad cerca del modelo y del runtime de agentes.

La guía OpenAI Agent Evals se centra en evaluar workflows de agentes usando trazas, graders, datasets y ejecuciones de eval.³⁰ La guía de Agents, las integraciones de observabilidad y los docs de trace grading muestran un sistema más amplio para construir e inspeccionar agentes OpenAI-native.³¹³²³³

Capacidades clave

• Workflows de evaluación de agentes con trazas, datasets y graders.³⁰
• Docs de construcción de agentes y guía de runtime.³¹
• Integraciones de observabilidad para trazas de agentes.³²
• Trace grading para evaluación a nivel de workflow.³³
• Repositorio open-source openai/evals.³⁴

Fortalezas

La mayor ventaja es la proximidad al stack de agentes de OpenAI. Si tu agente de producción se construye alrededor de APIs de OpenAI y tooling de Agents, OpenAI Agent Evals puede evaluar los artefactos nativos de ese stack con menos traducción.

Trace grading es particularmente relevante para agentes porque el proceso importa tanto como el texto final. Un workflow puede ser incorrecto por una elección de herramienta, un traspaso, un guardrail ausente o un paso intermedio de razonamiento.

Limitaciones

El compromiso es la neutralidad frente al proveedor. OpenAI Agent Evals funciona mejor cuando el resto del stack es OpenAI-native. Equipos que comparan múltiples proveedores de modelos, frameworks o entornos de hosting pueden preferir Braintrust, Langfuse, Phoenix o LangSmith.

Precios / métricas públicas

OpenAI publica precios de API.³⁵ Los precios del workflow de evaluación más amplio dependen del uso de modelos y llamadas API. No se encontraron métricas públicas de adopción específicas de Agent Evals en las fuentes requeridas.

8. Helicone — Mejor capa ligera de gateway y observabilidad de costes

Ideal para: Equipos que necesitan observabilidad rápida a nivel de solicitud, seguimiento de costes, analítica de latencia, caching, routing, feedback y puntuaciones sin adoptar una plataforma de evaluación más pesada el primer día.

Helicone es una capa pragmática de observabilidad estilo gateway. Sus precios son públicos,³⁶ su función de scores está documentada,³⁷ y su repositorio GitHub es público.³⁸ También aparece en los docs del proveedor de observabilidad de Vercel AI SDK.³⁹

Capacidades clave

• Logging y analítica de solicitudes LLM.
• Seguimiento de coste, latencia y uso.
• Workflows de scores y feedback.³⁷
• Funciones de gateway como caching y routing.
• Repositorio open-source.³⁸
• Integración con proveedor de AI SDK.³⁹

Fortalezas

La fortaleza de Helicone es la velocidad. Muchos equipos no empiezan con una disciplina completa de evaluación; empiezan preguntando: “¿Cuánto estamos gastando, qué solicitudes son lentas y dónde están insatisfechos los usuarios?” Helicone responde rápido a esas preguntas.

También es útil como complemento de herramientas de evaluación más profundas. Un equipo puede usar Helicone para analítica de gateway y otro framework para evaluaciones offline o suites de regresión CI.

Limitaciones

Helicone no es la plataforma más profunda de evaluación de trayectorias de agentes en este ranking. Su propio blog cubre observabilidad LLM más amplia y frameworks de evaluación de prompts,⁴⁰⁴¹ pero los equipos que necesitan puntuación compleja de agentes de múltiples pasos, gestión de datasets y gating CI pueden superar una configuración gateway-first.

Precios / métricas públicas

Helicone publica precios.³⁶ No se encontraron métricas públicas de ingresos, número de clientes o volumen de solicitudes en las fuentes requeridas.

9. Ragas — Mejor framework especializado de evaluación RAG

Ideal para: Equipos centrados en calidad RAG, métricas de recuperación, generación de testsets sintéticos y experimentos de evaluación más que en dashboards completos de observabilidad de producción.

Ragas es uno de los frameworks open-source de evaluación RAG más conocidos. Sus docs cubren workflows de evaluación,⁴² el sitio web explica el proyecto,⁴³ las integraciones están documentadas,⁴⁴ y existe guía relacionada con costes para aplicaciones de evaluación.⁴⁵

Capacidades clave

• Métricas de evaluación RAG.
• Generación de testsets y experimentación.
• Integraciones con tooling LLM más amplio.⁴⁴
• Guía de evaluación consciente del coste.⁴⁵
• Útil para calidad de recuperación y análisis de fundamentación de respuestas.

Fortalezas

Ragas es excelente cuando el riesgo central de producción es la calidad de recuperación: contexto incompleto, mala fundamentación, baja fidelidad de respuesta o mal recall de recuperación. Da a los equipos métricas y workflows más especializados que la puntuación genérica de texto.

También combina bien con plataformas de observabilidad. Por ejemplo, un equipo podría capturar trazas en Langfuse o Phoenix y usar métricas estilo Ragas para evaluación específica de RAG.

Limitaciones

Ragas no es un dashboard independiente de observabilidad de producción. No reemplaza la ingesta de trazas, alertas, analítica de sesiones, monitorización de costes o workflows empresariales de revisión. Pertenece al toolkit de evaluación, no como el único harness para agentes en producción.

Precios / métricas públicas

La documentación y el sitio web de Ragas son públicos.⁴²⁴³ No se encontraron métricas públicas de precios o ingresos para una plataforma Ragas gestionada en las fuentes requeridas.

Matriz comparativa

Dónde encaja MCPlato: el harness de espacio de trabajo alrededor del harness de evaluación

MCPlato no debería clasificarse como proveedor directo de evaluación u observabilidad en esta categoría. No es un dashboard dedicado de evaluación, ni un pipeline OpenTelemetry, ni un almacén de trazas de producción, ni un reemplazo para LangSmith, Braintrust, Langfuse, Phoenix/AX, Galileo, DeepEval, OpenAI Agent Evals, Helicone o Ragas.

Su rol es diferente: MCPlato es un AI Partner y harness de espacio de trabajo local-first.⁴⁶ Ayuda a los equipos a coordinar el trabajo humano y de IA que ocurre antes, alrededor y después de la evaluación formal de producción:

• investigar fallos de agentes y puntos de dolor de usuarios;
• prototipar workflows de agentes entre archivos, sesiones de navegador y herramientas;
• preparar datasets de evaluación desde documentos locales, notas, logs e investigación;
• ejecutar trabajo de IA multisessión con contexto local persistente;
• mantener a los humanos en el bucle durante depuración y revisión;
• organizar memoria del espacio de trabajo, artefactos y materiales conectados alrededor de un proyecto.

Eso hace que MCPlato sea complementario al stack de evaluación. Un workflow práctico podría verse así:

1. Usar MCPlato para investigar reportes de fallos, recopilar ejemplos, inspeccionar archivos locales, coordinar sesiones de investigación y redactar casos de evaluación.
2. Usar LangSmith, Braintrust, Langfuse, Phoenix/AX, Galileo, DeepEval, OpenAI Agent Evals, Helicone o Ragas para ejecutar telemetría, ingesta de trazas, dashboards, puntuación de evaluación, alertas y regresión CI/CD.
3. Traer fallos e insights de vuelta a MCPlato para revisión humana, documentación, iteración de prototipos y colaboración a nivel de espacio de trabajo.

El changelog de MCPlato muestra un producto de escritorio de espacio de trabajo de IA en evolución,⁴⁷ pero los equipos deberían tratarlo como el entorno de colaboración y orquestación alrededor de su harness de evaluación, no como el harness de evaluación en sí.

Guía de elección por tipo de equipo

Si eres un equipo muy centrado en LangChain o LangGraph

Empieza con LangSmith. Da el camino más directo desde trazas nativas del framework hasta monitorización de producción y evaluaciones.

Si tu organización está construyendo una disciplina de evaluación

Elige Braintrust si datasets, experimentos, revisión humana y workflows de regresión son el centro de tu proceso de calidad de IA.

Si necesitas open source o self-hosting

Preselecciona Langfuse, Arize Phoenix, DeepEval, Helicone y Ragas. Langfuse es la opción self-hosted de observabilidad todo terreno más fuerte; Phoenix es fuerte para observabilidad abierta y OpenInference; DeepEval y Ragas son más parecidos a frameworks.

Si la alineación con OpenTelemetry es prioridad

Mira de cerca Arize Phoenix / AX, Langfuse y Braintrust. OpenTelemetry importa porque las trazas de agentes deberían coexistir eventualmente con trazas de servicios, métricas de infraestructura y workflows de incidentes.

Si necesitas evaluación empresarial gestionada

Evalúa Galileo, Arize AX, Braintrust y LangSmith. La elección correcta dependerá de gobernanza, soporte, despliegue, integraciones y cuánta lógica de evaluación quieras poseer.

Si eres OpenAI-native

Usa OpenAI Agent Evals temprano, especialmente si estás construyendo con OpenAI Agents y quieres trace grading nativo. Considera una capa neutral respecto al proveedor si esperas expansión multi-modelo o multi-framework.

Si necesitas visibilidad rápida de solicitudes/costes

Empieza con Helicone. Es una de las formas más rápidas de entender gasto, latencia y comportamiento de solicitudes.

Si la calidad RAG es el riesgo principal

Usa Ragas junto con una herramienta de observabilidad más amplia. Es un framework de métricas, no un dashboard completo de producción.

Si tu cuello de botella es la orquestación del espacio de trabajo

Usa MCPlato cuando el equipo necesita un espacio de trabajo de IA local-first para investigación, prototipado, depuración, preparación de datasets y colaboración humana. Luego conecta los casos de evaluación e insights operativos resultantes a una plataforma dedicada de evaluación/observabilidad.

El panorama general: evaluaciones + trazas + OTel + revisión humana + orquestación del espacio de trabajo

La dirección del mercado es clara. La calidad de agentes en producción se está convirtiendo en un bucle cerrado:

1. Instrumentar todo. Capturar llamadas de modelo, llamadas a herramientas, recuperación, traspasos, feedback de usuarios, coste, latencia y errores.
2. Convertir trazas en evaluaciones. Cada fallo serio debería convertirse en una fila de dataset, prueba de regresión o elemento de revisión humana.
3. Ejecutar evaluaciones antes del despliegue. Las puertas CI/CD deberían detectar regresiones de prompts, modelos, herramientas y workflows.
4. Monitorizar después del despliegue. Puntuaciones online, alertas y dashboards deberían revelar drift y fallos silenciosos.
5. Mantener a los humanos en el bucle. Los revisores siguen importando para tareas ambiguas, decisiones de políticas, casos límite y calibración de confianza.
6. Usar orquestación de espacio de trabajo. Herramientas como MCPlato ayudan a los equipos a organizar el trabajo circundante: investigación, contexto, archivos, memoria, colaboración y artefactos de depuración.

Ninguna herramienta posee perfectamente todo el bucle. LangSmith, Braintrust, Langfuse, Phoenix/AX, Galileo, DeepEval, OpenAI Agent Evals, Helicone y Ragas cubren cada una diferentes porciones. MCPlato cubre una capa distinta pero cada vez más importante: el espacio de trabajo local donde humanos y agentes de IA preparan, inspeccionan e iteran antes de que los sistemas de calidad de producción impongan las reglas.

Para la mayoría de equipos de producción en 2026, el stack ganador no será un único dashboard. Será una combinación de trazas de agentes, evaluaciones repetibles, observabilidad compatible con OpenTelemetry, revisión humana y un harness de espacio de trabajo que mantenga el trabajo coherente.

Referencias

Footnotes

1. LangSmith Observability — https://www.langchain.com/langsmith/observability ↩

2. LangSmith Evaluation Docs — https://docs.langchain.com/langsmith/evaluation ↩

3. LangChain Pricing — https://www.langchain.com/pricing ↩ ↩²

4. Braintrust Homepage — https://www.braintrust.dev/ ↩

5. Braintrust OpenTelemetry Integration — https://www.braintrust.dev/docs/integrations/sdk-integrations/opentelemetry ↩ ↩²

6. Braintrust Customers — https://www.braintrust.dev/customers ↩ ↩²

7. Braintrust Series A Announcement — https://www.braintrust.dev/blog/announcing-series-a ↩

8. Braintrust Pricing — https://www.braintrust.dev/pricing ↩

9. Langfuse GitHub — https://github.com/langfuse/langfuse ↩

10. Langfuse Pricing — https://langfuse.com/pricing ↩ ↩²

11. Langfuse Self-hosting — https://langfuse.com/self-hosting ↩ ↩² ↩³

12. Langfuse OpenTelemetry Integration — https://langfuse.com/integrations/native/opentelemetry ↩ ↩²

13. Langfuse Automated Evaluations — https://langfuse.com/blog/2025-09-05-automated-evaluations ↩

14. Arize Phoenix — https://arize.com/phoenix/ ↩ ↩²

15. Arize Agent Observability — https://arize.com/ai-agents/agent-observability/ ↩ ↩²

16. Arize Phoenix GitHub — https://github.com/arize-ai/phoenix ↩ ↩²

17. Arize AX OpenTelemetry Integration — https://arize.com/docs/ax/integrations/opentelemetry/opentelemetry-arize-otel ↩

18. Arize OTel / OpenInference Blog — https://arize.com/blog/zero-to-a-million-instrumenting-llms-with-otel/ ↩

19. Arize Series C Announcement — https://arize.com/blog/arize-ai-raises-70m-series-c-to-build-the-gold-standard-for-ai-evaluation-observability/ ↩ ↩²

20. Galileo Homepage — https://galileo.ai/ ↩

21. Galileo Pricing — https://galileo.ai/pricing ↩ ↩²

22. Galileo Case Studies — https://galileo.ai/case-studies ↩ ↩²

23. Google Cloud Customer Story: Galileo — https://cloud.google.com/customers/galileo ↩ ↩² ↩³

24. Galileo Agentic Evaluations Announcement — https://www.prnewswire.com/news-releases/galileo-launches-agentic-evaluations-to-empower-developers-to-build-reliable-ai-agents-302358451.html ↩ ↩²

25. DeepEval Homepage — https://deepeval.com/ ↩

26. DeepEval GitHub — https://github.com/confident-ai/deepeval ↩ ↩²

27. Confident AI DeepEval Framework — https://www.confident-ai.com/frameworks/deepeval ↩

28. Confident AI Docs — https://www.confident-ai.com/docs ↩ ↩²

29. Confident AI Pricing — https://www.confident-ai.com/pricing ↩ ↩²

30. OpenAI Agent Evals Guide — https://developers.openai.com/api/docs/guides/agent-evals ↩ ↩²

31. OpenAI Agents Guide — https://developers.openai.com/api/docs/guides/agents ↩ ↩²

32. OpenAI Agents Observability Integrations — https://developers.openai.com/api/docs/guides/agents/integrations-observability ↩ ↩²

33. OpenAI Trace Grading — https://developers.openai.com/api/docs/guides/trace-grading ↩ ↩²

34. OpenAI Evals GitHub — https://github.com/openai/evals ↩

35. OpenAI Pricing — https://developers.openai.com/api/docs/pricing ↩

36. Helicone Pricing — https://www.helicone.ai/pricing ↩ ↩²

37. Helicone Scores Docs — https://docs.helicone.ai/features/advanced-usage/scores ↩ ↩²

38. Helicone GitHub — https://github.com/Helicone/helicone ↩ ↩²

39. AI SDK Helicone Observability Provider — https://ai-sdk.dev/providers/observability/helicone ↩ ↩²

40. Helicone LLM Observability Platforms Guide — https://www.helicone.ai/blog/the-complete-guide-to-LLM-observability-platforms ↩

41. Helicone Prompt Evaluation Frameworks Guide — https://www.helicone.ai/blog/prompt-evaluation-frameworks ↩

42. Ragas Docs — https://docs.ragas.io/en/stable/ ↩ ↩²

43. Ragas Website — https://www.ragas.io/ ↩ ↩²

44. Ragas Integrations — https://docs.ragas.io/en/stable/howtos/integrations/ ↩ ↩²

45. Ragas Cost Docs — https://docs.ragas.io/en/v0.2.5/howtos/applications/_cost/ ↩ ↩²

46. MCPlato Homepage — https://mcplato.com/en/ ↩

47. MCPlato Changelog — https://mcplato.com/en/changelog/ ↩