2026 年生產團隊最佳 AI Agent 評估與可觀測性 Harness

生產環境中的 AI agent，其失敗方式不同於示範中的失敗。

示範失敗，通常是模型給出了一個較弱的答案。生產環境中的 agent 失敗，則可能是它呼叫了錯誤工具、靜默跳過某個步驟、循環 14 分鐘、燒掉預算、錯誤處理交接、檢索到過期上下文，或者某個工作流程測試今天通過、第二天又回歸。因此，2026 年的生產團隊需要的不只是提示詞日誌。他們需要 評估與可觀測性 harness：能夠捕獲 trace、為行為評分、比較版本、暴露回歸，並把人工審查重新連接到開發流程中的系統。

本文對 2026 年面向生產團隊的領先 AI agent 評估與可觀測性 harness 進行排名：

1. LangSmith
2. Braintrust
3. Langfuse
4. Arize Phoenix / Arize AX
5. Galileo
6. DeepEval / Confident AI
7. OpenAI Agent Evals
8. Helicone
9. Ragas

MCPlato 會單獨討論：它不是直接的可觀測性廠商，而是圍繞 eval harness 的互補型 本地優先 AI 工作空間 harness。

什麼算 AI Agent Eval / 可觀測性 Harness？

在本次對比中，AI agent eval 與可觀測性 harness 指的是能幫助團隊回答五個生產問題的平台或框架：

• 發生了什麼？ 追蹤 agent 步驟、工具呼叫、模型呼叫、檢索、交接、會話、成本、延遲和錯誤。
• 結果好嗎？ 使用程式碼評估器、LLM-as-judge、人工審查、回饋或領域指標，對輸出和軌跡評分。
• 是否回歸？ 在部署前基於資料集執行可重複 eval，並在部署後監控線上行為。
• 能否除錯？ 檢查失敗 trace，比較提示詞 / 模型 / 工具版本，並把生產失敗轉化為測試案例。
• 能否適配我們的技術棧？ 與 SDK、CI/CD、OpenTelemetry、現有可觀測性系統和治理要求整合。

最好的 harness 會結合 trace + eval 資料集 + 實驗 + 生產監控 + 人工回饋。較弱的工具也有價值，但範圍更窄：可能只是日誌代理、測試庫，或 RAG 指標工具包，而不是完整的生產控制閉環。

方法論

本排名優先考慮正在建構多步驟 LLM 與 agent 系統的生產團隊。評分是定性的，依據截至 2026 年 5 月 14 日可公開取得的產品頁面、文件、定價頁面、整合、開源倉庫以及公開公司 / 客戶資訊。

主要評分維度：

我們避免編造指標。如果定價、成長、營收、客戶數量或基準測試數字没有公開揭露，我們會明確說明。

1. LangSmith — 生產 Agent 團隊的最佳綜合選擇

最適合： 使用 LangChain、LangGraph 或相鄰 Python / JavaScript 技術棧建構 agent，並需要一個成熟一體化系統來完成 tracing、評估、資料集、監控和部署信心建設的團隊。

LangSmith 排名第一，因為它是面向 agent 建構者最完整的生產 harness 之一。其可觀測性產品強調對 LLM 應用和 agent 的 tracing、監控、除錯與營運可見性。¹ 其評估文件涵蓋資料集、實驗、自動評估器，以及隨時間比較系統行為的工作流程。²

核心能力

• 面向多步驟工作流程的 agent 與 LLM tracing。
• 評估資料集和實驗執行。
• 自動評估器和人工審查工作流程。
• 面向延遲、成本、錯誤和品質訊號的生產監控。
• 與 LangChain 和 LangGraph 專案高度契合。
• 公開定價頁面，提供基於用量和團隊導向的方案。³

優勢

LangSmith 最大的優勢是完整性。許多團隊從 LangChain 或 LangGraph 起步，隨後需要圍繞它的營運層。LangSmith 為這些團隊提供了從本地除錯到 trace 檢查、eval 資料集和生產監控的最短路徑。

它對 agent 團隊尤其強，因為 agent 失敗往往發生在軌跡層，而不是輸出層。最終答案可能看起來可以接受，但中間工具呼叫會暴露浪費成本、不安全操作或脆弱規劃。LangSmith 的 tracing 與 eval 工作流程正是為這類檢查而設計。

限制

LangSmith 在 LangChain / LangGraph 生態內最有吸引力。希望獲得完全廠商中立、開源或自託管優先控制平面的團隊，可能更偏好 Langfuse 或 Phoenix。定價是公開的，但最終成本取決於用量規模和方案細節，而不是單一固定數字。

定價 / 公開指標

LangChain 公開發布 LangSmith 定價。³ 在所需來源中未找到 LangSmith 專屬的公開客戶數量或營收指標。

2. Braintrust — 最佳評估優先平台

最適合： 將 eval 視為核心開發工作流程的產品和工程團隊：資料集、實驗、回歸、人工審查，以及生產 trace 回饋閉環。

Braintrust 是本排名中最以評估為中心的平台。其首頁圍繞實驗、資料集、日誌、提示詞、playground 和人工審查，定位為用於評估、發布和改進 AI 產品的工具。⁴ 它还記錄了 OpenTelemetry 整合，這對正在標準化更廣泛可觀測性基礎設施的團隊很重要。⁵

核心能力

• 用於可重複評估的資料集和實驗。
• 線上和離線評分工作流程。
• 人工審查和標註循環。
• 提示詞和模型對比。
• 生產日誌與 trace 回饋進入 eval。
• OpenTelemetry 整合。⁵
• 公開客戶頁面和案例研究。⁶

優勢

当 eval 不是事後補救時，Braintrust 最強。它鼓励團隊把範例、trace、回饋和邊界案例轉化為持久資料集。這正是生產 agent 所需的思维模型：每一次失敗都應成為未來的回歸測試。

它也有很強的可信度訊號。Braintrust 公開宣布了 A 輪融資，並在網站上列出客戶故事。⁷⁶ 這些不是產品性能指標，但顯示了市场採用度和投資人信心。

限制

相比 Langfuse、Phoenix、DeepEval 或 Ragas，Braintrust 不那么開源優先。希望自託管整個可觀測性層，或檢查完整 OSS 伺服器端的團隊，可能會覺得 Langfuse 或 Phoenix 更有吸引力。它也以評估為先：如果你的即時痛點是閘道級請求日誌和成本分析，Helicone 可能部署更快。

定價 / 公開指標

Braintrust 公開發布定價。⁸ 在所需來源中，其精確客戶數量、營收和使用量未公開揭露。

3. Langfuse — 最佳開源 / 自託管全能 Harness

最適合： 想要一個開源、可自託管平台來完成 LLM 可觀測性、tracing、提示詞管理、eval、資料集和實驗的團隊。

Langfuse 是最強的開源全能選項。Langfuse GitHub 倉庫是公開的，⁹ 產品有公開定價，¹⁰ 自託管文件明確說明部署選項。¹¹ 它还具備原生 OpenTelemetry 整合；隨著 agent 可觀測性與標準 telemetry 匯合，這一點越來越重要。¹²

核心能力

• 開源 LLM 可觀測性平台。
• Trace、會話、使用者追蹤和分數。
• 提示詞管理、資料集和實驗。
• 自動評估和 LLM-as-judge 工作流程。¹³
• 原生 OpenTelemetry 整合。¹²
• 自託管支援。¹¹

優勢

Langfuse 提供了一种少見組合：開源透明度、自託管、現代 eval 工作流程，以及廣泛的可觀測性覆蓋面。這使它對重視安全的團隊、受監管產業，以及希望避免立即陷入廠商鎖定的工程組織具有吸引力。

它也适合異質技術棧。如果你的 agent 並非完全建立在某一個框架上，Langfuse 仍可作為 trace 與 eval 層居中執行。

限制

自託管很強大，但營運上並非免費。團隊必須執行、保護、升級和擴展部署。對于高級治理、告警或跨團隊採用，Langfuse 也可能比完全託管的企業平台需要更多組裝工作。

定價 / 公開指標

Langfuse 公開發布定價和自託管資訊。¹⁰¹¹ 在所需來源中未找到公開營收或客戶數量指標。

4. Arize Phoenix / Arize AX — 最佳 OpenTelemetry 與 OpenInference 導向技術棧

最適合： 希望透過 Phoenix 獲得開源開發可觀測性，並通過 Arize AX 獲得企業級生產 AI 可觀測性的團隊，尤其适合採用 OpenTelemetry 和 OpenInference 風格 instrumentation 的團隊。

Arize 是嚴肅的生產可觀測性玩家，而 Phoenix 是 LLM 可觀測性生態中最重要的開源專案之一。Phoenix 定位于 AI 可觀測性和評估，¹⁴ Arize 的 agent 可觀測性材料則聚焦 trace、工具呼叫、agent 步驟和生產監控。¹⁵ Phoenix GitHub 倉庫是公開的。¹⁶

核心能力

• Phoenix 開源可觀測性和評估工作流程。¹⁴¹⁶
• Arize AX 企業級 AI 可觀測性。
• 面向工具呼叫、trace 和多步驟行為的 agent 可觀測性。¹⁵
• OpenTelemetry 整合。¹⁷
• OpenInference 與 OTel instrumentation 敘事。¹⁸
• 通過 Arize 公開融資公告體現企業可信度。¹⁹

優勢

Arize 的優勢在于可觀測性深度。它源自機器學習可觀測性背景，並積極進入 LLM 與 agent 可觀測性領域。Phoenix 為團隊提供開源入口，而 AX 提供生產級企業路徑。

OpenTelemetry 敘事也很強。隨著公司在服務間標準化 trace 和指標，agent telemetry 不能存在于孤立黑盒中。Arize 的 OTel 與 OpenInference 取向契合這一趨勢。

限制

Phoenix / AX 的分工可能比單一 SaaS 優先產品需要更清楚的架構決策。Phoenix 對開發和開源工作流程很有吸引力；AX 是企業生產層。團隊必須决定二者在生命週期中的位置。

定價 / 公開指標

Phoenix 是開源的。在所需來源中，Arize AX 企業定價未公開揭露。Arize 公開宣布完成 7000 萬美元 C 輪融資，用於建構 AI 評估和可觀測性基礎設施。¹⁹

5. Galileo — 最佳企業 Agentic 評估平台

最適合： 希望獲得託管式 agentic evaluations、工作流程可見性、guardrails、儀表板和監控，而不想從開源組件自建評估平台的企業團隊。

Galileo 將自身定位為企業 AI 評估與可觀測性平台。²⁰ 它有公開定價資訊、²¹ 公開案例研究、²² 以及 Google Cloud 客戶故事。²³ 其 agentic evaluations 發布公告專門聚焦幫助開發者建構可靠 AI agents。²⁴

核心能力

• 面向多步驟 agent 工作流程的 agentic evaluations。²⁴
• AI 系統可觀測性儀表板。
• 品質、成本、延遲和錯誤監控。
• Guardrails 與評估工作流程。
• 企業案例研究和託管部署取向。²²²³

優勢

Galileo 的定位很清楚：為生產 AI 提供企業級評估和可觀測性。它尤其适合希望獲得 agent 專用評估工作流程，但不想自行組裝 OSS tracing、自定義指標和儀表板的團隊。

Google Cloud 客戶故事是有用的可信度訊號，因為企業買家通常同样看重營運成熟度、合作夥伴關系和功能清單。²³

限制

相比 Langfuse、Phoenix、DeepEval、Helicone 或 Ragas，Galileo 不那么以開源為中心。希望獲得本地優先控制、自託管透明度或框架級測試程式碼的團隊，可能更偏好其他選項。公開技術細節因產品領域而异，部分企業條款需要銷售溝通。

定價 / 公開指標

Galileo 公開發布定價資訊。²¹ 在所需來源中未找到详細客戶數量、營收或平台使用量指標。

6. DeepEval / Confident AI — 最佳程式碼優先 Agent 測試框架

最適合： 希望為 LLM 應用和 agent 撰寫 pytest 風格 eval，並可選擇託管平台用於儀表板、協作和可觀測性的開發者。

DeepEval 是 Confident AI 推出的程式碼優先評估框架。其首頁和 GitHub 倉庫將開源框架置于核心位置，²⁵²⁶ Confident AI 則提供更完整的平台、文件和定價。²⁷²⁸²⁹

核心能力

• 開源 LLM 評估框架。
• 面向 LLM 應用的類單元測試 eval。
• 涵蓋答案正確性、幻覺、RAG 和 agent 行為的指標。
• CI 友善的開發者工作流程。
• 用於儀表板和協作的 Confident AI 平台。²⁸

優勢

對于希望把 eval 寫進程式碼的工程團隊，DeepEval 是最容易推薦的選擇之一。它自然映射到開發者已經理解的心智模型：寫測試、跑測試、讓建置失敗、修復回歸。

這使它非常适合生產前驗證。如果團隊希望每一次提示詞、agent 工作流程或檢索變更在合併前通過 eval 套件，DeepEval 應進入候選名單。

限制

DeepEval 本身並不等同於完整的生產可觀測性平台。對于生產 trace 擷取、告警、長會話分析和組織級監控，團隊可能需要 Confident AI 或另一個可觀測性層。

定價 / 公開指標

DeepEval 在 GitHub 上開源。²⁶ Confident AI 公開發布其平台定價。²⁹ 在所需來源中未找到公開客戶數量或使用量指標。

7. OpenAI Agent Evals — OpenAI 原生 Agent 建構者的最佳選擇

最適合： 主要使用 OpenAI Agents 技術棧建構，並希望在靠近模型和 agent runtime 的位置獲得評估、tracing、trace grading 和可觀測性整合的團隊。

OpenAI 的 Agent Evals 指南聚焦于使用 trace、grader、資料集和 eval run 來評估 agent 工作流程。³⁰ Agents 指南、可觀測性整合和 trace grading 文件展示了一個更廣泛的系統，用於建構和檢查 OpenAI 原生 agents。³¹³²³³

核心能力

• 基於 trace、資料集和 grader 的 agent eval 工作流程。³⁰
• Agent 建構文件和 runtime 指引。³¹
• 面向 agent trace 的可觀測性整合。³²
• 面向工作流程級評估的 trace grading。³³
• 開源 openai/evals 倉庫。³⁴

優勢

最大的優勢是靠近 OpenAI agent 技術棧。如果你的生產 agent 圍繞 OpenAI API 和 Agents 工具建構，OpenAI Agent Evals 能以更少轉換來評估该技術棧的原生產物。

Trace grading 對 agent 尤其相關，因為過程和最終文字同样重要。工作流程可能因為工具選擇、交接、缺少 guardrail 或中間推理步驟而出錯。

限制

取捨在于廠商中立性。OpenAI Agent Evals 在其余技術棧也 OpenAI 原生時最合适。正在比較多個模型供應商、框架或託管環境的團隊，可能更偏好 Braintrust、Langfuse、Phoenix 或 LangSmith。

定價 / 公開指標

OpenAI 公開發布 API 定價。³⁵ 更廣泛 eval 工作流程的定價取決於模型用量和 API 呼叫。在所需來源中未找到 Agent Evals 專屬的公開採用指標。

8. Helicone — 最佳輕量閘道與成本可觀測性層

最適合： 需要快速獲得請求級可觀測性、成本追蹤、延遲分析、快取、路由、回饋和分數，而不想在第一天就採用更重 eval 平台的團隊。

Helicone 是實用的閘道式可觀測性層。其定價公開，³⁶ 分數功能有文件說明，³⁷ GitHub 倉庫也是公開的。³⁸ 它还出現在 Vercel AI SDK 可觀測性 provider 文件中。³⁹

核心能力

• LLM 請求日誌和分析。
• 成本、延遲和使用量追蹤。
• 分數和回饋工作流程。³⁷
• 快取和路由等閘道功能。
• 開源倉庫。³⁸
• AI SDK provider 整合。³⁹

優勢

Helicone 的優勢是速度。許多團隊一開始並没有完整 eval 纪律；他們首先會問：“我們花了多少錢，哪些請求很慢，用戶哪裡不滿意？”Helicone 能快速回答這些問題。

它也适合作為更深 eval 工具的補充。團隊可以用 Helicone 做閘道分析，同時使用另一個框架做離線 eval 或 CI 回歸套件。

限制

Helicone 不是本排名中最深入的 agent 軌跡評估平台。它自己的博客涵蓋更廣泛的 LLM 可觀測性和提示詞評估框架，⁴⁰⁴¹ 但需要複雜多步驟 agent 評分、資料集管理和 CI 門檻的團隊，可能會超出閘道優先方案的能力範圍。

定價 / 公開指標

Helicone 公開發布定價。³⁶ 在所需來源中未找到公開營收、客戶數量或請求量指標。

9. Ragas — 最佳專用 RAG 評估框架

最適合： 關注 RAG 品質、檢索指標、合成測試集產生和評估實驗，而非完整生產可觀測性儀表板的團隊。

Ragas 是最知名的開源 RAG 評估框架之一。其文件涵蓋評估工作流程，⁴² 網站解釋了该專案，⁴³ 整合有文件說明，⁴⁴ 也提供了面向評估應用的成本相關指引。⁴⁵

核心能力

• RAG 評估指標。
• 測試集產生和實驗。
• 與更廣泛 LLM 工具的整合。⁴⁴
• 成本感知的評估指引。⁴⁵
• 適用於檢索品質和答案 grounding 分析。

優勢

当核心生產风險是檢索品質時，Ragas 非常出色：上下文不完整、grounding 不佳、答案忠實度弱或檢索召回差。它提供的指標和工作流程比通用文字評分更專門。

它也能與可觀測性平台良好配合。例如，團隊可以在 Langfuse 或 Phoenix 中捕獲 trace，並使用 Ragas 風格指標進行 RAG 專項評估。

限制

Ragas 不是獨立的生產可觀測性儀表板。它不能取代 trace 擷取、告警、會話分析、成本監控或企業審查工作流程。它屬於評估工具箱，而不是生產 agent 的唯一 harness。

定價 / 公開指標

Ragas 文件和網站是公開的。⁴²⁴³ 在所需來源中未找到託管 Ragas 平台的公開定價或營收指標。

對比矩陣

MCPlato 的定位：Eval Harness 外圍的工作空間 Harness

MCPlato 不應在這個類別中被列為直接 eval 或可觀測性廠商。它不是專用 eval 儀表板，不是 OpenTelemetry pipeline，不是生產 trace 倉庫，也不是 LangSmith、Braintrust、Langfuse、Phoenix / AX、Galileo、DeepEval、OpenAI Agent Evals、Helicone 或 Ragas 的取代品。

它的角色不同：MCPlato 是一個 本地優先 AI Partner 和工作空間 harness。⁴⁶ 它幫助團隊協調正式生產評估之前、周圍和之後發生的人類與 AI 工作：

• 研究 agent 失敗和用戶痛點；
• 跨檔案、瀏覽器會話和工具原型化 agent 工作流程；
• 從本地文件、筆記、日誌和研究中準備 eval 資料集；
• 使用持久本地上下文執行多會話 AI 工作；
• 在除錯和審查期間讓人類保持在環；
• 圍繞專案組織工作空間記憶、產物和連接材料。

這使 MCPlato 成為 eval 技術棧的補充。一個實用工作流程可能是：

1. 使用 MCPlato 調查失敗報告、收集範例、檢查本地文件、協調研究會話並起草 eval cases。
2. 使用 LangSmith、Braintrust、Langfuse、Phoenix / AX、Galileo、DeepEval、OpenAI Agent Evals、Helicone 或 Ragas 執行 telemetry、trace 擷取、儀表板、eval 評分、告警和 CI/CD 回歸。
3. 將失敗和洞察帶回 MCPlato，用於人工審查、文件、原型迭代和工作空間級協作。

MCPlato 的 changelog 顯示它是一個持續演進的桌面 AI 工作空間產品，⁴⁷ 但團隊應將其視為 eval harness 外圍的協作與編排環境，而不是 eval harness 本身。

按團隊類型選擇指南

如果你是重度 LangChain 或 LangGraph 團隊

從 LangSmith 開始。它提供了從框架原生 trace 到生產監控和 eval 的最直接路徑。

如果你的組織正在建立 eval 纪律

如果資料集、實驗、人工審查和回歸工作流程是 AI 品質流程的中心，請選擇 Braintrust。

如果你需要開源或自託管

優先考慮 Langfuse、Arize Phoenix、DeepEval、Helicone 和 Ragas。Langfuse 是最強的全能自託管可觀測性選項；Phoenix 在開放可觀測性和 OpenInference 方面很強；DeepEval 和 Ragas 更偏框架。

如果 OpenTelemetry 對齐是優先事項

重點關注 Arize Phoenix / AX、Langfuse 和 Braintrust。OpenTelemetry 很重要，因為 agent trace 最終應與服務 trace、基礎設施指標和事故工作流程共存。

如果你需要企業託管評估

評估 Galileo、Arize AX、Braintrust 和 LangSmith。正確選擇取決於治理、支援、部署、整合，以及你希望自己拥有多少評估邏輯。

如果你是 OpenAI 原生團隊

尽早使用 OpenAI Agent Evals，尤其是在使用 OpenAI Agents 建構並希望獲得原生 trace grading 時。如果預計會擴展到多模型或多框架，請考慮廠商中立層。

如果你需要快速請求 / 成本可見性

從 Helicone 開始。它是了解支出、延遲和請求行為最快的方式之一。

如果 RAG 品質是主要風險

將 Ragas 與更廣泛的可觀測性工具一起使用。它是指標框架，不是完整生產儀表板。

如果你的瓶頸是工作空間編排

当團隊需要本地優先 AI 工作空間來進行研究、原型開發、除錯、資料集準備和人類協作時，使用 MCPlato。然後把產生的 eval cases 和營運洞察連接到專用 eval / 可觀測性平台。

更大的圖景：Evals + Traces + OTel + 人工審查 + 工作空間編排

市场方向很清楚。生產 agent 品質正在成為一個閉環：

1. 為一切建立 instrumentation。 捕獲模型呼叫、工具呼叫、檢索、交接、用戶回饋、成本、延遲和錯誤。
2. 把 trace 轉化為 eval。 每一次嚴重失敗都應成為資料集行、回歸測試或人工審查項。
3. 部署前執行 eval。 CI/CD 門檻應捕獲提示詞、模型、工具和工作流程回歸。
4. 部署後監控。 線上分數、告警和儀表板應暴露漂移和靜默失敗。
5. 讓人類保持在環。 對于模糊任務、政策決策、邊界案例和信任校準，審查者仍然重要。
6. 使用工作空間編排。 像 MCPlato 這样的工具幫助團隊組織周邊工作：研究、上下文、文件、記憶、協作和除錯產物。

没有任何單一工具能完美涵蓋整個閉環。LangSmith、Braintrust、Langfuse、Phoenix / AX、Galileo、DeepEval、OpenAI Agent Evals、Helicone 和 Ragas 各自涵蓋不同部分。MCPlato 涵蓋的是另一個不同但日益重要的層：本地工作空間，人類和 AI agents 在其中準備、檢查和迭代，隨後由生產品質系統執行規則。

對于 2026 年的大多數生產團隊，勝出的技術棧不會是一個儀表板。它會是 agent trace、可重複 eval、OpenTelemetry 相容可觀測性、人工審查，以及能讓工作保持連貫的工作空間 harness 的組合。

References

Footnotes

1. LangSmith Observability — https://www.langchain.com/langsmith/observability ↩

2. LangSmith Evaluation Docs — https://docs.langchain.com/langsmith/evaluation ↩

3. LangChain Pricing — https://www.langchain.com/pricing ↩ ↩²

4. Braintrust Homepage — https://www.braintrust.dev/ ↩

5. Braintrust OpenTelemetry Integration — https://www.braintrust.dev/docs/integrations/sdk-integrations/opentelemetry ↩ ↩²

6. Braintrust Customers — https://www.braintrust.dev/customers ↩ ↩²

7. Braintrust Series A Announcement — https://www.braintrust.dev/blog/announcing-series-a ↩

8. Braintrust Pricing — https://www.braintrust.dev/pricing ↩

9. Langfuse GitHub — https://github.com/langfuse/langfuse ↩

10. Langfuse Pricing — https://langfuse.com/pricing ↩ ↩²

11. Langfuse Self-hosting — https://langfuse.com/self-hosting ↩ ↩² ↩³

12. Langfuse OpenTelemetry Integration — https://langfuse.com/integrations/native/opentelemetry ↩ ↩²

13. Langfuse Automated Evaluations — https://langfuse.com/blog/2025-09-05-automated-evaluations ↩

14. Arize Phoenix — https://arize.com/phoenix/ ↩ ↩²

15. Arize Agent Observability — https://arize.com/ai-agents/agent-observability/ ↩ ↩²

16. Arize Phoenix GitHub — https://github.com/arize-ai/phoenix ↩ ↩²

17. Arize AX OpenTelemetry Integration — https://arize.com/docs/ax/integrations/opentelemetry/opentelemetry-arize-otel ↩

18. Arize OTel / OpenInference Blog — https://arize.com/blog/zero-to-a-million-instrumenting-llms-with-otel/ ↩

19. Arize Series C Announcement — https://arize.com/blog/arize-ai-raises-70m-series-c-to-build-the-gold-standard-for-ai-evaluation-observability/ ↩ ↩²

20. Galileo Homepage — https://galileo.ai/ ↩

21. Galileo Pricing — https://galileo.ai/pricing ↩ ↩²

22. Galileo Case Studies — https://galileo.ai/case-studies ↩ ↩²

23. Google Cloud Customer Story: Galileo — https://cloud.google.com/customers/galileo ↩ ↩² ↩³

24. Galileo Agentic Evaluations Announcement — https://www.prnewswire.com/news-releases/galileo-launches-agentic-evaluations-to-empower-developers-to-build-reliable-ai-agents-302358451.html ↩ ↩²

25. DeepEval Homepage — https://deepeval.com/ ↩

26. DeepEval GitHub — https://github.com/confident-ai/deepeval ↩ ↩²

27. Confident AI DeepEval Framework — https://www.confident-ai.com/frameworks/deepeval ↩

28. Confident AI Docs — https://www.confident-ai.com/docs ↩ ↩²

29. Confident AI Pricing — https://www.confident-ai.com/pricing ↩ ↩²

30. OpenAI Agent Evals Guide — https://developers.openai.com/api/docs/guides/agent-evals ↩ ↩²

31. OpenAI Agents Guide — https://developers.openai.com/api/docs/guides/agents ↩ ↩²

32. OpenAI Agents Observability Integrations — https://developers.openai.com/api/docs/guides/agents/integrations-observability ↩ ↩²

33. OpenAI Trace Grading — https://developers.openai.com/api/docs/guides/trace-grading ↩ ↩²

34. OpenAI Evals GitHub — https://github.com/openai/evals ↩

35. OpenAI Pricing — https://developers.openai.com/api/docs/pricing ↩

36. Helicone Pricing — https://www.helicone.ai/pricing ↩ ↩²

37. Helicone Scores Docs — https://docs.helicone.ai/features/advanced-usage/scores ↩ ↩²

38. Helicone GitHub — https://github.com/Helicone/helicone ↩ ↩²

39. AI SDK Helicone Observability Provider — https://ai-sdk.dev/providers/observability/helicone ↩ ↩²

40. Helicone LLM Observability Platforms Guide — https://www.helicone.ai/blog/the-complete-guide-to-LLM-observability-platforms ↩

41. Helicone Prompt Evaluation Frameworks Guide — https://www.helicone.ai/blog/prompt-evaluation-frameworks ↩

42. Ragas Docs — https://docs.ragas.io/en/stable/ ↩ ↩²

43. Ragas Website — https://www.ragas.io/ ↩ ↩²

44. Ragas Integrations — https://docs.ragas.io/en/stable/howtos/integrations/ ↩ ↩²

45. Ragas Cost Docs — https://docs.ragas.io/en/v0.2.5/howtos/applications/_cost/ ↩ ↩²

46. MCPlato Homepage — https://mcplato.com/en/ ↩

47. MCPlato Changelog — https://mcplato.com/en/changelog/ ↩