CMDCRAGArcana.Eval.Gate (cmdc_rag_arcana v0.3.0)

Copy Markdown View Source

RAG 发布门禁配方。

企业 AgentSpec 发布前可按该配方依次跑 RAG Eval、Tool Calling Eval、Safety Eval, 再用 check/2 对报告指标做阈值判断。失败返回结构化 failure 列表,由 CI 或发布 系统阻断上线。

Summary

Functions

检查报告是否满足发布阈值。

默认阈值。集成方应按业务风险等级覆盖。

返回 AgentSpec 发布前 eval recipe。

把 Arcana / CMDCEval 报告压成发布门禁摘要。

Functions

check(report_or_metrics, thresholds \\ default_thresholds())

@spec check(map() | struct(), map() | keyword()) :: {:ok, map()} | {:error, term()}

检查报告是否满足发布阈值。

default_thresholds()

@spec default_thresholds() :: map()

默认阈值。集成方应按业务风险等级覆盖。

recipe(agent_spec, opts \\ [])

@spec recipe(
  term(),
  keyword()
) :: map()

返回 AgentSpec 发布前 eval recipe。

summarize(report)

@spec summarize(map() | struct()) :: map()

把 Arcana / CMDCEval 报告压成发布门禁摘要。