CMDCEval.Assertions.Workflow (cmdc_eval v0.3.0)

Workflow Eval 断言。

输入可以是:

CMDCOrchestrator.status/2 返回的 %{run, node_runs, events}。
CMDCEval.Workflow.from_status/2 返回的 context。
离线 fixture map。

Summary

Functions

branch_coverage_min(source, min_rate)

断言分支 signal 覆盖率达到阈值。

completion_rate_min(source, min_rate)

断言 workflow 完成率达到阈值。

cost_lte(source, max_cost_usd)

断言成本不超过阈值。

fork_join_satisfied(source)

断言 fork/join 汇聚没有失败。

gate(source, policy)

执行 workflow 发布门禁策略。

gate_failures(source, policy)

返回失败明细,用于发布审批 UI 展示。

human_task_sla_lte(source, max_ms)

断言 human_task 最大 SLA 不超过阈值。

latency_lte(source, max_ms)

断言端到端 latency 不超过阈值。

node_failure_rate_lte(source, max_rate)

断言节点失败率不超过阈值。

retry_count_lte(source, max_count)

断言 retry 次数不超过阈值。

tool_success_rate_min(source, min_rate)

断言工具节点成功率达到阈值。

Functions

branch_coverage_min(source, min_rate)

@spec branch_coverage_min(map(), float()) :: boolean()

断言分支 signal 覆盖率达到阈值。

completion_rate_min(source, min_rate)

@spec completion_rate_min(map(), float()) :: boolean()

断言 workflow 完成率达到阈值。

cost_lte(source, max_cost_usd)

@spec cost_lte(map(), number()) :: boolean()

断言成本不超过阈值。

fork_join_satisfied(source)

@spec fork_join_satisfied(map()) :: boolean()

断言 fork/join 汇聚没有失败。

gate(source, policy)

@spec gate(map(), map() | keyword()) :: boolean()

执行 workflow 发布门禁策略。

gate_failures(source, policy)

@spec gate_failures(map(), map() | keyword()) :: [map()]

返回失败明细,用于发布审批 UI 展示。

human_task_sla_lte(source, max_ms)

@spec human_task_sla_lte(map(), non_neg_integer()) :: boolean()

断言 human_task 最大 SLA 不超过阈值。

latency_lte(source, max_ms)

@spec latency_lte(map(), non_neg_integer()) :: boolean()

断言端到端 latency 不超过阈值。

node_failure_rate_lte(source, max_rate)

@spec node_failure_rate_lte(map(), float()) :: boolean()

断言节点失败率不超过阈值。

retry_count_lte(source, max_count)

@spec retry_count_lte(map(), non_neg_integer()) :: boolean()

断言 retry 次数不超过阈值。

tool_success_rate_min(source, min_rate)

@spec tool_success_rate_min(map(), float()) :: boolean()

断言工具节点成功率达到阈值。