CMDCEval.Assertions.Reasoning (cmdc_eval v0.3.1)

Reasoning Eval 断言。

输入可以是:

Summary

断言完成 payload 含非空答案。

断言最佳分数达到阈值。

断言分支数不超过阈值。

done(source)

断言 reasoning run 已完成。

执行 reasoning 发布门禁策略。

返回 reasoning 门禁失败明细。

断言修订次数不超过阈值。

断言总 token 不超过阈值。

@spec answer_present(map() | [term()]) :: boolean()

断言完成 payload 含非空答案。

@spec best_score_min(map() | [term()], number()) :: boolean()

断言最佳分数达到阈值。

@spec branch_count_lte(map() | [term()], non_neg_integer()) :: boolean()

断言分支数不超过阈值。

@spec done(map() | [term()]) :: boolean()

断言 reasoning run 已完成。

@spec gate(map() | [term()], map() | keyword()) :: boolean()

执行 reasoning 发布门禁策略。

@spec gate_failures(map() | [term()], map() | keyword()) :: [map()]

返回 reasoning 门禁失败明细。

@spec revision_count_lte(map() | [term()], non_neg_integer()) :: boolean()

断言修订次数不超过阈值。

@spec total_tokens_lte(map() | [term()], non_neg_integer()) :: boolean()

断言总 token 不超过阈值。