mix cmdc.eval.fetch_bfcl (cmdc_eval v0.1.0)

Copy Markdown View Source

从 Berkeley Function Calling Leaderboard v3 上游公开仓库拉取 fixtures 并转换为 cmdc_eval 内部 JSONL 格式。

用法

$ mix cmdc.eval.fetch_bfcl
$ mix cmdc.eval.fetch_bfcl --dest=priv/bfcl/v3 --category=simple

选项

  • --dest=<path> 输出目录（默认 priv/bfcl/v3）
  • --category=<name> 仅拉某一类别（默认 simple；可选 simple / multiple / parallel / parallel_multiple）
  • --limit=<n> 限制拉取条目数（默认 10，便于快速 spike）

数据来源

上游：https://github.com/ShishirPatil/gorilla 路径：berkeley-function-call-leaderboard/data/BFCL_v3_<category>.json

注意

  • 需要 git + curl 命令可用
  • 拉到的数据 不会 进 hex 包（fixtures 在 priv/bfcl/， .gitignore 默认忽略，运行 evals 前需自行拉取）
  • 数据许可证遵循上游（Apache-2.0，但请自行确认最新）

v0.1 状态

v0.1 实现 最小骨架：从上游 raw URL curl 单个 JSON 文件， 转换为 cmdc_eval 内部 {"id", "question", "function", "ground_truth"} 格式。 失败时打 warning + 写 placeholder（含说明），不阻塞 mix cmdc.eval。

完整 BFCL 全 5 子类 + ground truth 解析留 v0.2 扩展。