Methodology

测评方法

先定义任务、证据和发布门槛,再讨论分数。方法发生变化时发布新版本,不悄悄改写历史榜单。

Version 1.0.0

aicheck 编程工具测评方法 v1

以可复现的真实开发任务为核心,分别记录任务完成、代码质量、指令遵循、成本效率和速度稳定性。

数据有效
45%

任务完成度

验收条件、自动测试和必要功能是否完成。

20%

代码质量

实现的正确性、可维护性、类型安全和改动聚焦度。

15%

指令遵循

是否遵守范围、约束、输出格式和安全要求。

10%

成本效率

在完成相同任务前提下记录并比较可核验的实际消耗。

10%

速度与稳定性

记录完成耗时、失败率和重复运行的一致性。

公开原则

  • 公开任务目标、测试环境、工具与模型版本和判定标准。
  • 优先使用单元测试、静态检查和输出比对等确定性证据。
  • 缺失值不记为零分,也不使用其他时间窗数据补齐。
  • 样本未达到门槛时只显示样本不足,不发布分数或名次。
  • 商业合作与测评评分隔离,已发布快照不原地覆盖。

发布说明

该版本目前仅发布方法与任务目录。首轮有效样本完成前,aicheck 不展示工具得分和名次。