Jev 处理中文:题目用英文,state 保留中文

中文内容能判断。题目英文写、state 留原文,上线前用 20–30 条真实数据校准。

6 分钟阅读 中文置信度标注集

先说结论

中文内容 Jev 能判断。instructions(指令)和 criteria(判定标准)用英文写更稳,state(上下文状态)保留中文原文,不要翻译。上线前用自己的 20–30 条真实数据校准,别跳过这一步。

官方怎么说

英文是主训练语言,中日韩文字能处理但效果不一样。官方在 Jev 1.13 能力短板 里说得很清楚:要在自己的内容上测,不能照搬别人的结论。

我的实测

2026 年 9 月走 OpenRouter 跑了一轮。一段真实的中文聊天,在 4 个时间点各问 7 道题。结果整体对得上,几个典型的:

  • 「对方真实意图是确认我在不在乎」概率 0.90
  • 「最佳动作是先翻聊天记录」概率 0.96
  • 「最后一句表示危机解除」概率 0.88

单次调用 890–1040 毫秒,输入约 1000 个 token,单次成本约 0.00004 美元。

同一次请求里题目会互相打架

我踩到过这个坑。两道题措辞不一样,Jev 能得出相反的结论:

  • 一道题问「该不该马上回」,Jev 判断该马上回
  • 另一道问「最佳动作」,Jev 判断先翻聊天记录

两个答案各自都说得通,放在一起就矛盾。解决的办法:同一次请求里的题目站在同一个视角写,互相有依赖的判断合成一道 Choice(选择题),别拆开问。

怎么搭标注集

拿 20–30 条真实对话,每条写下你认为正确的答案,跑一遍,看准确率和置信度分布,按这个结果定阈值。

阈值附近的题,多次调用答案可能翻转。要靠置信度兜底,不要只看选中的那一项。

置信度分三档用

  • 低于 0.5:不自动动作
  • 中间一档:让人确认
  • 高的一档:自动执行

具体阈值按你的标注集定,别照搬别人的数。详见 置信度分流。

写题小抄

  • instructions 用英文,一句话问清楚一件事
  • criteria 的选项描述写「情景」,不写「程度」,选项之间要能区分开
  • state 用对象传对话:{"messages": [{"from": "...", "text": "..."}]},保留中文原文
  • 题目键名用英文,不会发给模型