Jev 猜我画的是什么

作者 Bartosz Mikulski 实验文章 实验评测视觉文章

它是什么

Bartosz Mikulski 在 2026-09-19 发文:Jev 1.13 当时不能看图,他把手绘笔划收成 SVG 路径字符串,让模型猜画的是什么,并在 Quick, Draw! 的 400 张图上对照 Claude Sonnet 5。

Jev 读 SVG 约 35% 正确(十分类随机是 10%),读 base64 PNG 则掉到随机水平。超过一半的回答是 airplane。

Jev 在里面做什么判断

模型拿到 SVG 文本和十个物体名称及一句描述,做 Choice(选择题)。作者预先写了分析计划,用 Wilson 区间和 McNemar 检验,不把置信度纳入对错统计。

怎么试

文章:TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway。文中描述了游戏原型和测试设定;这是评测文,不是托管产品。