Jev 猜我画的是什么
它是什么
Bartosz Mikulski 在 2026-09-19 发文:Jev 1.13 当时不能看图,他把手绘笔划收成 SVG 路径字符串,让模型猜画的是什么,并在 Quick, Draw! 的 400 张图上对照 Claude Sonnet 5。
Jev 读 SVG 约 35% 正确(十分类随机是 10%),读 base64 PNG 则掉到随机水平。超过一半的回答是 airplane。
Jev 在里面做什么判断
模型拿到 SVG 文本和十个物体名称及一句描述,做 Choice(选择题)。作者预先写了分析计划,用 Wilson 区间和 McNemar 检验,不把置信度纳入对错统计。
怎么试
文章:TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway。文中描述了游戏原型和测试设定;这是评测文,不是托管产品。