AI 入门

大多数 AI 产品围绕模型与人的对话来构建。TypeSafe 提出了一个不同的判断：在大规模自动化场景中，AI 与 AI、AI 与软件之间的交互将占主导，因此机器接口比聊天接口更重要。

我们称之为机器原生智能（Machine Native Intelligence）：

AI 具备软件般的特性，例如结构化、可靠性、可观测性、可测试性、高速、一致性，以及低成本。

构建生产系统，而非造神

TypeSafe 并非要构建一个无所不能的模型。它的目标场景是生产系统：在那里，代码需要的是一个可以被检视并执行的窄域决策。

我们认为，大规模 AI 自动化中，机器与机器之间的交互将接近 99%，人与机器的交互只占约 1%。这让设计目标从"读起来舒服的回答"，转向"在软件内部表现可预测的输出"。

阅读 TypeSafe 宣言。

三种后训练方法

预训练语言模型适配下游任务的主流方式有两种，TypeSafe 增加了第三种。这里列出 RLHF 与 RLVR 作为参照；TypeSafe 的训练路径是 RLCD。

• RLHF：基于人类反馈的强化学习（Reinforcement learning from human feedback） 把预训练模型变成聊天机器人，让模型学会生成人类偏好的回答。
• RLVR：带可验证奖励的强化学习（Reinforcement learning with verifiable rewards） 催生了在数学等任务上表现强劲的推理模型，但更慢、成本更高。
• RLCD：面向校准决策的强化学习（Reinforcement learning for calibrated decisions） 让 TypeSafe 返回决策及其校准过的概率，而不是生成文本。

RLHF 训练了 InstructGPT 与 ChatGPT，由 TypeSafe 联合创始人 Diogo Almeida 共同发明。

RLCD 与校准过的决策

RLCD 面向的是一种不同的输出契约：

• 模型不生成文本。
• 它返回决策与概率。
• 更高的概率应对应更大的正确答案可能性。

校准让不确定性可以被软件直接使用。在一个校准良好的模型的多次预测中：

• 被赋予概率 0.2 的结果大约会在 20% 的情况下出现。
• 被赋予概率 0.8 的结果大约会在 80% 的情况下出现。
• 被赋予概率 1.0 的结果会在 100% 的情况下出现。

这些比率描述的是预测总体的行为，而非对任何单个答案的保证。关于何时让软件直接执行、何时升级到人工的指导，请参阅 置信度。

RLHF 存在的问题

RLHF 教会模型说出人类偏好的内容。这一目标在聊天机器人上效果不错，但也可能奖励谄媚式迎合与"听起来很自信的幻觉"。

偏好优化还会带来 模式塌缩（mode dropping）：模型学会偏好某种特定风格（例如指令遵循能力），同时压低其他可能输出的概率。

模式塌缩是 模式崩溃（mode collapse） 的温和版本。在经典的生成对抗网络（GAN）失效场景中，生成器学会反复产生同一种输出，因为这种输出能够持续骗过判别器。

模式崩溃类比

RLHF 仍然非常适合对话式模型。TypeSafe 的立场是：生产自动化需要的是另一种训练目标——以受限决策与校准不确定性为核心。

本文档由开发者文档平台 Mintlify 构建与托管。