AI 如何生成答案

你看到AI几秒钟写出一段话，容易以为它先在脑中想好全文，再逐字显示。更接近实际的解释是：语言模型会一步步生成较小的文字单元。

生成的四个动作

1. 1把输入转换成Token，并结合系统要求、对话历史和其他上下文。
2. 2计算下一个Token的概率分布。
3. 3按照确定性或带随机性的策略选择一个Token。
4. 4把新Token放回上下文，重复过程，直到结束或达到限制。

为什么同一问题可能有不同答案

生成策略可能允许在多个合理候选中选择，温度等参数会影响候选分布；此外，模型版本、系统提示、对话历史、联网结果和服务端设置也可能变化。因此答案不同不能只归因于温度，温度较低也不保证所有系统绝对重复。

生成和查资料可以同时发生

基础语言模型主要依据训练参数和当前上下文生成。现代AI产品还可能先搜索网页、查询知识库、读取文件或调用程序，再由模型组织答案。判断结果是否可靠时，要分清“它有没有拿到资料”和“它有没有正确使用资料”。

• “它从数据库找到整段标准答案”——语言模型通常逐步生成，但产品也可能接入外部检索。
• “每一步都选概率最高的Token”——具体取决于生成策略，不同产品设置不同。
• “屏幕一个字一个字出现就是模型一个字一个字思考”——显示还受到Token切分、网络传输和前端渲染影响。

下一篇：Token是什么：下一篇把Token讲透：为什么它不等于字数，以及它怎样影响上下文和费用。