OneWorld
38 / 38跟着一句话走完大模型的完整推理管道AI 与机器学习 · 3/3

一句话进去,另一句话出来,中间发生了什么?

以一台跑在你浏览器里的微型模型为例,看大模型的完整推理管道。

1 · 分词
输入一句话,点「生成」
2 · 向量
3 · Transformer × 3
1
2
3
4 · 下一个词?
候选词元概率条会出现在这里
输出

大模型把文字切成

日常对话区
DOM + SVG · 微型三元模型实时推理