拆开会写诗的机器
科普视频 · 交付第 1 版

什么是 Transformer
——拆开一台会写诗的机器

约 10 分钟、面向高中生的科普片。我从零训练了一个只有 144 万参数的写诗 Transformer,叫它“小诗人”,再把它一层层拆开给你看;片中标“实测”的每个数字,都是它真实算出来的。

先看片(540p 预览,分 5 段)

第 1 段 开场 · 猜下一个字0:00–1:20

小诗人现场写诗;144 万个参数一个像素一个;没读过《静夜思》,却以 98% 猜中“乡”

第 2 段 字变成向量 · 点积1:20–2:48

编号、查表、128 个数;三维字云里的数字、季节、方位;高一的数量积

第 3 段 它指谁 · Q/K/V · 注意力一步步算2:48–5:20

用对仗头的真实数字走完打分、÷√32、softmax、加权求和,再到那行公式和三角形遮罩

第 4 段 对仗头和押韵头 · 位置编码 · 前馈与残差 · 温度5:20–8:12

16 个头各管一摊;正余弦像转速不同的钟表;逐层偷看它想填什么字

第 5 段 训练 · 规模 · 藏头诗8:12–10:05

−log p 和下山;真实损失曲线和各阶段的诗;GPT-3 是它的 12 万倍;结尾藏头“猜下一字”

这是云端软件渲染的 540p / 30fps 预览,用来审内容和节奏;1080p / 60fps 成片请按下面的步骤在你的 Windows 电脑上一键渲染。

片里的小诗人

1,442,944

个参数:4 层、每层 4 个头、向量长 128

194,874

首唐诗宋诗(868 万字)里从零学会写诗

112 分钟

在没有显卡的云电脑上训练,猜了 6,995 万次下一个字

46 首

《静夜思》《登鹳雀楼》等名篇特意不给它读,留着在片中考它

10:05

片长;94 句旁白、231 条字幕、原创配乐

惊喜在哪

真

片里的 Transformer 是真的

我从零训练了“小诗人”,又用 JavaScript 写了它的前向计算(和 PyTorch 对到小数点后 5 位)。画面左上角标“实测”的向量、Q/K/V、注意力比例、概率、损失曲线、样诗,全是它当场算出来的;讲概念的示意图标“示意”。

考

它没读过《静夜思》

开场的“猜下一个字”用的是它从没见过的《静夜思》:给到“低头思故”,它以 97.8% 的把握猜“乡”。逐层偷看:前三层它还在想“故”字本身,第 3 层“乡”一下子冒出来。

仗

它自己学会了对仗和押韵

第 4 层第 2 个头是“对仗头”:猜“河”时看“日”(77%),猜“上”时看“穷”。第 3 层第 4 个头是“押韵头”:猜最后一个字“楼”时,97% 的注意力都在上一联的韵脚“流”上。没人教过它这些。

圆

首尾呼应

片头那首“汉水西风泪满襟……诗成心断千篇句,笔下胸存万古心”,在训练那一场会再出现:用同一个随机种子,训练到最后一步正好写出它。结尾的藏头诗藏的是“猜下一字”,接最后一句旁白。

音

配乐跟着它写诗

原创配乐是 D 大调五声音阶的古筝音色。小诗人每落下一个字,就拨一个音,所以写诗的过程本身就是旋律。

玩

附赠一个能玩的网页

“小诗人实验室”把同一个模型放进浏览器:给开头让它续写、写藏头诗、点候选字替它做选择,指着任何一个字看它在注意什么。

关键帧

开场:小诗人写的七绝,盖上“小诗人作”的印
开场:小诗人写的七绝,盖上“小诗人作”的印
144 万个参数,一个像素一个,颜色是真实取值
144 万个参数,一个像素一个,颜色是真实取值
没读过《静夜思》,“乡”的概率 97.8%
没读过《静夜思》,“乡”的概率 97.8%
464 个常用字的向量压到三维:数字、季节、方位、颜色各自抱团
464 个常用字的向量压到三维:数字、季节、方位、颜色各自抱团
数量积:方向一致、垂直、相反时的读数
数量积:方向一致、垂直、相反时的读数
“黄”的向量乘三个真实的 128×128 矩阵,变出 q、k、v
“黄”的向量乘三个真实的 128×128 矩阵,变出 q、k、v
softmax 之后:“黄”把 77% 的注意力给了“日”
softmax 之后:“黄”把 77% 的注意力给了“日”
四步合成一行:Attention(Q,K,V)
四步合成一行:Attention(Q,K,V)
对仗头:猜下一句的字时,回头看上一句的对应字
对仗头:猜下一句的字时,回头看上一句的对应字
押韵头:猜“楼”时,97% 的注意力在“流”上
押韵头:猜“楼”时,97% 的注意力在“流”上
位置编码:每对维度就是一根转速不同的指针
位置编码:每对维度就是一根转速不同的指针
逐层偷看:“乡”在第 3 层冒出来
逐层偷看:“乡”在第 3 层冒出来
温度 0.3 / 1 / 1.8 的真实概率和样诗
温度 0.3 / 1 / 1.8 的真实概率和样诗
训练最后一步,用同一种子写出片头那首诗
训练最后一步,用同一种子写出片头那首诗
面积代表参数:GPT-3 是小诗人的 121,280 倍
面积代表参数:GPT-3 是小诗人的 121,280 倍
结尾藏头诗:猜下一字
结尾藏头诗:猜下一字

分场

时间场讲什么画面里的真数据
0:00开场一首不是人写的诗;144 万参数;读过二十万首诗;片名实测
0:37猜下一个字Transformer 只做一件事;全字典打分;逐字续写;ChatGPT 也一样实测
1:21字变成向量编号、查表、128 维;平面/空间向量;三维字云实测示意
2:18点积a·b = Σaᵢbᵢ = |a||b|cosθ;和“月”最像的字示意实测
2:50它指谁同一个“它”,意思要看上下文 → 注意力示意
3:18Q、K、V三个矩阵、图书馆比喻、矩阵乘法 = 一串点积实测示意
3:58注意力一步步算打分 → ÷√32 → eˣ → ÷总和 → 加权 V;公式;并行;三角遮罩实测
5:23多头注意力16 张注意力表;对仗头;押韵头实测
6:21位置编码打乱顺序看不出;sin/cos 钟表;每个位置一个指纹示意实测
6:57前馈 · 残差 · 叠层128→512→ReLU→128;x + f(x);4 块 vs 96 块;逐层透镜实测示意
7:50输出与温度h·eᵢ 打分 → softmax;温度低/高的真实样诗实测
8:14训练随机初始;−log p;梯度下降;真实损失曲线与各阶段样诗实测示意
9:13从小诗人到 GPT-3面积对比;结构没变;2017 年的论文示意
9:43藏头诗小诗人写“猜下一字”藏头诗;片尾实测

在 Windows 上出 1080p 成片

  1. 装好 Node.js 20 LTS(装过就跳过)。
  2. 下载下面的工程包,解压到一个路径里没有空格的文件夹,例如 D:\transformer-video。
  3. 双击 1-setup.bat:安装依赖(官方源不通会自动换国内镜像),并自检画一帧、检查 ffmpeg。
  4. 双击 3-render-1080p.bat:多进程渲染 1080p 60fps,成片在 out\final。中途关掉再双击会接着渲。不要烧录字幕就用 4-render-1080p-nosubs.bat,字幕文件是 out\subtitles.srt。
  5. 出问题就双击 5-diagnose.bat,把 logs\diagnose.txt 发给我。

渲染只用 CPU,不需要显卡。在这台云电脑上实测:1080p60 每个进程约每秒 18 帧,默认最多开 8 个进程,全片约 3.6 万帧,预计 5–15 分钟。

工程包

包里有渲染需要的一切:源码、模型权重、烘焙好的真实数据、子集字体、成片音轨、字幕文件、封面,以及可以离线打开的“小诗人实验室”网页。训练、配音、配乐的脚本也在里面,README 写了怎么改内容。

另有一个可以亲手玩的网页:小诗人实验室,模型直接跑在浏览器里,可以续写、写藏头诗,指着任何一个字看它在注意什么。

需要你看一眼的