片里的 Transformer 是真的
我从零训练了“小诗人”,又用 JavaScript 写了它的前向计算(和 PyTorch 对到小数点后 5 位)。画面左上角标“实测”的向量、Q/K/V、注意力比例、概率、损失曲线、样诗,全是它当场算出来的;讲概念的示意图标“示意”。
约 10 分钟、面向高中生的科普片。我从零训练了一个只有 144 万参数的写诗 Transformer,叫它“小诗人”,再把它一层层拆开给你看;片中标“实测”的每个数字,都是它真实算出来的。
小诗人现场写诗;144 万个参数一个像素一个;没读过《静夜思》,却以 98% 猜中“乡”
编号、查表、128 个数;三维字云里的数字、季节、方位;高一的数量积
用对仗头的真实数字走完打分、÷√32、softmax、加权求和,再到那行公式和三角形遮罩
16 个头各管一摊;正余弦像转速不同的钟表;逐层偷看它想填什么字
−log p 和下山;真实损失曲线和各阶段的诗;GPT-3 是它的 12 万倍;结尾藏头“猜下一字”
这是云端软件渲染的 540p / 30fps 预览,用来审内容和节奏;1080p / 60fps 成片请按下面的步骤在你的 Windows 电脑上一键渲染。
个参数:4 层、每层 4 个头、向量长 128
首唐诗宋诗(868 万字)里从零学会写诗
在没有显卡的云电脑上训练,猜了 6,995 万次下一个字
《静夜思》《登鹳雀楼》等名篇特意不给它读,留着在片中考它
片长;94 句旁白、231 条字幕、原创配乐
我从零训练了“小诗人”,又用 JavaScript 写了它的前向计算(和 PyTorch 对到小数点后 5 位)。画面左上角标“实测”的向量、Q/K/V、注意力比例、概率、损失曲线、样诗,全是它当场算出来的;讲概念的示意图标“示意”。
开场的“猜下一个字”用的是它从没见过的《静夜思》:给到“低头思故”,它以 97.8% 的把握猜“乡”。逐层偷看:前三层它还在想“故”字本身,第 3 层“乡”一下子冒出来。
第 4 层第 2 个头是“对仗头”:猜“河”时看“日”(77%),猜“上”时看“穷”。第 3 层第 4 个头是“押韵头”:猜最后一个字“楼”时,97% 的注意力都在上一联的韵脚“流”上。没人教过它这些。
片头那首“汉水西风泪满襟……诗成心断千篇句,笔下胸存万古心”,在训练那一场会再出现:用同一个随机种子,训练到最后一步正好写出它。结尾的藏头诗藏的是“猜下一字”,接最后一句旁白。
原创配乐是 D 大调五声音阶的古筝音色。小诗人每落下一个字,就拨一个音,所以写诗的过程本身就是旋律。
“小诗人实验室”把同一个模型放进浏览器:给开头让它续写、写藏头诗、点候选字替它做选择,指着任何一个字看它在注意什么。
















| 时间 | 场 | 讲什么 | 画面里的真数据 |
|---|---|---|---|
| 0:00 | 开场 | 一首不是人写的诗;144 万参数;读过二十万首诗;片名 | 实测 |
| 0:37 | 猜下一个字 | Transformer 只做一件事;全字典打分;逐字续写;ChatGPT 也一样 | 实测 |
| 1:21 | 字变成向量 | 编号、查表、128 维;平面/空间向量;三维字云 | 实测示意 |
| 2:18 | 点积 | a·b = Σaᵢbᵢ = |a||b|cosθ;和“月”最像的字 | 示意实测 |
| 2:50 | 它指谁 | 同一个“它”,意思要看上下文 → 注意力 | 示意 |
| 3:18 | Q、K、V | 三个矩阵、图书馆比喻、矩阵乘法 = 一串点积 | 实测示意 |
| 3:58 | 注意力一步步算 | 打分 → ÷√32 → eˣ → ÷总和 → 加权 V;公式;并行;三角遮罩 | 实测 |
| 5:23 | 多头注意力 | 16 张注意力表;对仗头;押韵头 | 实测 |
| 6:21 | 位置编码 | 打乱顺序看不出;sin/cos 钟表;每个位置一个指纹 | 示意实测 |
| 6:57 | 前馈 · 残差 · 叠层 | 128→512→ReLU→128;x + f(x);4 块 vs 96 块;逐层透镜 | 实测示意 |
| 7:50 | 输出与温度 | h·eᵢ 打分 → softmax;温度低/高的真实样诗 | 实测 |
| 8:14 | 训练 | 随机初始;−log p;梯度下降;真实损失曲线与各阶段样诗 | 实测示意 |
| 9:13 | 从小诗人到 GPT-3 | 面积对比;结构没变;2017 年的论文 | 示意 |
| 9:43 | 藏头诗 | 小诗人写“猜下一字”藏头诗;片尾 | 实测 |
D:\transformer-video。1-setup.bat:安装依赖(官方源不通会自动换国内镜像),并自检画一帧、检查 ffmpeg。3-render-1080p.bat:多进程渲染 1080p 60fps,成片在 out\final。中途关掉再双击会接着渲。不要烧录字幕就用 4-render-1080p-nosubs.bat,字幕文件是 out\subtitles.srt。5-diagnose.bat,把 logs\diagnose.txt 发给我。渲染只用 CPU,不需要显卡。在这台云电脑上实测:1080p60 每个进程约每秒 18 帧,默认最多开 8 个进程,全片约 3.6 万帧,预计 5–15 分钟。
包里有渲染需要的一切:源码、模型权重、烘焙好的真实数据、子集字体、成片音轨、字幕文件、封面,以及可以离线打开的“小诗人实验室”网页。训练、配音、配乐的脚本也在里面,README 写了怎么改内容。
另有一个可以亲手玩的网页:小诗人实验室,模型直接跑在浏览器里,可以续写、写藏头诗,指着任何一个字看它在注意什么。
audio/vo/ 后告诉我,我来重排时间和混音。封面.jpg);标签:Transformer、注意力机制、人工智能、唐诗、高中数学。