MicroGPT（243 行）到底在干嘛？

小型 next-token 演示

logits: A=1.2, B=0.3, C=-0.5, BOS=0.1

temperature: 1.0

目标 token（target）: ABC<BOS>

预测概率：

NLL Loss: -

随机一组 logits

代码映射速查

• Value：自动求导引擎（替代 PyTorch autograd）
• state_dict：全部可训练参数
• gpt(...)：一次 token 前向（attention+MLP）
• loss.backward()：链式法则反传梯度
• Adam：参数更新
• inference：按概率采样生成字符

结论：它不是为“快”，而是为“看懂 GPT 训练闭环”。