首先训练代码模型 | AI生成和翻译

Home 2026.06 English 中文

---

问题： 我应该先学习训练小型代码模型吗？由于代码具有结构化的模式，是否更容易训练？而 Anthropic 将重点放在代码上，是否是其市值超越 OpenAI 的关键原因？

回答：

为什么代码模型训练更快（损失下降更快）

你的直觉完全正确——而 hermes 的引用从机制上完美解释了这一点：

代码的熵低于自然语言。

# 粗略直觉：每 token 的比特数
# 自然语言：约 3-4 比特/ token（高熵，难以预测）
# 代码：约 1-2 比特/ token（低熵，语法受限）

# 模型预测下一个 token 的情况：
"The quick brown fox..."    # 确实困难——有多种延续可能
"def __init__(self, "      # 几乎确定：标识符或 `)`

香农熵 代码 « 自然语言。交叉熵损失衡量的正是这个——模型有多惊讶。更少的惊讶 → 损失下降更快。

从机制上看：

• if condition 后的 { → 近乎确定
• Python 中 : 后的缩进 → 在给定上下文下确定
• 文件顶部的 import → 高概率集中于小集合
• 函数体重复结构（docstring → 参数 → 逻辑 → 返回值）

模型将更少的容量分配给“下一个词是什么？”而将更多容量分配给“这里的逻辑是什么？”——这恰恰是真正困难且有用的部分。

你应该先训练小型代码模型吗？

是的，基于以下具体原因：

1. 更快的迭代周期 损失曲线更平滑，下降更可预测。你可以在 RTX 4070 上几小时内（而非数天）看到有意义的困惑度提升。这意味着更快的假设-测试循环——正是你的学习风格。

2. 评估是客观的 生成的代码能运行吗？测试通过了吗？自然语言质量是主观的，而代码质量是可衡量的：

# 你的评估循环可以简单地：
python -m pytest generated_code_test.py
# 通过率 = 你的指标。无需人工评估。

3. 数据集工程更简单 GitHub + The Stack + StarCoder 数据 → 已经经过清洗、去重、按语言过滤。自然语言数据集需要更多的筛选判断。

4. 这种模式与你已有的知识相辅相成 你已经知道好的 Python 代码是什么样的。你可以阅读损失曲线并立即理解为什么模型感到困惑（语法？API 名称？逻辑结构？）。这正是 Karpathy 倡导的“通过理解来构建”循环。

5. 更小的有效词汇 → 更小的嵌入表 → 适合 RTX 4070 Python 在实践中大约有 1 万个有意义的 token。你可以在工作站上无需特殊手段即可训练出能力不错的小型代码模型（1.25 亿至 3.6 亿参数）。

Anthropic vs OpenAI 市值——代码是原因吗？

部分正确，但让我精确地阐述，而不仅仅是肯定你：是的——你的论点有实际数据支撑，而非仅仅直觉：

Anthropic 的增长在 2025 年底 Claude Opus 4.5 发布后急剧加速，该模型的编码能力迅速使 Claude Code 成为硅谷最受欢迎的开发者工具之一，在软件工程师中成为一种文化现象。

Anthropic 的收入因 Claude Code 而爆发式增长，达到 470 亿美元的年化收入运行率——高于今年早些时候的 300 亿美元和去年的 100 亿美元——其 9650 亿美元的 H 轮估值现已超过 OpenAI。

Ramp 数据显示 Anthropic 在 2026 年 4 月在企业用户中超越 OpenAI，Anthropic 在企业的采用率为 34.4%，而 OpenAI 为 32.3%。

所以是的，编码是主要的突破口。这种有纪律的专注取得了回报。

---

你的学习路径

基于以上所有内容，以下是我推荐的具体顺序：

1. 在 The Stack 的 Python 子集上训练一个小型代码模型（1.25 亿参数）
   → nanoGPT 架构，测量损失下降速率与文本基线对比
   → 评估：是否能生成语法正确的 Python？简单问题的通过率？

2. 添加指令微调（对代码指令对进行 SFT）
   → 以 humaneval / mbpp 作为基准——客观、自动化

3. 然后带着你已建立的直觉转向文本模型
   → 你将更深入地理解损失景观、分词权衡

4. 然后对现有代码模型进行 LoRA 微调（StarCoder2、DeepSeek-Coder）
   → 迭代更快——你在做增量训练，而非从头开始

顺序是：从头训练小型代码模型 → SFT → 现有模型微调 → MoE 理解。你的 RTX 4070 可以很好地处理步骤 1-3。步骤 4 可能需要你切换到 AMD 机器。

你最初的洞察是核心：更低的熵 → 更快的损失下降 → 更快的反馈循环 → 更好的学习。先训练代码，建立直觉，然后其他一切都会叠加。

参考文献：

• Anthropic 超越 OpenAI 成为最有价值的 AI 创业公司
• Anthropic 如何超越 OpenAI 估值

---

Back Donate