---
先说结论:
AI 贫富分化不是营销话术,是硅基通胀的必然结果。
---
1. 工业品的规模效应,在 GPU 上失灵
我当年做供应链,最怕听“产能爬坡”四个字——一旦良品率上来,BOM 成本咔咔往下掉,终端价年年跳水。这是工业品的铁律:产量↑,边际成本↓。
大模型正好反过来:
- 参数每翻一倍,训练算力≈平方级涨
- 推理长度每翻一倍,KVCache 显存≈线性涨
- 用户每多一人,机房、电、水、运维全涨
数据来源:arXiv:2412.08912,指标叫“50%-pass task duration”——人类做完 vs 模型 50% 通过率。原文那张图:7 个月任务时长翻一倍。翻译成人话——想保持同样的“聪明度”,你每半年得把卡再翻一倍。
卡价没降,电费还涨,你告诉我规模效应在哪?
---
2. 成本结构拆给你看,别信“白菜价算力”PPT
我拉过一张最简单的 Excel,训练+推理一起算,核心三行:
| 项目 | 公式 | 结果 |
|---|---|---|
| 峰值算力 | 8×H100@989 TFLOPS÷30 天÷50% 利用率 | 0.34 PF-day/月 |
| 折旧 | 35 万÷36 月 | 0.97 万/月 |
| 电费 | 10 kW×0.65×1.3×24×30 | 0.61 万/月 |
折完单价:每 PF-day 成本 2.7 万元。
别忘了,这还只是硬件。再加工程师、框架、数据清洗、合规、灾备——翻一倍算客气。
所以 OpenAI 敢放风 2 万美元/月套餐,不是黑心,是成本真下不来。
穷人想薅顶级模型,只能等平台烧钱补贴;一旦财报难看,第一时间砍免费额度。
---
3. 穷人版自救指南:薅羊毛也要讲技术
① 本地量化是硬道理
7B/4bit 量化后显存 < 4G,RTX 3060 12G 卡 1800 元闲鱼随便收。 配合 llama.cpp,M1 Pro 也能跑 20token/s。别跟土豪拼 GPT-4,先把 7B 玩出花。② 蒸馏+LoRA 做垂直
拿开源 13B 做教师,用 1/50 数据蒸馏 1.3B 学生,再套 LoRA 专打客服场景。 实测 F1 掉 3%,成本掉 80%。老板不关心你多大参数,只关心工单关闭率。③ 动态 offloading
把热数据放显存,温数据放内存,冷数据放 NVMe,写个 LRU 调度器。
延迟从 2.1s 降到 0.7s,显存省 40%,用户体验照样在线。
④ 冷热卡投机解码
用 1 张小卡跑 Draft,1 张大卡跑 Verify,token 吞吐 +2.2×。 反正卡闲着也是闲着,拼车不丢人。---
4. 别等“算力共产主义”,窗口期就这两年
马斯克说未来能源不要钱,算力白送。
我信他能把火箭收回来,但不信电网改造不要钱、晶圆厂不要钱、CUDA 工程师不要钱。
退一步讲,就算电价降到 0,光刻机、玻璃基板、HBM 也不会白送。
摩尔定律的副产品是“建厂成本每 5 年翻倍”,原文早给你列了数据:25 年前 40 家公司玩得起,现在只剩 2-3 家。玩家越少,议价权越集中,穷人越没资格上桌。
---
5. 可落地的 action,今天就能干
1. 立刻给自己搭一套“离线 7B+Embedding”组合,断网也能写代码
2. 把公司所有 FAQ、SOP 导进向量库,用 1.3B 模型做检索问答,成本 < GPT-4 1%
3. 每月盯二手卡行情,H100 跌破 2 万/张再考虑入手,之前一律租+拼车
4. 跟财务申请“算力预算”时,用 PF-day 而 not GPU 数量报价,把成本结构摊给他们看,批钱更快
5. 把这篇转给老板,告诉他:“不投本地化,就等着给 OpenAI 交 2 万美元月租”
---
最后一句话:
AI 不会让人人平等,它只会把“算力”变成新的房产——早买早上车,晚买多交租。
当然,房产能加杠杆,算力目前还没 30 年按揭,所以窗口更短。
现在不薅羊毛,将来你连毛都看不见。