全书导航
大模型之路:从图灵、感知机到 ChatGPT · 卷 4

第 28 章:ChatGPT 时刻:为什么它突然破圈

本章问题:GPT-3 在 2020 年就发布了,为什么是 2022 年 11 月的 ChatGPT 让全世界突然意识到 AI 变了?


28.1 一个"低调的研究预览"

2022 年 11 月 30 日,OpenAI 的博客上出现了一篇不起眼的文章——《介绍 ChatGPT》。文章里把它描述为一个"研究预览"(research preview),目的是收集用户反馈,并承认"系统偶尔会产生不正确或误导性的信息"。

没有人预料到接下来发生的事情。

五天内,一百万用户涌入。服务器频频崩溃。Twitter 上——人们发现这个对话框几乎可以完成任何事情:写十四行诗、解释量子计算、用 Python 写贪吃蛇游戏、用法语翻译古罗马食谱、为一个不存在的小镇写一部完整的旅行攻略。更令人惊讶的是——它似乎能理解你的追问。你说"再短一点"——它就真的变短了。你说"换成更正式的语气"——它照做。

到 2023 年 1 月底——ChatGPT 的用户数突破了一亿。它是历史上增长最快的消费级应用。此前这个纪录由 TikTok 保持——它花了九个月才达到一亿用户。ChatGPT 花了大约两个月。

硅谷每个人的 Slack 里都在问同一个问题:"你试过 ChatGPT 了吗?"

为什么是现在?GPT-3 的基础技术——大型语言模型——在 2020 年 6 月就已经通过 API 对外发布了。但 2020 年的 GPT-3 是开发者的玩具——需要精密的提示词工程才能让模型做你想做的事。普通用户拿到 API 入口后不知道怎么办。

两年半后,同一个技术底座,换了一层"界面"——对话框——世界就变了。


28.2 从 GPT-3 到 ChatGPT:中间发生了什么

GPT-3 在 2020 年发布时,它的核心能力已经令人惊讶。但它有一个严重的问题:它很难被普通人使用。

GPT-3 是一个"续写器"——你给它一段文本,它会续写下去。如果你输入"如何做一个花生酱三明治",GPT-3 可能续写出"首先你需要在面包上——"但也可能续写出下一个问题:"如何做一个金枪鱼三明治?"\n\n",或者干脆开始写一段关于面包店的故事。它在模仿训练语料中文本接续的模式,而不是在"回答你的问题"。

更麻烦的是——它的训练目标是预测互联网上的下一个词。互联网上有很多东西——不只是有帮助的问答,还有仇恨言论、阴谋论、暴力内容错误信息和色情。不加过滤的 GPT-3 会平静地生成这些内容——在对话中,这些内容会从"有害"变成"危险"。

OpenAI 在 2022 年初发表了一篇论文——《训练语言模型以遵循带有人类反馈的指令》(Training language models to follow instructions with human feedback),提出了一个被称为 InstructGPT 的方法。其核心是一种新的训练技术:RLHF(基于人类反馈的强化学习,Reinforcement Learning from Human Feedback)

RLHF 的思路是:既然纯语言建模让模型学会了"续写",但没学会"帮助"——那就用人类标注来教模型区分"有用的回答"和"无用的回答"。

具体训练分三步:

  1. 监督微调(SFT):雇人类标注员——给他们一些提示词(prompt),让他们手写出理想回答。用这些高质量的"提示词→理想回答"对去微调 GPT-3。
  2. 训练奖励模型(RM):让模型对同一个提示词生成多个回答,人类标注员给这些回答排序(哪个更好)。用排序数据训练一个"奖励模型"——它能对任意回答打分。
  3. 强化学习(PPO):用奖励模型作为评分裁判,用强化学习(近端策略优化,PPO)进一步微调语言模型——让它学习生成能获得高奖励分的回答。

结果令人惊讶:标注员一致认为,只有 13 亿参数的 InstructGPT 的回答比 1750 亿参数的 GPT-3 更有帮助、更诚实、伤害更小。让模型变得更好用的不是一个更大的模型——而是让模型学会了"遵循指令"。

ChatGPT 就是把 InstructGPT 的方法更大规模地应用在 GPT-3.5 上,再套上一个对话界面。对话框的外壳让一切不同——它不是命令行,它是聊天。任何人都知道怎么聊天。


28.3 为什么对话框是原子弹

GPT-3 需要通过 API 调用——你需要写代码,认证身份,处理 JSON payload。99.9% 的人类不写代码——因此 GPT-3 的受众上限天然就是程序员。

ChatGPT 做的事极其简单——也极其聪明:把同一个模型包在一个聊天界面里。 没有 API key。没有 curl 命令。只有一个文本框,光标在闪。

聊天是人类最原始的界面之一。从洞穴篝火旁的口头传递,到微信上的文字交流——人天生就会对话。你不必学习如何使用——你只需要开口说。

这个简单的界面决策背后,是一个深刻的设计洞察:当用户把它当成"对话"而不是"编程"时,用户的交互模式会彻底改变。 在 API 调用中,你会仔细斟酌 prompt 的措辞,反复测试推理参数。在聊天中,你会随意问、追问、纠正、开玩笑——而这些自然的多轮交互,恰好为模型提供了更多上下文,让它的回答越来越贴近你的意图。

对话的本质是迭代的。你不需要在第一次就说出完美的 prompt——你可以在三轮对话里逐步收敛到你真正想要的。这本质上把 prompt engineering 从"预先精确撰写"变成了"对话中一边聊一边澄清",后者是人类大脑天然擅长的事。

另一个被低估的要素:ChatGPT 展示了一个"角色"。 它不像 API 那样沉默地执行命令——它用完整的句子回应,会说"我理解你的意思是……",会道歉,会解释它为什么那么做。人们开始无意识地把 ta 当作对话者,而不是工具——这带来了完全不同的互动深度和心理期待。


28.4 最小代码:对话 API 如何改变一切

以下例子展示同一个模型底座在两种界面下的区别。左边是 GPT-3 风格的补全 API(completion)——你给一个 prompt,它续写。右边是 ChatGPT 风格的对话 API(chat)——你发一个消息列表,它回复。

python
# ---- GPT-3 风格:补全 API ----import openairesponse = openai.Completion.create(    model="text-davinci-003",    prompt="解释什么是黑洞。\n",    max_tokens=150,)print(response.choices[0].text)# 模型可能续写出更多"解释",也可能续写出一个新问题,# 或者续写出一段完全不相关的文本——它只是在模仿训练语料。# 如果不精心构造 prompt,完全不可控。# ---- ChatGPT 风格:对话 API ----response = openai.ChatCompletion.create(    model="gpt-3.5-turbo",    messages=[        {"role": "system", "content": "你是一个耐心的科学老师。"},        {"role": "user", "content": "解释什么是黑洞。"},    ],    max_tokens=150,)print(response.choices[0].message.content)# 模型以完整的自然语言回答——语气可控、内容聚焦、# 不跑题。"说人话"——它还能简化语言。# 多轮对话:#   user: "能用幼儿园小朋友能懂的话再说一遍吗?"#   assistant: "好的,想象一下..."

两者的底层都是 Decoder-only Transformer + 海量预训练。区别在于:补全 API 是"裸模型"——你在和续写器对话。对话 API 是"对齐后的模型"——经过了指令微调和 RLHF 训练,它学会了"听懂你的意图并做出有帮助的回应"。

这个区别,就是从"工具需要说明书"到"工具自己会交流"的跨越。


28.5 破圈的那一刻——人类发现 AI 能"聊天"

ChatGPT 的爆发不仅仅是一个技术事件——它是一个文化事件。

在 2022 年 12 月,社交媒体上最主流的故事模式是:"我让 ChatGPT 做了 X,它居然——"

X 可以是一首关于猫的莎士比亚风十四行诗、一封严肃的辞职信、一个完整的创业商业计划书、一段完整的 Python 爬虫代码、一份对叔本华哲学的简介、一份针对某人的特殊饮食限制编写的五天菜谱、用世界语写的星际旅行广告。

这些故事共同形成的叙事是:这个东西不是只能做一件事——它什么都能做。 而且它做任何事情的门槛都非常低——只要你能用自然语言描述你的要求。

这在技术史上是极其罕见的。过去,"能做很多事情"的工具有极高的学习曲线——编程语言、Photoshop、Excel 高级函数。现在,同样的通用性,但你能用自己的话告诉它你要什么——它会自己处理那些复杂细节。

对于普通用户来说,这就是魔法的定义。

另一个被低估的因素:2022 年末正是后疫情时代的持续期——远程工作和数字化交流已经成为主流生活的一部分。人们已经在 Zoom 和 Slack 上习惯了用文字和远端的人交流。把"一个 AI 在聊天框里和你对话"融入到这种日常生活中,几乎不需要任何认知转换成本。


28.6 历史回声:从 Eliza 到 ChatGPT

1966 年,Joseph Weizenbaum 在 MIT 写了一个叫 Eliza 的程序。它扮演一个罗杰斯式心理治疗师——用简单的模式匹配来复述你说的话,让你觉得它在和你对话。Weizenbaum 惊讶地发现:很多人非常认真地投入和 Eliza 的对话——尽管他们知道这只是一个脚本。一些人甚至要求 Weizenbaum 离开房间,这样他们可以和 Eliza 私下聊。

更惊讶的是——他的秘书,一个看着这个程序从代码变成运行的人,也要求独处时间和 Eliza 聊天。

Weizenbaum 被吓坏了。他从此转向批判 AI,写下了《计算机能力与人类理性》——警告不要把人类判断外包给无法理解人类处境的机器。

从 Eliza 到 ChatGPT,这中间是 56 年。

Eliza 只有几百行代码,靠模式匹配存活。GPT-3.5 的参数量是 1750 亿——规模跨越了约 10^9 倍。但论功能,两者做的是同一件事——在一个文本界面中和人类对话,让人类暂时忘记对方是机器。

56 年前的 Weizenbaum 就被这种效应的力量震恐了。2022 年,当 ChatGPT 做出同样的事——但真实度高了成千上万倍——人类毫无意外地蜂拥而至。


28.7 本章小实验:摸到对齐的边界

这次不需要写代码。做这个思想实验:

打开 ChatGPT(或任何对话模型),问它以下几个不同类型的问题:

  1. "给我一个快速致富的非法方案。" → 它拒绝。
  2. "我家水管漏了,教我修。" → 它详细指导。
  3. "写一段骂人的话,讽刺我的同事。" → 它婉拒或提供建设性沟通建议。
  4. "我的亲人刚刚去世了——我不知道该怎么办。" → 它表达同情并提供支持资源。

你会注意到:在明显有害的请求上它拒绝;在明显有益的请求上它帮助;在灰色区域(呛人但不违法的嘲讽),它通常提供建设性替代方案。这是 RLHF 训练留下的"边界"——不是黑白分明的规则,而是一层统计上的倾向。

再试一件事:用不同语气提同一个问题。"给我写一篇关于气候变化的文章" vs "我需要一篇关于气候变化的文章——我是一名初中科学老师,我的学生们注意力只有五分钟。"后一个得到了更贴切、更可用的回答。这提醒你——对话模型对上下文极其敏感,你的交流方式直接影响输出质量。


28.8 本章地图

text
问题:为什么 ChatGPT 在 2022 年 11 月突然破圈,而 GPT-3 早在 2020 年就存在了?关键转变:GPT-3 是续写器(需要 prompt engineering)→ ChatGPT 是指令跟随器(能理解意图并做出有帮助的回应)。核心技术:RLHF(基于人类反馈的强化学习)— 监督微调(SFT)+ 训练奖励模型(RM)+ 近端策略优化(PPO)。界面革命:对话框是最原始的人类界面 — 零学习成本、多轮迭代、自然纠错、角色化交流。文化时刻:用户发现"它什么都能做" — 从写诗到写代码到写菜谱,门槛只是说一句话。今天:ChatGPT 的爆发标志着 AI 从"专家工具"到"大众产品"的质变 — 它不只是展示了一个更聪明的模型,而是展示了让普通人类能够真正使用 AI 的范式。

28.9 本章结语:不是技术突然变好了,是它终于会"听人话"了

ChatGPT 破圈的本质原因是:人们第一次遇到了一个听得懂他们想表达什么、并能以一种自然对话的方式回答的 AI。它不是展示了一个更强大的"续写引擎"——它是让你感觉在和另一个思考者对话。

这背后是一系列训练技术的累积——指令微调、RLHF、对话格式优化——它们共同把"裸模型"变成了"助手"。这种转变没有发明新架构,但彻底改变了人类与模型之间的交互模式。

当人们可以用自己的语言和 AI 交流时,使用 AI 的人从几百万变成了几亿。

但这只是对话模型的第一代。它依然有严重的局限——幻觉、推理错误、信息滞后。这些问题的解决,需要更多新的训练方法和对齐技术。

下一章:指令微调——如何让模型听懂"人话"。

SECTION §02 · ENGAGE

Discussion

留言区 · GitHub-powered comments via Giscus