达特茅斯会议:AI 成为一个研究领域
1956 年夏天,一群数学家与计算机科学家在达特茅斯学院聚集,“人工智能”由此成为一个明确的研究名称。
研究背景与人物
研究者提出一个大胆假设:学习、推理和智能的其他特征,原则上都能被精确描述并由机器模拟。麦卡锡、明斯基、香农与罗切斯特是这次研究计划的四位提案人。
从 1956 年达特茅斯会议出发,沿着繁荣、寒冬与复兴,读懂 AI 如何从规则走向学习,从生成走向行动。
人工智能史不是持续加速的直线。它在宏大承诺、技术瓶颈、资金收缩和方法突破之间反复摆动。技术改变世界之前,往往先经历漫长的积累。
保留原版历史主线,补入理论人物与近期转折。七个篇章是帮助阅读的编排,不是唯一的历史分期;不同路线始终并行。近期节点区分已发生的事件与仍在发展的趋势。
机器能否推理,能否学习?符号与神经网络从一开始就是并行的探索。
1956 年夏天,一群数学家与计算机科学家在达特茅斯学院聚集,“人工智能”由此成为一个明确的研究名称。
研究者提出一个大胆假设:学习、推理和智能的其他特征,原则上都能被精确描述并由机器模拟。麦卡锡、明斯基、香农与罗切斯特是这次研究计划的四位提案人。
研究者尝试把推理写成符号与规则,让机器证明定理、解题并模拟人的思考过程。
Logic Theorist 于 1956 年展示机器可以证明数学定理;随后出现通用问题求解器(GPS)。早期成果让研究界相信,通用机器智能可能很快到来。
罗森布拉特提出并演示感知机,用可调整的连接权重,从样本中学习分类。
明斯基与帕普特系统分析感知机,指出单层结构无法解决某些简单分类问题。
书中的限制结论针对特定的感知机结构,不能推广为所有神经网络都不可行。算法、算力、数据和研究资助共同影响了此后的发展。
热潮退去,问题变得更具体:怎样表示知识,怎样从经验中学习,怎样处理不确定性?
早期系统在真实世界中暴露出组合爆炸、常识缺失和计算资源不足等问题。
以英国 Lighthill 报告等批评性评估为代表,研究承诺与实际能力的落差加剧了资助收缩。各国、各方向的低潮并不同步;“第一次寒冬”的起止年份是常见的概括。
DENDRAL、MYCIN 等系统把领域知识编码为规则,在化学分析与医学诊断等窄领域取得令人信服的结果。
起于 1960 年代的 DENDRAL 等工作,在此期间发展为专家系统热潮。知识库与推理机在限定领域提供专业判断;进入 1980 年代,商业应用与专用硬件推动这一方向扩张。
霍普菲尔德将相互连接的神经元与能量函数联系起来,让网络从不完整的输入恢复已存储的模式。
瓦利安特为“可学习”建立严格的计算框架,推动了后来通常称为 PAC 学习的理论。
学习不仅要在已有样本上成功,还要讨论新样本上的误差、成功概率,以及所需的数据量与计算量。理论由此能够分析哪些学习任务可行、哪些存在限制。
鲁梅尔哈特、辛顿与威廉姆斯在 Nature 发表论文,清晰展示误差反向传播如何学习内部表征。
反向传播并非 1986 年首次被提出,但这篇论文极大推动了方法的传播与神经网络研究复兴。
智能体与环境交互,根据奖励调整行动。强化学习把“做什么”与“如何从后果中学习”连成一个循环。
萨顿与巴托自 1980 年代起推进现代强化学习的概念与算法基础;萨顿 1988 年的时序差分论文是关键节点。沃特金斯等人的 Q-learning 与威廉姆斯的策略梯度工作继续丰富这一体系。
贝叶斯网络用图结构表示变量之间的概率关系,让机器在信息不完整时仍能更新判断。
珀尔 1988 年的著作系统阐述概率推理。此后,他进一步发展因果推断:从“看到什么与什么相关”,走向“采取一个行动会带来什么变化”。两者相关,但并不等同。
专用 AI 硬件市场崩塌,专家系统暴露出脆弱、昂贵和难维护的问题。
通用工作站取代昂贵的 Lisp 机器,企业项目回报不及预期,研究经费和产业热情再次下降。
统计方法、神经网络与大规模数据逐渐汇流。学习成为通向智能的一条主线。
AI 从实验室走上公路、棋盘与家庭:ALV 公路测试、深蓝击败世界冠军、索尼推出 AIBO 机器狗。
1997 年 5 月,IBM 深蓝在六局重赛中以 3.5:2.5 战胜卡斯帕罗夫;1999 年,AIBO 让消费级自主机器人进入大众视野。
瓦普尼克与切尔沃年基斯发展的统计学习理论,追问模型为什么能够从有限样本推广到未知数据。
VC 维与结构风险最小化等思想连接了模型复杂度、样本量和泛化能力。1995 年,科尔特斯与瓦普尼克发表支持向量网络论文,使这条路线有了影响广泛的实用方法。
LSTM 改善序列中的长期依赖学习;LeNet 等卷积网络把局部连接与权重共享用于图像识别。
霍赫赖特与施密德胡伯在 1997 年发表 LSTM。勒昆及合作者长期推进卷积网络,并于 1998 年系统展示基于梯度学习的文档识别。两条路线说明:合适的网络结构,可以显著改变学习效果。
本吉奥与合作者用神经网络同时学习词的分布式表示和词序列的概率,推动神经语言模型发展。
语义相近的词可以共享统计信息,缓解稀疏组合带来的困难。2003 年的 JMLR 论文是这一研究方向的代表性成果;今天的大语言模型沿用了“通过预测学习表征”的重要思想。
辛顿及其合作者发表两篇重要论文,用逐层预训练等方法改善深层网络的优化问题。
这些工作让“deep learning”重新成为研究焦点;随着数据规模和计算能力提升,神经网络开始持续突破。
李飞飞、邓嘉及合作者提出 ImageNet,以大规模、层次化标注图像推动视觉研究。
数据集和随后的评测竞赛,让不同方法可以在共同任务上比较。它为 2012 年 AlexNet 的突破提供了重要条件,也让数据基础设施的价值更加清晰。
DeepMind 成立,把深度学习、强化学习与通用智能研究组织成长期计划,后来走出 AlphaGo、AlphaFold 与 Gemini 等路线。
2014 年,DeepMind 加入 Google;2023 年 4 月,它与 Google Brain 团队合并为 Google DeepMind。Gemini 是这支联合团队推出的模型家族,也是后来面向用户的助手品牌。
数据、算力和算法汇合,让感知与决策迎来可见的跃迁。
AlexNet 以显著优势赢得 ImageNet 竞赛,证明大规模数据、GPU 与深层卷积网络的组合威力。
网络由克里泽夫斯基、苏茨克维和辛顿完成。它把深度学习从有潜力的研究方向,推向计算机视觉主流。
古德费洛及合作者提出生成对抗网络,让生成器与判别器在相互竞争中训练。
何恺明、张祥雨、任少卿与孙剑提出深度残差学习,用跨层连接改善深层网络的优化,让网络深度成为可用的能力。
2015 年公布、发表于 CVPR 2016 的 ResNet 论文,通过学习相对于输入的残差映射,缓解网络加深后的训练退化问题。残差连接随后成为许多现代架构的基础组件,也被 Transformer 采用。
OpenAI 于 2015 年 12 月公开成立,以非营利研究组织起步,随后沿预训练、强化学习与人类反馈发展出 GPT、ChatGPT 和 Codex。
最初公告列出伊尔亚·苏茨克维为研究负责人、格雷格·布罗克曼为 CTO,山姆·奥特曼与埃隆·马斯克担任联合主席。此处按历史角色介绍人物,后来的治理结构与任职变化不混作创立时期的状态。
AlphaGo 在首尔五番棋中以 4:1 战胜李世石,把深度神经网络、搜索与强化学习带到世界舞台。
围棋长期被视为机器难以征服的复杂领域;这场比赛让公众直观看到学习系统的能力边界正在移动。
注意力架构、预训练与规模化,推动一个模型适应多种任务,也让 AI 深入科学问题。
《Attention Is All You Need》提出 Transformer,以自注意力替代循环结构处理序列。
瓦斯瓦尼、沙泽尔等八位作者提出的架构,增强了训练并行性与上下文建模能力。它后来成为 BERT、GPT 等预训练模型的重要基础;现代 AI 也仍存在卷积网络等其他架构。
同一条技术路线连续放大:先在海量文本上预训练,再通过少量示例或指令完成多种语言任务。
GPT-1(2018)探索生成式预训练,GPT-2(2019)扩大通用文本生成,GPT-3(2020)以 1750 亿参数展示少样本学习。这里的“指令”主要作为提示输入,并不等同于后来专门的指令微调。
卡普兰、麦坎德利什等研究者系统分析语言模型损失与参数量、数据量和计算量之间的经验关系,为大模型训练提供量化依据。
2020 年的研究来自 OpenAI,作者包括后来创办 Anthropic 的卡普兰与阿莫代伊。规模规律是特定实验范围内的经验关系;训练损失下降,不等于每项能力、可靠性与实际价值都会按同一比例增长。
AlphaFold 2 在 CASP14 评测中取得突破,显著提高了从氨基酸序列预测蛋白质三维结构的精度。
哈萨比斯、江珀及团队将深度学习推进到科学研究的重要问题。结构预测是理解蛋白质的一环,不能直接等同于解决所有折叠机制、药物设计或实验验证问题。
达里奥·阿莫代伊、丹妮拉·阿莫代伊及共同创始团队成立 Anthropic,研究大规模模型的可靠性、可解释性与可引导性。
2021 年的官方公告中,达里奥担任 CEO、丹妮拉担任总裁。团队的早期研究积累涉及 GPT-3、规模规律与人类偏好学习,之后发展为 Claude 模型、对话产品与 Claude Code。
图像生成、指令对齐与自然语言对话,让模型成为普通人可以直接使用的工具。
InstructGPT 等工作将示范数据、偏好比较与强化学习结合,改进模型对用户指令的响应。
预训练让模型学会预测文本,后训练进一步塑造它如何回答。RLHF 并非始于 2022 年,但这时成为大语言模型走向大众应用的重要组成。
扩散模型通过学习逐步去噪来生成数据。潜空间扩散等方法降低计算负担,推动文本生成图像的普及。
乔纳森·何、阿贾伊·贾恩与彼得·阿贝尔于 2020 年发表 DDPM;龙巴赫及合作者于 2022 年发表潜空间扩散论文,在压缩后的表示空间中进行生成,降低计算负担。文字可以用于控制图像生成,创作流程也由此发生变化。它与自回归语言模型是不同的建模路线。
2022 年 11 月 30 日,ChatGPT 以研究预览形式发布,对话式交互大幅降低了使用大模型的门槛。
它将模型能力组织成自然语言对话,迅速进入教育、编程、写作与办公等场景,也把可靠性、版权和治理问题推到台前。
Anthropic 发布 Claude,提供对话与 API 访问,用于总结、写作、问答和编程等任务。
Claude 是模型家族与助手产品的名称,开发公司是 Anthropic。其 Constitutional AI 研究探索用明确原则与 AI 反馈塑造模型行为,与人类反馈等方法共同推进对齐研究。
GPT-4 展示更强的综合任务表现,并支持图像与文字输入,把多模态能力带入大众关注。
2023 年 3 月发布时,不同能力的开放范围与时间并不相同。技术报告也明确指出,模型仍会产生幻觉、推理错误和其他可靠性问题。
Google 发布 Gemini 1.0,以 Ultra、Pro、Nano 三种规模面向不同任务与设备,强调文字、图像、音频、视频与代码的联合建模。
2023 年 4 月组成的 Google DeepMind 汇合了 DeepMind 与 Google Brain 的研究积累。Gemini 于同年 12 月发布,最初部分能力通过 Bard 提供;2024 年,Bard 更名为 Gemini,模型品牌也成为助手入口。
模型开始把更多计算用于解题,并借助工具执行任务。能力、成本与可靠性共同决定下一步。
Gemini 1.5 Pro 开放实验性的百万 token 上下文预览,让长文档、大量代码与较长音视频能够进入同一次模型处理。
首发时,百万 token 窗口面向限定开发者与企业客户预览;更广泛的开放随后展开。上下文是一次处理的信息范围,不等于永久记忆,也不保证模型能准确使用每一个细节。
2024 年 5 月 13 日,GPT-4o 展示跨文字、音频与图像的交互能力,让更自然的实时对话成为重要方向。
它并非第一个多模态模型。这个节点的意义,在于统一模型中的跨模态能力与更低延迟的交互体验;发布演示和不同功能的实际开放需要区分。
Anthropic 发布 Claude 3.5 Sonnet,并预览 Artifacts,让代码、文档与网页设计在对话旁的独立区域展示和迭代。
用户可以一边提出修改,一边查看生成结果。它连接模型的编程与写作能力和可反复修改的工作空间,为后来更完整的智能体工作流提供了产品层面的铺垫。
2024 年 9 月 12 日,OpenAI 发布 o1 系列预览。强化学习与推理时计算扩展,成为提升复杂解题能力的突出路径。
除了增加预训练规模,模型还可以通过后训练学习解题策略,并在推理阶段投入更多计算。更长的推理不保证每次都正确,但把“如何思考、思考多久”变成了新的能力与成本变量。
2024 年,霍普菲尔德与辛顿获诺贝尔物理学奖;哈萨比斯与江珀因蛋白质结构预测分享化学奖的一半。
物理学奖表彰以人工神经网络实现机器学习的基础性发现与发明。化学奖另一半授予戴维·贝克的计算蛋白质设计。此前,2018 年度图灵奖已表彰本吉奥、辛顿与勒昆对深度学习的贡献。
2024 年 10 月 22 日,Anthropic 开放 computer use 公测,让模型通过屏幕信息执行鼠标、键盘等操作。
这不是智能体概念的起点,而是通用模型与图形界面连接的一个代表性发布。任务可以跨越多个步骤和应用,但当时的操作能力仍有明显局限。
DeepSeek-R1 公布模型权重、技术论文与蒸馏模型,让更广泛的研究者和开发者能够探索推理模型。
梁文锋创办 DeepSeek,团队将强化学习用于推理能力训练,并以开放权重扩大成果的可研究与可应用范围。论文区分了两条路径:R1-Zero 探索不经过初步监督微调的强化学习;R1 则使用冷启动数据与多阶段训练。开放权重与方法说明,不等于公开了全部训练数据和训练过程。
Claude Code 与 Codex 等产品,把读代码库、修改文件、运行测试和根据结果修正组织成连续工作流程。
Claude Code 于 2 月 24 日以研究预览形式推出;OpenAI 于 5 月 16 日推出 Codex 云端软件工程智能体。这里的 Codex 是智能体产品节点,不是 2021 年同名代码模型的首次发布。
Google DeepMind 宣布,Gemini Deep Think 的高级研究版本在 2025 年 IMO 试题上取得 35 / 42 分,达到当年的金牌标准。
系统解决了六道题中的五道。这是特定研究系统在说明条件下的评测成绩;应与普通产品版本、正式人类参赛者获奖,以及开放式数学研究能力分开理解。
模型能否在更多步骤、更多工具和更多现实约束下,持续完成任务?可靠性成为理解智能体进步的重要尺度。
METR 用人类专家完成软件任务所需的时间,衡量 AI 在指定成功率下能处理的任务难度。这不等于模型连续自主运行的时长,更不等于能够替代所有职业。2026 年 AI Index 同样呈现出能力快速进步与表现不均衡并存的局面。
从写下规则,
到学会学习,
再到理解与行动。
每一次突破,都站在更早的理论、数据、工程与失败经验之上。未来的篇章,还需要由可以验证的进步来书写。
重读最近的转折 ↑人物照片已内嵌,可离线查看。点击姓名查看原始出处;各照片的作者、署名及使用条款以来源页面为准。