智能体历史与范式:规则、世界模型、策略与语言
通过 ELIZA、SHRDLU、专家系统和强化学习,区分外在交互效果与内部决策依据。
“系统能回答问题”只能描述外部行为,不能说明内部怎样决策。规则匹配、符号推理、学习到的价值函数和语言模型都能产生回复,但它们的数据需求、失败方式和调试方法不同。理解这些范式,是为了在今天的应用里找到合适的组合,而不是把历史串成模型不断取代规则的直线。
ELIZA:语言外观不等于世界理解
Weizenbaum 的原始论文描述了基于关键词、分解规则及重组规则的对话程序。一个简化规则可把“我需要休息”改成“你需要休息的原因是什么”。这个效果来自字符串结构变换,不表示系统知道休息对人的意义。遇到否定、指代或隐含信息,表面相似的句子可能需要完全不同的解释。
这种方法依然适用于明确命令和有限槽位填充。它的优点是可追踪到具体规则;维护难点是覆盖率、优先级和规则冲突。新增一条规则可能改变已有输入的匹配结果,所以测试既要有新案例,也要有旧规则回归。不能因为某次对话自然,就声称具有通用推理或情绪理解。
SHRDLU 与专家系统:把知识显式放进系统
Winograd 的研究在积木世界中把语言理解、状态表示与行动联系起来。有限对象、空间关系和操作规则,使“移动某个积木”能落到具体状态变化。它展示了语言和受限世界模型协作的价值;封闭世界的成功不能直接外推到开放互联网,后者的实体、知识与动作远不如此受控。
专家系统通常把领域知识写成事实与规则,由推理机执行匹配。正向推理从已知事实导出结论,反向推理从目标寻找所需条件。例如“发热且某项检测阳性”触发候选诊断规则;实际医疗决策还必须处理不确定性、证据质量与专业责任。知识获取与维护是瓶颈:专家难以穷尽隐性判断,环境变化后旧规则可能继续自信输出。今天的权限规则和政策引擎仍适合保持显式,而不是全交给模型猜。
心智社会、联结主义与 RL
Minsky 的“心智社会”把智能看作许多较简单过程的协作,是理解复合系统的一种理论视角。这里的子过程不应直接等同于今天多个 LLM 角色。增加角色数量不自动带来可靠性;必须解释它们交换什么信息、怎样仲裁冲突、如何验证输出。Minsky 的 MIT 课程资料入口用于延伸阅读,不把类比当成认知科学实验证明。
联结主义把能力编码到可学习参数中,通过数据与优化改变输入到输出的映射。强化学习进一步研究主体与环境交互,根据回报学习策略;状态、动作、奖励、转移与折扣回报共同定义问题。奖励是训练信号,不等于用户真正想要的全部价值。表格 Q 值可以指导选择,但手工填表不叫训练。LLM 的下一个 token 预测分布来自语言建模训练,后续也可能经过偏好优化或强化学习;LLM Agent 则在此基础上用工具与运行时闭环行动,不能把这几个层次混成一个词。
运行:对话规则和固定策略表
保存为 paradigms.py 后执行 python paradigms.py。标准库程序没有实现历史系统,也没有训练 RL 或调用模型。
"""自写规则与表格策略的对照;不是 ELIZA 或 RL 训练复现。"""
def rule_reply(text):
if text.startswith('我需要'):
return '你需要' + text.removeprefix('我需要') + '的原因是什么?'
return '请提供更具体的信息。'
def policy(values, state):
return max(values[state], key=values[state].get)
if __name__ == '__main__':
print(rule_reply('我需要休息'))
print(rule_reply('并不是我需要休息'))
q = {'unknown': {'read': 2, 'write': -4}, 'known': {'read': 0, 'write': 3}}
print('fixed table:', policy(q, 'unknown'), policy(q, 'known'))
print('trained here:', False)实际运行输出:
你需要休息的原因是什么?
请提供更具体的信息。
fixed table: read write
trained here: False第二个输入含有相同词语,却不满足开头规则,所以回退。表格策略在 unknown 时选择 read,在 known 时选择 write,只是按预填数值取最大值。若要称为 RL 实验,至少还要定义环境、采样交互、回报及更新规则,并展示训练与评估分离;若要称为 LLM 实验,则必须真实调用模型并记录模型版本和配置。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
符号系统:积木世界规则能推导合法移动,能直接迁到网页吗?
符号系统依赖明确对象、关系和动作前后条件;开放网页实体与状态不完整,封闭世界假设不成立。显式规则可审计但知识维护昂贵。先列未建模对象和未知谓词,用缺失事实案例检查是否把未知当false,不能用受控演示推断开放域能力。
专家系统:新增一条专家规则后旧案例变错,怎样排查?
规则匹配顺序、优先级和冲突消解可能变化,需记录触发事实与规则链。正向推理从事实扩展,反向推理从目标查条件。规则透明适合硬政策,但领域变化易陈旧;重放新旧案例,比较第一处分叉并版本化规则,不只增更多例外。
SHRDLU/ELIZA:ELIZA回复自然、SHRDLU能移动积木,两者证明什么不同能力?
ELIZA可由关键词分解/重组产生对话;SHRDLU把语言与受限世界状态和行动连接。前者易部署但不证明理解,后者可验证动作却依赖封闭领域。用否定改写测匹配局限、用不存在对象测世界前提,不能把任何一方演示当通用智能证据。
规则匹配:规则'我需要X'把否定或引用也当用户需求,如何改?
先核匹配边界、否定与引用上下文,明确优先级和回退。精确规则易解释但覆盖有限,模糊匹配提升召回会误触发。加入“别人说我需要休息”和“我不需要休息”反例,检查是否错误抽槽,而不是只验证正例能回复。
心智社会:把三个LLM角色命名为心智社会,是否更可靠?
心智社会是简单过程协作的理论视角,不等于多角色提示。需要定义角色输入输出、冲突仲裁与独立证据;多角色可能增加多样性也会共享同一错误。令两角色引用矛盾来源,检查仲裁是否按证据而非多数票,不能用角色数证明认知机制。
联结主义与 RL:手填Q表取argmax,能说训练了强化学习Agent吗?
不能;策略选择只使用表值,训练还需环境交互、奖励、转移和更新,例如TD误差驱动Q值变化。规则表可验证决策但不展示学习;神经参数学习又不同于手工事实规则。检查是否有轨迹、更新前后值及独立评估,没有就只称固定策略演示。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
规则系统、RL Agent 与 LLM Agent 的决策依据有何不同?
参考思路与常见误区
规则系统匹配显式知识,RL 策略来自围绕环境回报的学习,LLM Agent 用语言模型条件分布提出动作并由运行时执行。它们可组合,且都需要任务约束和反馈。
常见误区:认为所有会回复的程序都用同一种推理。
ELIZA 类规则的自然回复能证明什么?
参考思路与常见误区
只能证明给定规则能在某些输入上生成自然外观,不能证明理解实体、意图或世界状态。应测试否定、指代和规则冲突,核对实际覆盖边界。
常见误区:以一次流畅对话推断通用理解。
SHRDLU 的积木世界经验为何不能直接外推互联网?
参考思路与常见误区
受限世界的实体、关系和动作比较明确,可构造一致符号状态;开放环境知识不完整、信息冲突且动作更复杂。封闭领域成功不能说明开放任务已解决。
常见误区:忽略环境限制,只比较最终回答效果。
手工写一个 Q 表并取最大值,算 RL 训练吗?
参考思路与常见误区
不算,它只展示策略查表。训练还需环境交互、奖励、采样和更新规则,并把训练和评估区分。预填数值没有提供学习过程证据。
常见误区:变量名叫 Q 就声称完成强化学习。
心智社会是否证明多个 LLM 角色一定更强?
参考思路与常见误区
不是,它是关于简单过程协作的理论视角。现代多角色系统仍需说明信息交换、仲裁和验证,并通过任务评估判断收益,角色更多也可能放大相关错误。
常见误区:把认知类比当作多 Agent 性能证明。
延伸阅读:Sutton 与 Barto 教材官网。下一节把这些决策模块放进可观察执行闭环。