11 月 18 日,Perplexity 宣布其 Brain 系统能根据 Computer 会话创建并更新 Agent 技能。技能是可复用的程序性指令包,会改变 Agent 当前任务的上下文,而不是模型权重。公司称,Brain 会寻找重复工作,研究过去成功与失败的会话,提出有针对性的修订,并在激活前检查结果。公告介绍了两种不同治理路径:个人技能为单一用户生成和更新,符合条件的美国 Max 订阅用户可自动启用;内置技能则使用聚合证据,必须通过配对回放测试和内部工程师批准后才能共享。 Perplexity 的自改进技能报告
这种区分不只是产品细节。即使某个个人偏好只适用于一个人的工作方式,它仍可能有用;共享指令则会影响数以千计的用户,因此需要更强证据,确认改进不会破坏其他场景。Perplexity 的公告值得关注之处,不只是 Agent 能写指令,而是系统可在不同范围内提出、验证和部署指令。公司报告的结果令人鼓舞,但衡量的是其产品中的采用情况和选定任务表现,并非 Agent 能力的普遍提升。
技能是程序性记忆,不是新模型#
Brain 已维护结构化知识 Wiki,将关于用户及其工作的信息与支持这些信息的证据联系起来。新能力增加了另一种记忆:技能描述如何执行重复流程,包括相关要求和辅助资源。比如个人工作流可能需要特定的报告顺序、公司认可的信息源层级,或项目更新中必须包含的字段。下次 Computer 处理任务时,技能可以携带这些指令,而不要求用户重复说明。模型本身没有改变,改变的是它收到的工作上下文。 Perplexity 关于 Brain 和个人技能的说明
这一区别影响对主张的判断。系统如果通过改权重学习,就难以让个人用户检查或撤销每项变化。程序性技能是更可见的产物,用户可根据产品控制查看、修改、启用或移除。Perplexity 将个人技能描述为用户库中的指令,并称 Plugins 选项卡会标注哪些技能由 Brain 编写。这更像维护可复用的工作手册,而不是每次任务后都重新训练模型。
技能也不是用户全部行为的转录。Brain 的改进 Agent 会筛选与某项技能有关的会话,寻找具体且可复用的经验,并与现有指令比较。若证据不足,它可以不作修改。Perplexity 称,创建新的个人技能需要同一种可复用行为在两个独立场景中出现;有充分依据的一次经验就可能支持更新已有技能。每轮对每项技能最多改一处。这些门槛旨在避免把一次性修正泛化成通用规则。 Perplexity 对个人技能流程的说明
与依赖对话记忆相比,写下程序有实际好处。记忆可能只说明用户偏好简短更新,技能则可以列明要查哪些来源、做哪些计算、怎样验证输出。技能还可包含脚本,将重复且可可靠代码化的处理自动完成。这能让重复工作更一致。但用户角色、偏好或工具变化后,技能也可能过时。因此关键不只是技能能否保存,而是系统能否发现证据失效,或与更新的指令冲突。
改进循环从会话证据开始#
Perplexity 描述了一个四阶段循环。Brain 找到过去使用某项技能的会话,尤其是效果不佳的情况。改进 Agent 研究所选证据并提出修订。检查程序评估建议是否格式正确、是否可能改善结果。之后激活验证过的版本,用于未来会话,并从新结果中获取下一轮证据。这样技能编写成为持续流程,而非一次性的提示词生成。每一阶段都有失败风险:遗漏证据、误诊原因、测试薄弱,或部署后表现恶化。 Perplexity 描述的四阶段改进流程
系统会记录会话中加载过哪些技能;若 Agent 检测到用户沮丧、行为缺陷或明显低效,也可附上简短诊断。改进 Agent 在隔离环境中运行,收到选定证据和当前技能库。Perplexity 表示,它可以检查完整轨迹,包括消息、工具调用、参数和结果,而不是只根据成功或失败标签判断。这样可能让诊断更具体:任务失败可能是工具选错、工具返回数据不全,或指令漏掉了必要验证。这些问题需要不同修改。
检查完整轨迹也带来数据边界。个人技能改进会使用该用户的记忆和会话历史,这正是系统学习个人流程的来源。共享内置技能则使用清理后的多用户证据。Perplexity 说,独立清理环节会移除凭据和其他秘密,也会移除附件文件与媒体。用于验证的失败场景可能根据所需上下文合成,改进 Agent 不会看到完整失败案例。这些说法很重要,但评估功能的人仍需理解产品数据设置和适用资格。 Perplexity 关于证据选择和清理的说明
反思环节产出的是建议,而不是直接覆盖技能。建议中会记录拟议改动、理由和支持证据。确定性检查确认变更格式正确且可应用;另一项语言模型裁判会抽查建议,判断证据是否支持修改以及新指令是否有用。每轮限制为每项技能一处改动,让审查与回滚更聚焦;也意味着较大的问题可能要经过多轮修复。这比把多项未经测试的假设一次塞进技能更稳妥。
证据选择本身也是产品决策。如果 Brain 只看最近会话,可能错过仍有效的旧偏好;如果使用太多历史,不相关情境又可能占上风。失败诊断可能错误,成功会话也可能只是偶然。新技能要求两个独立案例,能减少对单一事件的过度拟合,但不能证明流程能迁移到不同任务。更新已有技能时,一次有充分依据的案例即可,这会让修改更及时,却也更依赖系统对证据质量的判断。
个人技能的审批门槛不同#
Perplexity 称,个人技能改进面向符合条件的美国 Max 订阅者提供,并默认开启。用户可以关闭。Plugins 选项卡会列出可用技能、标记 Brain 编写的技能,并让用户选择启用哪些。报告还称,每个用户最多可自动创建十项个人技能。达到上限后仍可更新或退休旧技能,但新增时必须说明为何新技能更适合该用户。这个上限回应了检索问题:技能库太大会占用上下文,让 Agent 难以找到相关指令。 Perplexity 关于功能开放与控制的说明
上限也影响可持续保留的经验。个人助理会遇到许多一次性任务,但只有少数流程反复出现。小型精选库鼓励保留高复用的程序,而不是每次修正都保留。退休旧技能可能移除用户仍在意、只是近期未用到的流程。因此系统应考虑频率、帮助程度和用户意图,而不只看近期活动。可见的技能列表和关闭控制给了用户一定能动性,但替换理由及其清晰程度同样重要。
Perplexity 称,新技能需要两个独立案例表现出相同可复用行为;更新现有技能时,一个有充分依据的案例即可。这种不对称有合理性:新增上下文比纠正已知流程需要更高门槛。但“独立”取决于系统如何聚类会话。相同任务的两次重试未必算两个独立证据;两个相关任务却可能更能说明迁移。公告给出了门槛,但没有解释所有判断独立性的运行规则。
默认开启值得注意,因为产品会基于任务历史学习,无需用户手动编写技能。若用户不希望如此,需要自行使用退出开关。公告称 Brain 根据会话历史和记忆生成个人程序,也称用户可关闭自动改进。清晰的界面应让用户了解技能的来源、支持证据、激活时间和撤销方式。Perplexity 说 Plugins 页面会标记 Brain 撰写的技能,这是提供可见性的一个入口。
与偏好记忆相比,这些流程指令可能更直接地改变工作。技能可以新增审查步骤、调整报告结构或决定先调用哪个工具。如果重复流程因此改善,就省去反复说明;若系统误解修正,则可能反复传播错误。这取决于技能范围与测试覆盖。范围窄、触发条件明确的程序,比“把这件事处理得更好”这种宽泛指令更容易审计。系统应保存经验成立的条件,而不是把局部修正推广为用户的全局规则。
共享技能需要回放和人工决策#
内置技能不同,因为一个改动可能影响许多 Perplexity 用户。公司表示,改进 Agent 根据聚合模式提出候选更新,但不会立即变成正式版本。失败案例会先清理,再转成测试场景;改进 Agent 收到根因描述和干净会话记录,不会获得完整失败案例。独立回放任务再用相同场景比较旧版和修订版。这种隔离旨在降低改进 Agent 直接记住评测样例的风险。 Perplexity 关于共享技能治理的说明
Perplexity 的规则要求:修订版必须通过所有测试场景,原始版本至少在一个场景失败;正常控制场景也要重放,以确认没有破坏旧功能。裁判还要核实失败场景确实复现了指定问题,而不是把任意失败当作诊断成功。更改和结果会打包成 Pull Request,由内部人员审批后才生效。这比个人技能的路径更严格,反映了共享内置技能的影响范围更大。
配对回放是一种有用控制,因为两个版本面对相同场景。它减少了提示、工具输出或任务条件不同造成的噪声,有助判断修改是否修好了目标问题。但所有已知失败用例通过,并不证明技能能改善每个未测试工作流;至少一个原版本失败、修订版通过,只是对目标问题修复的证据,并非普遍保证。控制场景能发现部分回归,覆盖效果仍取决于样本是否有代表性。
人工批准增加了另一道决策点。审查者可以检查 diff、证据和回放结果,判断自动裁判是否奖励了生硬或过窄的指令。这个过程增加审查工作,也可能减慢共享技能更新。Perplexity 表示内置技能必须由工程师批准,而个人技能可在检查后自动激活。两条路径区分开,有助解释“自改进”不代表所有生成指令都会立即改变整个产品。
共享技能使用的证据也不同于个人证据。Perplexity 称,只使用符合条件的会话,并清理凭据、秘密、附件和媒体。失败场景仅保留必要上下文;若原任务依赖连接器,会用合成文件代替,以便脱离登录和外部应用运行。这使回放更可控,同时减少原始会话内容暴露。公告从高层描述了流程,但这不意味着任何敏感信息都自动变得无害;数据资格、清理和审查权限依然是系统设计的重要部分。
报告结果有希望,但适用范围有限#
Perplexity 称,8 月 1 日到 11 月 14 日期间,Brain 为两万多名用户编写了超过八万项个人技能;9 月 4 日到 11 月 14 日,为三万多项现有个人技能应用了超过十万次自动更新。公司按主题统计,软件工程占 11%,其次为研究与简报 10.1%、销售与运营 9.9%、金融与投资 9.9%。这些数字衡量推出范围和分布,不能说明技能是否改善任务或长期保持准确。 Perplexity 的使用与分类数据
公司报告了一项为期八周的生产环境随机实验,对比开启个人技能自动改进的用户与关闭该功能的控制组。处理组中 72.9% 至少获得一项新技能,控制组为 6.5% 手动添加新技能;用户主动发起的对话中,有 53% 的处理组加载了个人技能,控制组为 13%;处理组对话轮次加载个人技能的频率约为对照组的 3.6 倍。在获得 Brain 编写技能的用户中,63% 于四周内在后续对话再次使用。这些数字测量产品条件下的采用和复用,本身不等于任务成功。
Perplexity 还报告,开启自动技能改进的用户,其 Computer 全部活动中的工具调用失败减少 11%。排除系统自身后台运行后,用户工作中的工具调用失败仍约少 7%。按每位用户中中高不满程度的对话线程衡量,用户不满下降 7.6%。公司没有观察到成本或响应时间的可测量变化。这比技能数量更接近用户结果,但仍是公司执行的实验。公开摘要没有提供评估效应量、置信区间、子群差异或带来收益的具体工作流等所有细节。
离线结果范围更窄。在 SkillLearnBench 实验中,Computer 从过去任务轨迹为九类任务各创建一项个人技能。16 组配对评测中,无技能时任务成功率为 43.8%,使用生成技能后为 62.5%。这支持“经验生成的指令有助于重复任务”的观点,但配对样本较少,任务类别经过选择,不能过度推广。某一重复流程的提升,不能单独证明自动生成程序能迁移到不同用户、工具或任务类型。 Perplexity 的 SkillLearnBench 结果
针对某项电商内置技能,Perplexity 称修订后自动评分质量提高 6%,成本降低 32%。这个案例说明程序可能同时改善输出和效率,但它是单一案例,不应与随机生产实验合并,也不能说成内置技能的平均结果。共享技能的批准管线与这个案例结果是两回事。公开报告没有提供工程师批准后共享技能在生产中的大规模汇总表现。
独立基准说明仍需回答什么#
程序性记忆与技能研究提供背景,而不是对 Perplexity Brain 的直接测试。SkillsBench 是一篇基准论文,当前题库含八个领域的 87 项任务。它在 18 种模型与 Agent 框架配置上,配对比较无技能与使用精选技能的条件。平均通过率从 33.9% 升至 50.5%,增加 16.6 个百分点。论文还称,最多三个模块的聚焦技能包优于更大或穷举式组合。这支持评估技能本身,但研究的是精选技能,并未验证 Perplexity 的自动生成流程。 SkillsBench 论文
AFTER 基准研究程序性记忆如何跨任务、角色和模型底座迁移,包含六个职业角色、22 项技能和 382 项企业任务。作者报告,一轮改进让聚合表现提升 3.7 至 6.7 个百分点;由多模型轨迹演化的技能,跨模型测试准确率为 73.1%。他们同时发现,有些技能可广泛迁移,有些则专用于某类角色工作,跨角色迁移效果下降。这说明复用应该在创建技能的原始会话之外测试。该研究评测其自身框架和数据集,不是 Perplexity 系统的结果。 AFTER 论文
这两项研究提示了有用的评测设计:在匹配任务上比较启用技能与否,在相关保留任务上测试迁移,在不同模型和角色中检查泛化,并跟踪技能演化造成的回归。如果技能只在生成它的同一会话中表现更好,可能只是记住局部修正。如果能改善保留任务,才是更强的可复用程序证据。如果只适用于一种模型或工具配置,技能仍可能有用,但适用范围应明确。
技能演化还要在适应和遗忘之间取得平衡。新指令可记录重复偏好,但新旧会话可能矛盾。某项流程适合一个项目,却可能妨碍另一个。技能库过大也会影响检索,因此 Perplexity 限制自动生成技能数量。后续评估要问系统能否合并、细分、退休或停用程序,同时不丢失用户仍依赖的知识。
程序学习与模型学习也不同。Perplexity 表示,这些变化修改 Agent 上下文和指令,而不是模型权重。这样更新比改权重更易检查和撤销,同时保留基础模型能力。但收益依赖检索:系统必须为任务加载正确技能;若未加载就帮不上忙,若加载无关技能则会占用上下文,或让 Agent 偏离用户真实意图。
让技能更新值得信赖的条件#
第一是可追溯。用户应能看到哪个技能变化了、改动前后的指令、触发证据类别和生效时间。产品介绍了可识别 Brain 技能的 Plugins 页面,并允许用户启停。清晰的版本历史会让工作流异常时更容易排查,也帮助区分新偏好与已经失效的旧指令。
第二是将开发与测试分离。共享技能的失败案例不应提供给负责提出更新的 Agent;修订版应在目标失败场景和原本成功场景中配对回放。个人技能则应在原始重复工作之外,用保留的相关任务评估迁移。两种路径都需记录修改是否减少失败、是否引入新失败,以及数周后收益能否保持。
第三是清楚说明数据和适用范围。用户需要知道哪些会话会用于创建个人技能,是否有内容影响共享指令,以及敏感材料如何移除。共享技能和私有程序影响范围不同,应有不同保护。Perplexity 描述了不同证据池,以及内置技能的人工审批。这些差异应在产品设置和文档中持续可见,而不是折叠为一个模糊的“学习”开关。
第四是可控退出和恢复。Perplexity 称自动更新默认向符合条件的美国 Max 用户开启,但可以关闭。用户应能停止未来学习、保留现有技能、检查并删除不需要的程序,并在发生回归时恢复旧版本。这让自动个性化也适用于程序敏感、受监管或本来稳定的工作流程。
最后,性能应以有用工作的相关单位报告。技能数和加载次数衡量采用;工具失败率和不满更接近用户结果;匹配任务和保留任务的成功率测量程序能否泛化;成本和响应时间体现运维取舍。Perplexity 的初步结果覆盖多个维度,但实验范围不同,不应合并成一个总质量分数。后续证据应说明收益如何因任务、用户群和技能版本而异。
一个有两个控制层级的学习循环#
Perplexity 的 Brain 更新提供了把经验转成可复用程序的具体设计。个人技能路径可适配一个人的重复工作,并配有小型技能库、证据门槛和产品控制。内置技能路径则使用聚合证据提出候选修改,必须通过配对回放和人工批准。这个区分反映了本地指令与共享指令的后果不同。
发布数据表明用户会创建和复用技能,随机实验也报告工具调用失败与不满下降,成本和响应时间没有可测量变化。基准和离线实验补充了证据,但都不能证明普遍可靠。独立程序性记忆研究同样发现技能可能有效,却指出跨任务、角色和模型迁移并不稳定。因此,自动生成技能最好视为带有证据、范围和版本的程序,而非“工作应当如何做”的永久规则。
值得继续观察的是,这个循环能否持续改善重复流程,同时不让指令库变得难以检查或控制。如果后续报告显示保留任务也有收益、回归率清晰可见,用户能掌控版本和数据,就能回答更多问题:Agent 是否学会了在原始修正、用户或任务改变后仍然有用的流程,而不仅仅是 Brain 写出了多少技能。