18 ноября Perplexity сообщила, что система Brain может создавать и обновлять агентские Skills по сессиям Computer. Skill — это переиспользуемый пакет процедурных инструкций, меняющий рабочий контекст агента, а не веса модели. По словам компании, Brain ищет повторяющиеся рабочие процессы, изучает прошлые успешные и неудачные сессии, предлагает целевое изменение и проверяет его до активации. В публикации описаны две модели управления. Личные Skills создаются и обновляются для отдельного пользователя, автоматическая активация доступна соответствующим подписчикам Max в США. Встроенные Skills используют агрегированные данные и проходят парный replay-тест, а также внутреннее инженерное одобрение до публикации. Отчёт Perplexity о самоулучшающихся Skills
Это различие не только вопрос интерфейса. Личное предпочтение полезно, даже если подходит одному стилю работы; общая инструкция затрагивает тысячи пользователей и требует более серьёзных доказательств отсутствия регрессий. Важность объявления Perplexity не только в том, что агент пишет инструкции, но и в системе их предложения, проверки и развёртывания с разными уровнями доступа. Опубликованные результаты обнадёживают, однако измеряют использование и отдельные рабочие исходы внутри продукта Perplexity, а не универсальный прирост возможностей агентов.
Skill — процедурная память, а не новая модель#
Brain уже поддерживает структурированную базу знаний, связывающую сведения о пользователе и его работе с подтверждающими материалами. Новая возможность добавляет другой вид памяти: Skill описывает, как выполнять повторяющуюся процедуру, с нужными условиями и вспомогательными ресурсами. Например, персональный workflow может требовать определённого порядка отчёта, иерархии одобренных источников или набора полей в обновлении проекта. В следующей задаче Computer получит эти инструкции без просьбы к пользователю повторить их. Модель не меняется; меняется получаемый контекст. Perplexity о Brain и личных Skills
Это важно для оценки утверждения. Если система учится, меняя веса, отдельному пользователю трудно проверить и отменить каждое изменение. Процедурная Skill — более видимый артефакт. В зависимости от интерфейса её можно прочитать, отредактировать, включить или удалить. Perplexity называет личные Skills инструкциями в библиотеке пользователя и говорит, что вкладка Plugins помечает созданные Brain материалы. Это ближе к обслуживанию повторяемой рабочей инструкции, чем к переобучению модели после каждого задания.
Skill также не является полной стенограммой всего, что делал пользователь. Агент улучшения Brain отбирает сессии, связанные с конкретной Skill, ищет конкретный переносимый урок и сравнивает его с действующими инструкциями. При недостатке оснований он может отказаться от изменения. Perplexity сообщает, что новая личная Skill требует двух независимых появлений одного повторяемого поведения; одного хорошо подтверждённого случая может хватить для изменения существующей. За один запуск меняется не более одного элемента каждой Skill. Эти пороги должны не давать разовой поправке превратиться в общее правило. Объяснение личных Skills от Perplexity
Записанная процедура даёт практическое преимущество перед одной лишь памятью диалога. Память может говорить, что пользователь предпочитает короткие обновления, а Skill способна задать источники, расчёты и проверки результата. Она может включать сценарии для повторяющихся операций, надёжно выражаемых кодом. Это делает повторную работу последовательнее. Но инструкция устареет, если поменяются роль, предпочтение или инструменты пользователя. Важен не только факт сохранения, но и способность системы распознавать недействительные свидетельства или конфликт с новой инструкцией.
Цикл улучшения начинается с доказательств из сессий#
Perplexity описывает цикл из четырёх этапов. Brain ищет прошлые сессии с данной Skill, особенно неудачные случаи. Агент улучшения изучает выбранные доказательства и предлагает исправление. Проверки оценивают корректность формата и вероятность улучшить результат. Затем проверенная версия активируется для будущих сессий, результаты которых становятся свидетельством следующего цикла. Создание Skill становится непрерывным процессом, а не разовой генерацией prompt. Каждый этап может дать сбой: важный случай не найден, корневая причина определена неверно, тест слабый или после развёртывания появляется регрессия. Четыре этапа улучшения Perplexity
Система записывает, какие Skills загружались в сессиях, и может сохранить краткий диагноз, если агент замечает раздражение пользователя, дефектное поведение или явную неэффективность. Агенты улучшения работают в изолированной среде с отобранными доказательствами и действующей библиотекой Skills. По словам Perplexity, они могут исследовать полные траектории, включая сообщения, вызовы инструментов, аргументы и результаты, а не только метку успеха или провала. Это позволяет точнее диагностировать причину: выбран неверный инструмент, инструмент вернул неполные данные или в инструкции отсутствовал необходимый контроль. Для каждой причины нужна своя правка.
Анализ полных траекторий создаёт границу данных. Личные Skills улучшаются по памяти и истории одного пользователя — это источник обучения его процессам. Общие встроенные Skills используют очищенные агрегированные данные из множества сессий. Отдельный конвейер удаляет учётные данные и другие секреты, а также приложенные файлы и медиа. Для проверки могут синтетически восстановить только необходимый контекст; полный случай ошибки агенту улучшения не передают. Эти описания важны, но пользователю всё равно нужно понимать настройки обработки данных и критерии участия. Perplexity об отборе и очистке данных
Рефлексия создаёт предложение, а не напрямую перезаписывает Skill. В нём записаны ожидаемые изменения, объяснение и подтверждения. Детерминированные проверки убеждаются, что правку можно применить и что её формат корректен. Отдельная LLM-модель проверяет выборку предложений: подтверждают ли данные изменение и полезна ли итоговая инструкция. Ограничение одной правкой каждой Skill за запуск упрощает разбор и откат. Широкая проблема может потребовать нескольких циклов, что предпочтительнее объединения множества непроверенных предположений в одном изменении.
Отбор свидетельств сам по себе является продуктовыми решением. Если Brain смотрит только на последние сессии, он пропустит прежнее, но актуальное предпочтение. Если использовать слишком большую историю, решение могут исказить не относящиеся к задаче обстоятельства. Диагноз сбоя может оказаться неверным, а успех — случайным. Два независимых случая перед созданием Skill снижают переобучение на единичное событие, но не доказывают перенос на другую задачу. Для обновления существующей Skill может хватить одного хорошо обоснованного случая, что ускоряет исправление, но повышает зависимость от качества оценки свидетельства.
Для личных Skills действует другой порог одобрения#
По заявлению Perplexity, личные Skill доступны подходящим подписчикам Max в США и включены по умолчанию, но настройку можно выключить. Вкладка Plugins показывает библиотеку, помечает Skills, созданные Brain, и позволяет выбирать активные. Компания также ограничивает число автоматически созданных Skills десятью на пользователя. Если лимит достигнут, для добавления новой нужно обосновать, почему она полезнее одной из прежних, и освободить место. Ограничение решает проблему поиска: слишком большая библиотека может занимать контекст и мешать агенту находить нужные инструкции. Perplexity о доступности и управлении личными Skills
Лимит определяет, какой опыт останется в системе надолго. Личный помощник сталкивается со множеством разовых задач, но лишь с несколькими повторяющимися процессами. Небольшая отобранная библиотека помогает сохранять полезные процедуры, а не каждую поправку. Однако удаление может убрать нужную Skill, которой давно не пользовались. Системе важно учитывать частоту, пользу и намерение пользователя, а не только недавнюю активность. Видимая библиотека и кнопка отключения дают некоторый контроль, но важно и то, насколько понятно объясняется замена одной Skill другой.
Perplexity говорит, что новая личная Skill требует двух независимых случаев одного повторяемого поведения, а хорошо подтверждённый единичный пример может обосновать обновление существующей. Такая асимметрия понятна: добавление новой инструкции в контекст требует более высокого порога, чем исправление знакомой процедуры. Но значение слова «независимый» зависит от группировки сессий. Две попытки одной задачи не обязательно являются независимыми данными, а две связанные задачи могут лучше проверить перенос. Объявление называет порог, но не раскрывает все детали операционного правила независимости.
Включение по умолчанию важно, потому что продукт учится на истории задач без ручного создания Skill. Пользователь, которому это не подходит, должен отключить настройку. Perplexity говорит, что Brain использует историю и память для персональных процедур, а автоматическое улучшение можно отключить. Понятный интерфейс должен показывать источник Skill, подтверждения, дату активации и способ отмены. Вкладка Plugins, отображающая авторство Brain, — один из таких механизмов.
Процедурные инструкции могут влиять на работу сильнее, чем сохранённое предпочтение. Skill может добавить шаг проверки, изменить структуру отчёта или определить очередность вызовов инструментов. При улучшении повторяющегося процесса она избавляет от повторных инструкций; ошибочное толкование поправки может многократно распространять ошибку. Всё зависит от области действия и покрытия тестами. Узкая процедура с явным триггером проще для аудита, чем общая команда «делай это лучше». Урок должен сохранять условия, в которых он справедлив, а не становиться глобальным правилом для пользователя.
Общие Skills требуют повторного прогона и решения человека#
Встроенные Skills устроены иначе, поскольку одна редакция может повлиять на многих пользователей Perplexity. Компания утверждает, что агент улучшения предлагает кандидатные изменения по агрегированным шаблонам поведения, но не публикует их сразу как канонические. Случаи ошибок очищают и превращают в тесты; агент получает причины и данные успешных сессий, а не полные истории ошибок. Отдельный replay job сравнивает старую и новую версии на одинаковых сценариях. Такая изоляция должна снизить риск, что агент просто запомнит тестовые примеры. Perplexity об управлении общими Skills
Правила Perplexity требуют, чтобы новая версия прошла все тесты, а старая провалила хотя бы один. Контрольные сценарии, составленные на основе сессий без сигнала проблемы, также повторно проверяются на регрессии. Судья проверяет, что в случае провала действительно проявился нужный дефект, а не любая ошибка задачи. Изменения и результаты упаковываются в pull request для внутренней инженерной проверки. Компания говорит, что общая Skill обновляется только после одобрения инженера. Порог выше, чем для личной Skill, из-за более широкого охвата.
Парный replay полезен тем, что обе версии встречаются с одним сценарием. Это снижает шум из-за различий prompt, инструментов и условий и помогает проверить исправление целевого случая. Но прохождение всех известных тестов не доказывает улучшение каждого неиспытанного процесса. Провал исходной версии и успех новой на одном сценарии подтверждают адресную коррекцию, а не универсальную полезность. Контрольные сценарии выявят часть регрессий, однако их охват зависит от репрезентативности сессий.
Человеческое одобрение — ещё одна точка решения. Инженер может увидеть diff, доказательства и replay-результаты до того, как правка затронет всех пользователей. Это шанс обнаружить автоматического судью, который поощряет слишком жёсткую или узкую инструкцию. Проверка требует работы и может замедлить выпуск общих изменений. Perplexity говорит, что встроенные Skills требуют инженерного одобрения, а личные могут активироваться автоматически после проверок. Это различие показывает, что «самоулучшение» не означает мгновенное применение каждой сгенерированной инструкции ко всему продукту.
Данные для общих Skills обрабатываются иначе, чем персональные. По словам Perplexity, используются только сессии, разрешённые для обучения; система удаляет идентификаторы, секреты, приложения и медиа. Сценарии провалов сохраняют лишь нужный контекст. Если исходная задача требовала коннектора, вместо него используют синтетические файлы, чтобы тест запускался без авторизации и внешнего приложения. Это упрощает replay и сокращает распространение исходного содержимого сессии. Объявление описывает процесс на высоком уровне; оно не делает автоматически безопасным любой чувствительный материал. Право на использование, очистка и доступ проверяющих остаются существенными свойствами дизайна.
Опубликованные результаты обнадёживают, но относятся к продукту#
Perplexity сообщает, что Brain написал более 80 000 личных Skills для свыше 20 000 пользователей с 1 августа по 14 ноября. С 4 сентября по 14 ноября он применил больше 100 000 обновлений к более чем 30 000 существующих Skills. В распределении компании программная инженерия составила 11 %, исследование и брифинги — 10,1 %, продажи и операции — 9,9 %, финансы и инвестиции — 9,9 %. Это цифры охвата и структуры использования, а не оценка улучшения задач или долговременной точности Skills. Данные Perplexity об использовании и категориях
Компания сообщает о восьминедельном рандомизированном производственном эксперименте, сравнившем автоматическое улучшение личных Skills с контрольной группой, где оно было выключено. В активной группе 72,9 % получили хотя бы одну новую личную Skill, против 6,5 % контроля, добавивших Skill вручную. Skill загружалась в начатый пользователем разговор у 53 % активной группы против 13 % контрольной; частота загрузки на ход диалога была примерно в 3,6 раза выше. Среди пользователей, получивших Skill от Brain, 63 % повторно воспользовались одной в другом диалоге в течение четырёх недель. Это измерения принятия и повторного использования в условиях продукта, не показатель успеха задач сам по себе.
Perplexity также сообщает, что частота сбоев вызова инструментов снизилась на 11 % во всей активности Computer у пользователей с включённым улучшением. Без фоновых запусков самой системы вызовы инструментов в пользовательской работе по-прежнему завершались сбоем примерно на 7 % реже. Доля тредов со средним или высоким уровнем недовольства на пользователя уменьшилась на 7,6 %. Компания не обнаружила измеримых изменений стоимости или времени ответа. Это ближе к пользовательскому результату, чем количество Skills, но исследование провела сама компания. В опубликованном резюме нет всех подробностей об интервалах неопределённости, различиях групп и конкретных workflow, создавших эффект.
Офлайн-результаты уже. В эксперименте SkillLearnBench Computer использовал прежние траектории для создания личной Skill на каждое из девяти семейств задач. Среди 16 парных экземпляров оценки успех вырос с 43,8 % без Skills до 62,5 % с созданными Skills. Это поддерживает мысль, что инструкции, полученные из прошлого опыта, могут помогать повторяющимся задачам. Малое число парных экземпляров и отобранные семейства ограничивают обобщение. Улучшение одного повторяющегося процесса не доказывает перенос автоматически созданной процедуры на разных пользователей, инструменты и задачи. Результаты Perplexity на SkillLearnBench
Для встроенной Skill электронной коммерции Perplexity сообщает об улучшении качества на 6 % и снижении затрат на 32 %, при этом качество оценивалось автоматическим судьёй. Пример показывает, что процедура может повысить результат и эффективность одновременно. Это один кейс; его нельзя смешивать с рандомизированным экспериментом или выдавать за средний результат всех встроенных Skills. Утверждение также не проверяет управление публикацией общих Skills: это отдельный процесс, а агрегированных данных производства после инженерного одобрения в отчёте нет.
Независимые бенчмарки очерчивают неизвестное#
Исследования процедурной памяти и Skills дают контекст, но не тестируют Perplexity Brain напрямую. SkillsBench — научный benchmark с текущим набором из 87 задач в восьми областях. Он проводит парную оценку без Skills и с отобранными Skills в 18 конфигурациях модели и harness. Средний pass rate растёт с 33,9 до 50,5 %, то есть на 16,6 процентного пункта. Авторы также отмечают, что сфокусированные наборы не более чем из трёх модулей лучше крупных и исчерпывающих. Работа обосновывает необходимость тестировать Skills, но изучает курируемые Skills, а не автоматическую генерацию Perplexity. Статья SkillsBench
AFTER исследует перенос процедурной памяти между задачами, ролями и базовыми моделями. Он включает 382 корпоративных задания, шесть профессиональных ролей и 22 процедуры. Авторы сообщают, что один раунд доработки даёт агрегированный прирост 3,7–6,7 процентного пункта, а Skills, сформированные на разнородных траекториях нескольких моделей, достигают 73,1 % точности межмодельного теста. Они также обнаружили, что одни Skills широко переносятся, а другие становятся привязаны к роли и хуже работают вне неё. Это подчёркивает необходимость проверки повторного применения за пределами сессии создания. Исследование оценивает собственный метод и набор заданий, не Perplexity Brain. Статья AFTER
Вместе эти работы подсказывают структуру оценки: парное сравнение с Skill и без, проверка переноса на близкие задания вне обучения, тесты на нескольких моделях и ролях и отслеживание регрессий по мере эволюции инструкций. Если Skill помогает только на той же сессии, где она была создана, возможно, она запомнила локальную поправку. Результат на отложенных заданиях сильнее свидетельствует о пригодной к повторному использованию процедуре. Навык, полезный только с одной моделью или инструментом, тоже может пригодиться, но его область применения следует обозначить.
Эволюция Skills требует баланса адаптации и забывания. Новая инструкция фиксирует повторяющееся предпочтение, но новые сессии могут ему противоречить. Процедура для одного проекта может мешать другому. Слишком большая библиотека также ухудшает поиск, поэтому Perplexity ограничила число автоматически созданных личных Skills. Следующий вопрос оценки: умеет ли система объединять, специализировать, удалять или отключать процедуры, не теряя знания, которые всё ещё важны пользователю?
Процедурное обучение отличается от обучения модели. Perplexity говорит, что меняется контекст и инструкция агента, не веса модели. Изменения легче увидеть и отменить, а возможности базовой модели остаются прежними. Но польза зависит от поиска: нужно выбрать и загрузить подходящую Skill. Незагруженная Skill не поможет; нерелевантная может занять контекст или увести агента от настоящего намерения пользователя.
Что делает обновление Skill заслуживающим доверия#
Первое условие — прослеживаемость. Пользователь должен видеть, какая Skill изменилась, инструкцию до и после, вид свидетельств для правки и дату активации. В описании продукта сказано, что Plugins отображает Skills, написанные Brain, и позволяет включать или выключать их. История версий упростит поиск причин неожиданного изменения workflow. Она также поможет отличить новое предпочтение от старой инструкции, уже не подходящей к работе.
Второе условие — раздельная разработка и проверка. Сценарии провала не следует давать агенту, предлагающему общее обновление; изменённую Skill нужно проиграть и на целевых случаях, и на успешных контрольных. Личные Skills следует проверять на отложенных похожих заданиях, а не только на исходном повторяющемся workflow. Для обоих путей стоит отслеживать, уменьшились ли ошибки без появления новых и сохраняется ли эффект спустя недели.
Третье — ясная область данных и применения. Пользователям надо знать, какие сессии питают личные Skills, может ли их содержимое влиять на общие инструкции и как удаляется чувствительная информация. Общие Skills требуют иных защит, потому что воздействуют на многих пользователей. Perplexity описывает отдельные наборы данных и человеческое одобрение для встроенных Skills. Эти различия должны быть понятны в настройках и документации, а не скрыты под единой переключаемой опцией «обучения».
Четвёртое — контролируемое отключение и восстановление. Perplexity сообщает, что автоматическое обновление по умолчанию включено для подходящих подписчиков Max в США, но его можно выключить. Пользователь должен суметь прекратить будущие обновления, оставить доступными существующие Skills, посмотреть и удалить нежелательную процедуру, а при регрессии вернуть прошлую версию. Это делает автоматическую персонализацию совместимой с регулируемой, чувствительной или стабильной работой.
Наконец, эффективность следует выражать в единицах полезной работы. Количество Skills и загрузок описывает принятие функции. Сбои инструментов и недовольство ближе к пользовательскому результату. Сопоставленные и отложенные задачи показывают переносимость. Стоимость и время ответа — эксплуатационные компромиссы. Начальные результаты Perplexity охватывают несколько показателей, но их области различны и их нельзя сводить в единый общий балл. Следующие данные должны показать различия между задачами, группами пользователей и версиями Skill.
Цикл обучения с двумя уровнями контроля#
Обновление Brain предлагает конкретную конструкцию для превращения опыта в процедуры. Личные Skills адаптируются к повторной работе одного пользователя, с небольшой библиотекой, порогами доказательств и контролем в продукте. Встроенные Skills используют агрегированные сигналы, а их изменения проходят парный replay и одобрение человека. Различие соответствует разным последствиям локальной и общей инструкции.
Опубликованные результаты показывают, что пользователи создают и повторно используют Skills. Рандомизированное исследование сообщает о меньшем числе отказов инструментов и недовольства без измеримого роста стоимости или времени ответа. Бенчмарк и офлайн-тест дают дополнительные свидетельства, но не доказывают универсальную надёжность. Независимые исследования процедурной памяти также находят пользу, но показывают нестабильный перенос между задачами, ролями и моделями. Автоматически сгенерированную Skill правильнее считать версионируемой процедурой с доказательствами и областью действия, а не вечной истиной о рабочем процессе.
Нужно следить за тем, сможет ли цикл постоянно улучшать повторяемую работу, не делая библиотеку инструкций трудной для проверки и управления. Если будущие отчёты покажут выгоду на отложенных заданиях, ясные показатели регрессий и контроль версий и данных со стороны пользователя, это ответит на больший вопрос, чем число созданных Brain Skills: способен ли агент извлечь процедуру, полезную после изменения исходной поправки, пользователя и задачи?