Как создать AI-агентов, которые учатся на вашем экране
AI-агенты учатся на экране автоматизировать вашу работу. Screenpipe записывает контекст, даёт память и создает процессы без кода
Большинство советов о том, как создать AI-агента, начинаются с промптов, фреймворков и интеграций инструментов — и упускают ингредиент, который на самом деле определяет, будет ли агент полезен: контекст того, как работа выполняется в действительности. Screenpipe, только что запустившийся на Hacker News в составе батча Y Combinator S26, атакует проблему с противоположного конца. Вместо того чтобы просить пользователей описывать свои рабочие процессы для AI, Screenpipe записывает экран и аудио локально — и только локально — и даёт агентам память с поиском по всему, что пользователь видел, говорил и слышал. Питч: автоматизировать повторяющиеся задачи и превращать их в SOP (стандартные операционные процедуры), не написав ни одного определения процесса вручную.
Эта инверсия — сначала записывать, потом автоматизировать — заслуживает пристального взгляда, потому что она бьёт в тот самый режим отказа, из-за которого забрасывается большинство агентных проектов.
Агенты проваливаются по банальной причине: они никогда не видели, как вы работаете
Повторяющийся по всей индустрии паттерн выглядит так: команда внедряет агентный фреймворк, подключает несколько интеграций, пишет развёрнутые инструкции — а агент всё равно выдаёт работу мимо сути. Не потому, что модель слаба, а потому, что инструкции описывают работу так, как её описывает вакансия, а не так, как она делается на самом деле.
Проще говоря: агент без рабочего контекста — это блестящий новый сотрудник без онбординга. Можно вручить ему справочник сотрудника и все логины — и он всё равно будет каждые пятнадцать минут спрашивать, что делать, потому что в справочнике не написано, что счета от одного поставщика всегда приходят битыми, а «финальная» таблица лежит в папке final_v3_REAL. Это неявное знание не живёт нигде, кроме ежедневного поведения человека, который делает эту работу.
Основатель Screenpipe, Луи, пришёл к этому выводу длинным путём. Реальные цифры: с 2020 года он ведёт личный «второй мозг» — дневники, рукописные заметки, логи проектов, записи разговоров, персональную CRM. По пути он экспериментировал с RAG на ParlAI, зафайнтюнил сотни моделей GPT-2, работал с GPT-3, построил Ava — первый AI-плагин для Obsidian, быстро выросший до нескольких тысяч пользователей, — а затем превратил его в Embedbase, API для создания приложений на основе RAG. Его собственный вывод из всего этого: важнее всего дать моделям контекст о том, что вы делаете на своём компьютере.
Почему рабочий контекст — проблема бизнеса, а не технологии
Ставки здесь не академические. Две статьи расходов присутствуют в любом операционном бюджете — выделены они отдельной строкой или нет:
- Время на повторяющиеся задачи. Задачи, которые стоит автоматизировать, редко бывают экзотическими — это одни и те же пятнадцатишаговые рутины, выполняемые ежедневно: сверка данных между двумя системами, разбор входящих, обновление статус-трекеров. Они сопротивляются автоматизации ровно потому, что никто никогда не записывал, как они делаются.
- Знания, которые уходят за дверь. Когда уходит единственный человек, знающий процесс, процесс уходит вместе с ним. Стандартное лекарство — SOP, но написание SOP само по себе — неоплачиваемая, неблагодарная работа, которую команды стабильно откладывают. Инструмент, генерирующий SOP как побочный продукт простого выполнения работы, бьёт по документационному долгу, который несёт почти каждая компания.
Агент, который наблюдал процесс вживую — каждый клик, каждую правку, каждое обработанное исключение, — стартует с принципиально иной позиции, чем агент, работающий по абзацу инструкций.
Что на самом деле делает Screenpipe
Механика, согласно анонсу: приложение работает на вашей машине и непрерывно записывает экран и аудио. Всё остаётся локально — запись никогда не покидает устройство. Этот архив становится слоем памяти с поиском, к которому AI-агенты могут обращаться: что вы видели, говорили и слышали во время работы.
Представьте это как бортовой самописец вашего рабочего дня с поисковым индексом поверх. Сам по себе самописец — просто хранилище. Ценность появляется, когда что-то нужно реконструировать — в данном случае не катастрофу, а рабочий процесс. Поскольку память фиксирует реальное поведение, а не чей-то его пересказ, становятся возможны две вещи:
- Превращение повторяющихся задач в автоматизации. Агент может сам наблюдать, что задача повторяется и как она выполняется, вместо того чтобы получать это в пересказе.
- Генерация SOP из реальной работы. Классический способ написать обучающую инструкцию — наблюдать за опытным сотрудником и делать заметки. Здесь наблюдение и заметки непрерывны и автоматичны.
Есть демо-видео, показывающее продукт в действии, — для тех, кто хочет увидеть весь процесс от начала до конца.
Пять попыток построить автономных AI-агентов — и почему каждая забуксовала
Пост-анонс Screenpipe содержит откровенную историю подходов, которые индустрия перебрала на пути к автономным AI-агентам, — и заодно это полезная карта для любого, кто сегодня решает, на чём строить:
- Файнтюнинг (ранняя эра). Обучение модели вашим данным через переобучение. Луи зафайнтюнил сотни моделей GPT-2 на личных заметках. Вердикт человека, который это делал: слишком больно. Каждое обновление знаний означало новый цикл обучения.
- Вызов инструментов (tool calling). Позволить AI управлять софтом, которым вы пользуетесь. Реальный шаг вперёд, но недостаточно автономный — модель всё ещё требует микроменеджмента, потому что доступ к инструментам — не то же самое, что знание, когда и как их применять.
- Model Context Protocol (MCP). Стандартный способ подключать источники контекста к моделям — представьте универсальный переходник питания для AI-интеграций. Критика из поста-анонса: слишком статично, а нетехнические пользователи с трудом создают и используют MCP-серверы. Переходник работает, но кто-то всё равно должен его подключить.
- Скиллы (Skills). Упакованные переиспользуемые процедуры, которые модель может подгружать по требованию. Ближе, но их всё равно кто-то должен написать.
- Вики, поддерживаемые LLM. Самый свежий паттерн — LLM-поддерживаемая вики Андрея Карпатого, GBrain Гарри — где агент инкрементально ведёт постоянную коллекцию Markdown-страниц. Новые источники обновляют страницы сущностей, усиливают или опровергают существующие утверждения, и синтез накапливается со временем. Возражение из поста-анонса точное: паттерн всё ещё начинается с того, что кто-то выбирает и импортирует источники.
Непрерывная локальная запись — попытка убрать этот последний ручной шаг. Ничего не выбирается и не импортируется, потому что всё уже там. Сыграет ли эта ставка — одна из самых интересных линий в новостях AI-агентов этого года, где разрыв между громкими релизами и последствиями для безопасности продолжает расти.
Примеры AI-агентов: что открывает рабочая память с поиском
Конкретные примеры AI-агентов, построенных на памяти «видел-говорил-слышал», распадаются на несколько категорий:
- Репликация процессов. Главный сценарий: агент, много раз наблюдавший выполнение повторяющейся задачи, может воспроизвести её — или как минимум выдать пошаговый SOP, который человек проверит и передаст дальше.
- Вспоминание и поиск. «Какая цифра звучала на вчерашнем созвоне?» превращается в поисковый запрос по собственной истории вместо двадцатиминутных археологических раскопок по приложениям.
- Контекст встреч и разговоров. Поскольку аудио — часть записи, устные обязательства и решения становятся частью контекста агента, а не только то, что было напечатано. Это та же проблема контекста, которая решает судьбу разговорных систем — детали построения мы разбирали в статье как создать голосового AI-агента, который работает.
- Контент и маркетинговые операции. Повторяющиеся издательские процессы — ресёрч, черновики, форматирование, планирование публикаций — ровно тот тип многошаговой рутины, которую может забрать обученный на поведении агент. Это тем важнее, что AI-агенты становятся реальным сегментом аудитории вашего контента, а не только его производителями.
Одно предостережение: это категории возможностей, а не гарантированные результаты. Любой команде, пилотирующей инструменты этого класса, стоит проверить каждый процесс на собственных данных, прежде чем засчитывать сэкономленные часы.
Enterprise AI-агенты и счёт за приватность, который придётся оплатить
Честно: продукт, чья ключевая функция — «записывает всё с вашего экрана и микрофона», несёт очевидный и серьёзный компромисс, и делать вид, что это не так, было бы нечестно.
Индустрия уже один раз провела этот эксперимент. Функция Recall от Microsoft для Windows — анонсированная в 2024 году — была отложена и переработана после того, как исследователи безопасности показали, насколько чувствителен непрерывно захватываемый архив экрана, и в итоге вышла в куда более закрытой форме с явным включением (opt-in). Урок обобщается: запись всего, что вы делаете, с поиском по ней — одновременно самый ценный источник контекста, который может быть у агента, и самый разрушительный артефакт, который может вскрыть утечка.
Проектный ответ Screenpipe — архитектура «локально (и только!)»: запись никогда не покидает вашу машину, так что нет облака вендора, которое можно взломать, и нет третьей стороны, обрабатывающей ваш экран. Это правильный дефолт, и это главная причина, почему такой подход вообще обсуждаем для бизнес-использования. Но «только локально» не снимает вопросы для enterprise AI-агентов:
- Устройство теперь — сейф. Украденный или скомпрометированный ноутбук содержит плотную, проиндексированную историю всего, что его владелец видел и говорил. Шифрование диска и политика устройств перестают быть необязательной гигиеной.
- В записи есть другие люди. Коллеги и клиенты на созвонах ничего не устанавливали. Правила согласия на запись аудио различаются по юрисдикциям, и enterprise-развёртыванию нужен сначала ответ на уровне политики, а потом уже технический.
- Регулируемым данным всё равно на архитектуру. Если на экранах регулярно отображаются медицинские записи или данные держателей карт, инструмент непрерывного захвата требует комплаенс-ревью независимо от того, где лежат файлы.
Ничто из этого — не повод отмахнуться от категории. Это повод пилотировать её осознанно — один согласившийся пользователь, один процесс, чёткие правила хранения — вместо того чтобы раскатывать на весь парк, потому что демо впечатлило.
Выбор подхода: вот что мы рекомендуем
Универсального списка лучших AI-агентов не существует — лучший агент для конкретной команды тот, который действительно знает процесс этой команды. Практическая последовательность:
- Выберите одну повторяющуюся задачу с ясным «до/после». Сверка, разбор входящих, отчётность. Если вы не можете измерить, сколько времени она занимает сегодня, вы не сможете доказать, что агент что-то сэкономил.
- Решите проблему контекста до проблемы автоматизации. Через записанную историю работы, вики, поддерживаемую агентом, или добротные MCP-интеграции — агент с богатым контекстом и скромным инструментарием бьёт агента со всеми инструментами и без контекста.
- Предпочитайте local-first для всего, что касается чувствительных экранов. Эпизод с Recall показал, что бывает, когда захват обгоняет проектирование безопасности. Только локальное хранение — обоснованный дефолт.
- Относитесь к сгенерированным SOP как к черновикам. Первую версию проверяет человек. Выигрыш в том, что написание черновика — исторически тот шаг, который никто не делает, — теперь ничего не стоит.
Главное для бизнеса
- Узкое место полезных агентов сейчас — контекст, а не качество модели. Запуск Screenpipe — одна из точек в более широком сдвиге индустрии: от «рассказать AI, что вы делаете» к «дать ему наблюдать, как вы это делаете».
- Угол SOP — тихий бизнес-кейс. Автоматическая документация реальных процессов бьёт по долгу, который несёт почти каждая компания и который никто не закладывает в бюджет.
- Компромисс приватности реален, и его надо закладывать в цену. Только локальная запись — правильная архитектура, но безопасность устройств, согласие и комплаенс-ревью — часть полной стоимости, а не что-то на потом.
Статья подготовлена на основе открытых источников и может содержать неточности.


