CopilotKit представила CLiF у ранньому доступі — платформу, яка записує дії агента й користувачів у продукті в одну часову лінію та перетворює їх на навички, евали й дані для файнтюнінгу.
Трейс показує, де агент помилився, але може не містити правильного шляху. Приклад, за даними CopilotKit: у підтримку приходить тікет «з мене списали кошти двічі». Оператор перевіряє тариф, знаходить повторне списання і, оскільки клієнт має річний тариф, зараховує кошти на баланс акаунта замість повернення. Так заведено в команді, але жодна документація чи промпт цього не фіксують. CLiF має допомогти виявляти такі правила в діях людей у продукті.
Чим CLiF відрізняється від звичайного трейсингу агентів?
CLiF записує повну траєкторію завдання: і трейс агента — запуски, виклики інструментів, зміни стану, — і дії користувача в продукті — вміст екрана, натискання кнопок та серверні запити. Якщо користувач розмовляв з агентом, ця розмова потрапляє на ту саму часову лінію.
CLiF збирає дані через AG-UI — відкритий протокол, який CopilotKit створила для зв'язку агентів із застосунками. AG-UI вже передає події агента на фронтенд, тому дії користувача йдуть тим самим потоком, без окремого аналітичного пайплайну для подальшого об'єднання даних. За словами CopilotKit, CLiF працює з будь-яким агентним harness і будь-якою моделлю, незалежно від того, чи агент працює у вебзастосунку, мобільному клієнті, Slack або Teams.
Як траєкторія стає навичкою?
CLiF перетворює траєкторії на навички за чотири етапи, за даними MarkTechPost, і кожну навичку перед публікацією затверджує людина.
- Збір. Сесії потрапляють у learning containers, кожен із яких відповідає одному типу роботи, наприклад підтримці з питань білінгу чи онбордингу. Контейнер для сесії обирає колбек getTrajectoryLearningContainerIds, і кожен контейнер вчиться лише на своїх сесіях.
- Пошук патернів. Аналіз запускається за розкладом, коли в контейнері накопичиться задана кількість нових сесій, або вручну. Він працює з фіксованим знімком сесій і формує Insights: повторювані запити, виправлення та труднощі, які користувачі обходять. Кожен Insight посилається на конкретні події та вихідну траєкторію.
- Перевірка. Коли доказів достатньо, CLiF пропонує навичку у вигляді файлу SKILL.md. Сервіс аналізу сам нічого не публікує: людина схвалює або відхиляє пропозицію в інтерфейсі CopilotKit Intelligence чи через CopilotKit CLI. Система зберігає версії опублікованих навичок, а команда може відкликати їх будь-коли.
- Доставка й експорт. Навички надходять до агента без редеплою, а для стабільності агента можна прив'язати до фіксованої версії навички. Для іншого агента чи MCP-сервера навички можна завантажити файлами командою copilotkit skills download <container> --output <dir>.
Що з цього працює вже сьогодні?
CopilotKit повідомляє, що навчання на траєкторіях самого агента вже працює, а траєкторії продукту, тобто дії користувачів, перебувають у ранньому доступі. Траєкторії агента охоплюють його розмови, зокрема виправлення та додатковий контекст від користувача. Команди з раннім доступом також отримують із того самого пайплайну кандидатів для евалів на основі продакшн-даних.
CopilotKit заявляє, що команди, які використовують траєкторії продукту, можуть побачити зменшення кількості повторюваних завдань до 80% за перші два тижні. У наданому тексті блогу компанія не описує методику розрахунку й початковий рівень для порівняння. Вона також описує ручний підхід як одне-два виправлення на день, зазвичай після скарги клієнта, а підготовку евалів для ключових сценаріїв — як написання тисяч кейсів вручну.
Де зберігаються дані і що з приватністю?
CLiF можна повністю розгорнути у власній інфраструктурі: CopilotKit Intelligence встановлюють за допомогою Helm-чарту в Kubernetes-кластері або на AWS ECS/Fargate. Потрібні власні Postgres, Redis і провайдер ідентифікації, як-от Okta, Azure AD чи Keycloak. За словами CopilotKit, траєкторії, навички та все вивчене залишаються у вашому VPC чи локальній інфраструктурі, а трейси можна надсилати у власний OpenTelemetry-колектор. Навчання на траєкторіях агента також працює в керованій хмарі CopilotKit.
Джерела не пояснюють, як CLiF маскує персональні дані. Опис траєкторії включає вміст екрана користувача, але згадки про безпечне збирання даних не розкривають механізму маскування.
Як застосувати доступні можливості CLiF?
Команда може розділити сесії за типами роботи, зафіксувати версію навички або експортувати схвалені навички для інших агентів.
- Для сесій через AG-UI задайте learning containers за типом роботи в колбеку getTrajectoryLearningContainerIds: кожен контейнер вчиться лише на своїх сесіях.
- Для стабільності прив'яжіть агента до фіксованої версії навички.
- Для агентів поза CopilotKit завантажте схвалені навички командою copilotkit skills download як звичайні файли SKILL.md.
