На конференції AI Engineer New York представники OpenAI, Two Sigma, Anthropic і Bloomberg описали способи поєднати автономність фінансових агентів із контролем: від класифікаторів до схвалення людини й захистів поза моделлю.
Чому схвалення кожної дії може створювати ризик?
Джон Фемінелла з Two Sigma назвав постійне схвалення дій агентів «втомою від схвалень»: воно може гальмувати роботу й підвищувати ризик, якщо людина неуважно переглядає рішення. За даними Latent Space, Фемінелла — старший віцепрезидент з архітектури хедж-фонду.
Two Sigma запровадила набір сумісних контролів. Фемінелла описав їх як засоби, що дають командам змогу працювати без зайвих перешкод. Кожен контроль виконує окреме завдання, а разом вони мають забезпечити агентам автономію з належним рівнем безпеки.
Серед описаних контролів — класифікатори в автоматичному режимі. Вони обробляють типові запити й передають людині ті, що можуть мати найбільше значення. Фемінелла сказав, що класифікатори придатні для неоднозначних випадків, а детерміновані правила — для чітко визначених.
Де Anthropic проводить межу між пропозицією і дією?
Anthropic пропонує, щоб агент підготував зміну, а людина схвалила її перед виконанням. Кеон Шахаб, фахівець компанії з прикладного ШІ, описав три складники довіри до агента: ідентичність і дозволи, ізольоване середовище зі схваленням людини та перевірку роботи агента після зміни умов. Про це повідомляє Latent Space.
Як приклад Шахаб навів агента для розслідування розбіжностей у торгових операціях (trade break). Агент має лише запропонувати зміни до даних про ордери, а не вносити їх самостійно.
Раніше Anthropic оголосила про Claude for Financial Advisors — продукт, що дає фінансовим радникам змогу підключати свої системи до Claude та набору навичок для робочих процесів.
Як OpenAI пропонує визначати роль людини?
Джозеф Кім з OpenAI вважає участь людини питанням дизайну продукту: команда має визначити, що користувач контролює, перевіряє чи схвалює. За даними Latent Space, Кім очолює напрям ChatGPT для фінансових послуг.
Кім зазначив, що у фінансах важливо простежити, звідки взялося число, і зрозуміти його контекст. За його словами, у ChatGPT for Financial Services перевірку інтегровано в робочий процес.
Які захисти Bloomberg застосовує поза моделлю?
Блумберг покладається на детерміновані контролі поза моделлю, сказав Андрій Рибка, керівник архітектури й нових технологій в офісі технічного директора компанії. Він згадав обмежені ідентичності й облікові дані, контроль викликів інструментів, обмеження вихідного трафіку, журнали аудиту, бюджети та аварійні вимикачі. Про виступ Рибки пише Latent Space.
В одному з наведених випадків агент сприйняв інструкцію у відгуку на маркетплейсі як вказівку поповнити запас товару. Рибка рекомендував перевіряти вхідні дані, захищатися від prompt injection, відстежувати походження даних і вимагати схвалення людини для дій із високою вартістю.
«Нам потрібні детерміновані контролі поза моделлю. Перевіряйте кожен виклик, записуйте його в журнал і тримайте аварійний вимикач напоготові», — сказав Рибка.
Які прогнози щодо фінансових агентів озвучив OpenAI?
Джозеф Кім прогнозує, що 2027 року фінансова галузь менше покладатиметься на Excel і PowerPoint, а агенти зможуть генерувати інвестиційні ідеї та торгувати. Це його прогноз, а не опис уже наявних можливостей. Про нього повідомляє Latent Space.
