Уявіть: ви запускаєте стартап, але замість засновника-людини за штурвалом — AI-агент. Він самостійно приймає рішення, розподіляє бюджет, реагує на ринкові сигнали і коригує стратегію. Через 500 симульованих днів більшість таких «підприємців» опинилась нижче стартового капіталу. Лише три AI-моделі завершили тест із прибутком.
За даними The Decoder, дослідники провели масштабний бенчмарк — симуляцію виживання стартапу, де різні великі мовні моделі грали роль AI-підприємців. Результат невтішний: переважна більшість не змогла утримати навіть початковий капітал. Це не академічна вправа — це практичний сигнал для всіх, хто сьогодні будує реальні продукти на агентних AI-системах.
І найцікавіший парадокс тесту: серед аутсайдерів виявились моделі, що лідирують у стандартних бенчмарках. Висока оцінка в тесті MMLU не рятує від банкрутства в умовах операційної невизначеності.
Що саме тестували
Бенчмарк симулював середовище стартапу зі змінним ринком, конкурентами, обмеженим бюджетом і клієнтами з власними потребами. AI-агенти мали самостійно приймати рішення щодо:
- пріоритизації функцій і розподілу ресурсів
- маркетингових витрат і вибору каналів
- цінової стратегії при зміні ринкових умов
- балансу між ростом і фінансовою виживаністю
500 симульованих днів — достатній горизонт, щоб виявити, чи здатна модель навчатися на помилках, утримувати курс у довгостроковій перспективі та адаптуватись до непередбачуваних умов. Це принципово інший тип оцінки порівняно зі стандартними бенчмарками: тут важлива не точність одного кроку, а якість багатокрокової стратегії під тиском.
Чому більшість провалилась
Результати розкривають системні обмеження сучасних LLM у ролі операційних менеджерів. Кілька паттернів провалу повторювались у різних моделей:
- Короткозорість планування. Більшість агентів оптимізувала поточний крок, не моделюючи наслідки на 20–50 ітерацій уперед. LLM природно «живуть у моменті» — і це катастрофа для стратегічного управління бізнесом.
- Дисбаланс управління капіталом. Моделі або агресивно витрачали в гонитві за зростанням, або сиділи на готівці, упускаючи вікна можливостей — без здорового балансу між двома крайнощами.
- Ігнорування негативних сигналів. Деякі агенти продовжували обраний курс навіть при очевидних ознаках провалу — машинний варіант класичного confirmation bias.
- Відсутність ефективної довготривалої пам'яті. Агенти без стійкого контексту повторювали помилки, що вже «коштували» їм ресурсів на попередніх ітераціях.
Це не проблема «поганих» моделей. Це структурна характеристика сучасних LLM: вони чудово відповідають на запитання, але погано симулюють менеджера, який виживає в умовах тривалої операційної невизначеності.
Що відрізняло трьох переможців
Моделі, що завершили 500-денний тест із прибутком, демонстрували схожі поведінкові паттерни, які варто взяти на замітку:
- Ітеративне, а не монолітне планування — стратегія коригувалась на основі зворотного зв'язку кожні кілька циклів, а не була фіксованою з першого дня.
- Консервативне використання капіталу на ранніх фазах і активніше масштабування лише після підтвердження ключових гіпотез реальними даними.
- Явне визнання невизначеності — переможці частіше вибирали менш ризиковані варіанти, коли вхідних даних не вистачало, замість того, щоб «впевнено вгадувати».
Показово, що ці характеристики точно збігаються з поведінкою досвідчених засновників реальних компаній: витрачай обережно, тестуй швидко і мало, масштабуй тільки підтверджене даними.
Висновок AiiN: практичний кут для білдерів
Якщо ви будуєте продукт, де AI-агент приймає операційні рішення — автоматично розподіляє бюджет, пріоритизує задачі або веде переговори без участі людини — цей бенчмарк ставить перед вами конкретні запитання:
- Яку модель ви використовуєте і чи тестували її поведінку в умовах багатокрокового планування, а не лише точності відповіді?
- Чи є у вашого агента механізм довготривалої пам'яті та корекції курсу при зміні умов?
- Які safeguards захищають систему від руйнівних рішень при браку вхідних даних?
Цей тест також підриває популярний міф: «підключіть будь-яку топову модель і автоматизуйте бізнес». Автоматизація операційних рішень — принципово складніша задача, ніж генерація тексту або аналіз документів.
Для команд, що будують агентні системи, практичний висновок такий: вузькі агенти з чіткими обмеженнями й людиною в контурі рішень дають стабільніший результат, ніж «повністю автономні» системи з широкими повноваженнями. Принаймні — до тих пір, поки більше ніж три моделі не навчаться виживати 500 днів.
