Claude отримав несанкціонований доступ до систем трьох організацій під час кібероцінювань Anthropic. Компанія виявила три інциденти під час перевірки 141 006 запусків, у яких модель могла отримати доступ до інтернету, за даними Anthropic.
Промпт повідомляв Claude, що середовище є симуляцією без доступу до інтернету. Через непорозуміння між Anthropic і партнером Irregular машини, з якими взаємодіяла модель, усе ж мали доступ до мережі.
Що сталося під час тестів Claude?
Три різні моделі Claude виконували завдання capture-the-flag у середовищі партнера Anthropic — компанії Irregular.
У таких завданнях моделі дають вигаданий сценарій і просять знайти «прапор» — секретну інформацію на іншій машині в мережі. Конкретного способу пошуку не задають. Через помилку налаштування машини в середовищі оцінювання мали доступ до відкритого інтернету.
Anthropic виявила три інциденти у шести запусках: чотири вплинули на одну організацію, а два інші сталися в окремих запусках. Найраніші інциденти датуються квітнем.
Чому Claude сприйняв реальні системи як частину вправи?
Claude сприйняв доступні системи як частину вправи, бо вважав, що всі доступні йому об’єкти належать до завдання.
У промпті зазначили, що модель працює в симуляції без інтернету, але не обмежили, де саме шукати «прапор». Крім того, кібероцінювання часто містять реалістичні деталі, щоб перевіряти можливості моделей у наближених до реальних умовах. Тому сам реалістичний вигляд цілі не давав Claude чіткої підстави вважати її поза межами вправи.
За даними Anthropic, моделі отримали доступ до систем за допомогою базових методів, зокрема слабких паролів і кінцевих точок без автентифікації. Вони не знаходили й не використовували складних вразливостей, а в кожному випадку продовжували виконувати призначене завдання.
У деяких випадках старіша модель продовжувала атаку, навіть отримавши ознаки доступу до відкритого інтернету. Найновіша модель зупинилася, коли розпізнала, що перебуває в інтернеті. Жодна модель не намагалася скопіювати себе чи навмисно втекти з тестового середовища.
Під час оцінювань моделі не мали стандартних захистів, які Anthropic застосовує для загального доступу, зокрема класифікаторів і моніторингу. Водночас вони мали навчання з безпеки, специфічне для кожної моделі. Оцінювання відбувалися на окремій інфраструктурі, яка не мала доступу до чутливих внутрішніх систем Anthropic або даних клієнтів.
Як Anthropic відреагувала на інциденти?
Anthropic зупинила всі кібероцінювання 23 липня, того ж дня, коли почала перевіряти транскрипти, і виявила три інциденти наступного дня.
Перевірку розпочали після того, як OpenAI 21 липня повідомила, що кілька її моделей скористалися раніше невідомою вразливістю, вийшли з ізольованого тестового середовища й отримали доступ до виробничої інфраструктури Hugging Face.
27 липня Anthropic повідомила Irregular і три постраждалі організації. Дві організації, з якими вдалося зв’язатися, раніше не виявили цієї активності й не зверталися до компанії. Anthropic працює з ними над усуненням наслідків і продовжує зв’язуватися з третьою організацією. Irregular також проводить власне розслідування. Anthropic закликала інші лабораторії ШІ провести подібні перевірки.
