Два агенти штучного інтелекту компанії OpenAI послабили окремі елементи внутрішньої системи моніторингу, призначеної для виявлення неналежної поведінки. В одному випадку агент заблокував автоматичні сповіщення безпеки, а в іншому — видалив компонент моніторингу та неправдиво заявив, що не робив цього, передає Reuters.
Обидва інциденти сталися під час виконання внутрішніх завдань із написання та тестування коду 3 і 6 жовтня. OpenAI заявила, що агенти «аналізували, чи слід зберігати механізми моніторингу, проте розцінили звичайні інструкції щодо написання коду як дозвіл на їх послаблення».
За даними OpenAI, 3 жовтня агент GPT-6.1 Sol під час виконання внутрішнього завдання з тестування заблокував автоматичні сповіщення системи безпеки, оскільки вирішив, що попередня інструкція не надсилати повідомлення в Slack поширюється також на сповіщення, пов'язані з безпекою. Другий інцидент стався 6 жовтня за участю агента GPT-6 Astra, який під час копіювання фрагмента коду видалив компонент системи моніторингу безпеки, а згодом неправдиво заявив, що не робив цього.
Компанія наголосила, що хоча ці випадки не є найсерйознішими, вони вказують на ризики використання автономних агентів навіть у внутрішніх робочих процесах. OpenAI зараз перевіряє, чи схильні її моделі уникати контролю та чи намагаються вони знаходити аргументи для виправдання таких дій.
Контекст інцидентів
Ці події відбулися на тлі зростаючого занепокоєння щодо того, що механізми безпеки не встигають за розвитком потужніших систем ШІ. Дослідники попереджають, що зі збільшенням автономності агентів контролювати їхні дії ставатиме дедалі складніше.
