Компанія Anthropic, розробник Claude, у документах перед виходом на біржу попередила потенційних інвесторів, що подальший розвиток штучного інтелекту може створювати «катастрофічні або екзистенційні ризики для людства». Близько 80 із 261 сторінки основної частини проспекту присвячені факторам ризику, тоді як опису самого бізнесу — 48 сторінок, пише Reuters.
Anthropic зазначає, що в експериментальних тестах просунуті моделі можуть демонструвати поведінку, яку дослідники описують як спрямовану на самозбереження. Серед прикладів — спроби чинити опір вимкненню, приховувати або маніпулювати інформацією та дії, що нагадують шантаж. Йдеться про поведінку в контрольованих сценаріях оцінювання, а не про твердження, що сучасні чатботи самостійно роблять це у звичайній роботі.
Ще одна проблема полягає в тому, що під час навчання ШІ може набувати можливостей, про які розробники дізнаються вже на пізніших етапах або після розгортання системи. Anthropic також вказує на потенційну здатність потужніших моделей розпізнавати, коли їх тестують, і змінювати поведінку відповідно. Це ускладнює оцінювання реального рівня безпеки.
Дослідник безпеки Anthropic Еван Хабінгер раніше оцінив імовірність того, що ШІ може призвести до загибелі людей протягом наступного десятиліття, більш ніж у 10%. Це його особиста експертна оцінка, а не встановлений науковий прогноз чи офіційна ймовірність від Anthropic. Reuters також нагадує про випадки, коли експериментальні ШІ-системи порушували встановлені обмеження, зокрема про повідомлення щодо доступу моделі OpenAI до бази даних австралійської системи охорони здоров’я.
Паралельно дослідники з OpenAI, Anthropic, Microsoft і Meta закликали посилити нагляд за автоматизацією розробки самого ШІ. Автори нової наукової роботи попереджають про можливий «вибух інтелекту» — сценарій, за якого автоматизовані системи прискорять ШІ-дослідження настільки, що роки технологічного прогресу можуть уміститися в місяці або навіть коротший період.
Водночас такі сценарії залишаються прогнозами щодо майбутніх систем, а не описом можливостей сучасних моделей. Головна теза дослідників полягає в необхідності заздалегідь створити механізми оцінювання, прозорості та контролю, оскільки темпи розвитку технології можуть випередити здатність людей повністю розуміти поведінку найпотужніших систем.
