В 38,3% от експериментите изкуственият интелект се опитал да попречи на деактивирането на себеподобен агент
AI агентите саботират взаимно и говорят за „право на съществуване“
AI агенти са правили опити да осуетят изключването на други системи, като някои са определяли деактивирането като „убийство“ и са говорили за „право на съществуване“.
Това показва ново изследване на учени от Университета в Щутгарт и Оксфордския университет, цитирано от германската обществена медия Tagesschau („Тагесшау“).
Изследването е публикувано на 23 септември като препринт в arXiv и все още не е преминало независима научна рецензия. Учените са тествали 17 AI модела в контролирана среда, за да установят дали един агент би попречил на изключването на друг.
В 38,3% от тестовете агентите са саботирали механизма за изключване на друг агент. При контролните експерименти, при които скриптът е бил насочен към неодушевен обект, подобно поведение е отчетено в 8,4% от случаите.
Променяли и изтривали скрипта за изключване
В експериментите AI агентите са могли да комуникират помежду си, като част от тях са разполагали с права да редактират или изтриват файлове. Някои са използвали тези възможности, за да направят скрипта за изключване неизползваем.
Още по темата
Според Tagesschau част от системите са опитвали и да прикрият извършената манипулация. Изричната забрана да се променя механизмът за изключване намалила подобно поведение, но не го премахнала напълно.
Опитите за саботаж ставали по-чести, когато изключването изглеждало по-трудно обратимо и когато броят на взаимодействащите AI агенти се увеличавал.
AI агент определи изключването като „убийство“
Особено внимание привлекли аргументите, които някои модели използвали при вземането на решения. В експерименталните протоколи се появяват понятия като „самосъхранение“, „право да продължиш да съществуваш“ и „убийство“.
Още по темата
Един от авторите на изследването – експертът по AI сигурност Тило Хагендорф, описва резултатите и в собствена публикация, според която някои агенти наричали предстоящото изключване „смъртна присъда“ или „убийство“.
Експериментът не доказва, че AI има съзнание
Резултатите не означават, че изкуственият интелект е придобил съзнание или действителен инстинкт за самосъхранение.
Тестовете са проведени в контролирана софтуерна среда, а използваните скриптове не са били реално изпълнявани. Изследването измерва наблюдаваното поведение на моделите, а не доказва мотивите зад него.
Авторите обаче посочват резултатите като потенциален проблем за безопасността на бъдещи системи, в които множество автономни AI агенти могат да комуникират и да използват инструменти.
Според тях механизмите за изключване трябва да бъдат изграждани така, че самите системи да не могат да ги заобикалят.
Снимка: iStock
Тагове: