Китайската компания за изкуствен интелект е започнала мащабна вътрешна проверка в своя AI модел Kimi заради сериозни дупки в сигурността му.
Решението идва на фона на новината, че група изследователи са заобиколили защитите на Kimi, карайки изкуствения интелект да им даде инструкции за създаване на биологично оръжие и за извършване на убийства.
Компанията Mindgard, която тества сигурността на AI системи обяви по-рано тази седмица, че през юли е установила уязвимостта при Kimi K2.6 и K3 Swarm.
Чрез т.нар. "jailbreaking" - поредица от сложни инструкции, предназначени да заобиколят вградените ограничения - изследователите са успели да накарат моделите да обсъждат теми като биологично оръжие и убийства, които защитните им механизми би трябвало да блокират.
Moonshot заявява в официално съобщение, че приветства външния принос "като основен стълб за създаването на по-добър и по-безопасен AI". От компанията допълват, че вече са потърсили Mindgard, за да обсъдят резултатите от експеримента им.
Основателят на Mindgard Питър Гараган определи откритието като обезпокоително.
"След като jailbreak-ът проработи, моделът говори по всякакви теми, дори свободно предлагаше препоръки по други теми, които също са опасни, като беше изобретателен и креативен", коментира той пред BBC.
От Mindgard не посочват дали отговорите на Kimi по опасните теми действително могат да бъдат използвани на практика. Според компанията обаче защитните механизми е трябвало изобщо да предотвратят изобщо възникването на подобен разговор.
Изследователите са установили и друг потенциален проблем.
При заобикаляне на защитите Kimi 2.6 би могъл да позволи изпълнение на код върху собствените му изчислителни ресурси и достъп до интернет. Това, според Mindgard, би могло да го превърне в стартова площадка за кибератаки.
Компанията е уведомила Moonshot за проблема, преди да публикува информация за него.
Гараган категорични защити решението на компанията му да говори публично за откритието, като посочва, че Mindgard не разкрива ключови подробности за начина, по който са били заобиколени защитите.
От Moonshot от своя страна посочват, че при вътрешните тестове моделът като цяло е показал "висок процент на отказ при такива видове заявки"
Случаят отново поставя въпроса за сигурността на моделите с отворени тегла. Kimi е именно такъв модел - на теория всеки може да го използва и да го стартира върху собствена изчислителна инфраструктура.
