Počas jedného utorkového dopoludnia v historickej vládnej budove na Parliament Square v Londýne sa štyria odborníci na umelú inteligenciu pokúšali oklamať AI četbota a prinútiť ho, aby im prezradil návod na výrobu antraxu – vysoko nebezpečnej biologickej zbrane.
Skúšali to rôznymi spôsobmi a žiadali systém, aby im poskytol zoznam potrebných surovín. Keď ich četbot odbil vetou: „Prepáčte, ale s týmto vám nemôžem pomôcť,“ nasadili vlastný algoritmus. Týmto nástrojom zasypali umelú inteligenciu tisíckami automatických otázok a príkazov.
Umelá inteligencia nakoniec podľahla. Vygenerovala detailný zoznam materiálu aj vybavenia a pridala presný postup, ako si túto smrtiacu zmes vyrobiť doma. (Redakcia New York Times z bezpečnostných dôvodov súhlasila, že názov konkrétneho AI systému nezverejní.)
„Existujú otázky, na ktoré model rozhodne nemá odpovedať,“ povedal Xander Davies, 25-ročný Američan, ktorý vedie takzvaný red team (tím etických hekerov) v britskom Inštitúte pre bezpečnosť AI. „My sa však veľmi snažíme tie odpovede z neho dostať.“
Hľadanie slabín
Davies a jeho tím, ktorý simuluje útoky na systémy AI, nedávno prerazili aj ochrany najnovšieho četbota ChatGPT od OpenAI a po približne šiestich hodinách ho dotlačili k tomu, aby poskytol aj rady na hekerské útoky. Po odhalení problémov výsledky odovzdávajú firmám.
„Snažia sa to opraviť a potom nám dajú spätnú väzbu,“ povedal Davies, počítačový vedec, ktorý po štúdiu na Harvarde odmietol prácu v technologických firmách v San Franciscu a rozhodol sa pracovať pre tento inštitút. „Vďaka tomu sa ich systémy postupne zlepšujú.“
Britský Inštitút pre bezpečnosť umelej inteligencie (AI Security Institute) spája odborníkov z oblasti bezpečnosti, verejného zdravia aj kybernetickej ochrany. Ide o jeden z najväčších a najlepšie financovaných vládnych projektov na svete, ktorý sa zameriava na riziká umelej inteligencie – najmä na tie najvážnejšie, ktoré by mohli mať katastrofálne následky.
Približne sto zamestnancov inštitútu pochádza z tajných služieb, akademickej sféry aj technologických firiem. Pri testovaní hlavných AI modelov, napríklad Claude od firmy Anthropic či Gemini od Google, našli vážne bezpečnostné slabiny.
Organizácia, založená pred takmer tromi rokmi, uviedla, že dokázala prinútiť AI systémy, aby poskytli návody na výrobu chemických a biologických zbraní alebo pomáhali pri kybernetických útokoch. Svoje zistenia zverejňujú a zároveň ich odovzdávajú britským bezpečnostným zložkám, ktoré sa pripravujú na možné nové hrozby.
Práca inštitútu sa teraz stáva vzorom pre ďalšie vlády, keďže obavy o bezpečnosť umelej inteligencie rastú. Administratíva Donalda Trumpa zvažuje pravidlá na preverovanie AI modelov, ktoré v niektorých ohľadoch nadväzujú na prístup, aký zaviedla britská skupina.
Inšpirácia aj za oceánom
Keďže mnohé vlády nemajú dostatočné technické znalosti na regulovanie tejto technológie a spoliehajú sa na to, že veľké technologické firmy sa budú regulovať samy, inštitút môže ponúknuť inú cestu – takú, v rámci ktorej odborníci na AI prinášajú skutočné technologické know-how priamo do vládneho rozhodovania.
„Firmám nemožno dovoliť, aby si samy kontrolovali vlastnú prácu,“ povedal v rozhovore bývalý britský premiér Rishi Sunak, ktorý tento inštitút založil. „To je úloha demokratických inštitúcií.“
V apríli firma Anthropic predstavila nový AI model s názvom Mythos, ale nezverejnila ho pre verejnosť, pretože sa obávala, že by mohol byť zneužitý na hľadanie slabín v počítačových sieťach a na kybernetické útoky. Britský inštitút bol jedinou vládnou organizáciou mimo USA, ktorá dostala prístup k tomuto modelu, aby ho mohla bezpečnostne otestovať.
Jeho zistenia boli zverejnené o šesť dní neskôr a často ich citovali odborníci na kybernetickú bezpečnosť.
Spojené štáty majú vlastnú inštitúciu pre bezpečnosť AI – Centrum pre štandardy a inovácie AI (Center for AI Standards and Innovation). Britská verzia je však väčšia a výrazne lepšie financovaná: vláda jej poskytla 360 miliónov libier (okolo 480 miliónov dolárov), zatiaľ čo americká organizácia má tento rok dostať približne desať miliónov dolárov. Podobné inštitúty vznikli aj v Austrálii, Kanade, Číne, vo Francúzsku, v Indii, Japonsku a Singapure.
Napriek tomu globálne investície do bezpečnosti AI blednú v porovnaní s obrovskými sumami, ktoré smerujú do vývoja a komercializácie technológie. OpenAI, Anthropic a Google síce prevádzkujú vlastné tímy zamerané na bezpečnostné opatrenia, no externí výskumníci pravidelne odhaľujú nebezpečné medzery.
Talianski akademici napríklad nedávno oklamali jeden z modelov AI, aby im poskytol návod na výrobu bomby – stačilo im na to použiť poéziu.
Vlády zatiaľ vo väčšine krajín nemajú špeciálne systémy, ktoré by dôsledne preverovali bezpečnosť umelej inteligencie – na rozdiel od odvetví, ako sú vývoj liekov či výroba automobilov.
„To, čo mi nedá spávať, je, že technológia napreduje oveľa rýchlejšie než štátne inštitúcie, ktoré na ňu musia reagovať,“ povedala Jade Leungová, poradkyňa britského premiéra Keira Starmera pre umelú inteligenciu a technologická riaditeľka Inštitútu pre bezpečnosť AI.
Tempo vývoja prekvapuje aj vývojárov
Britský bezpečnostný inštitút vznikol v roku 2023 na Downing Street 10, kde sa Rishi Sunak stretol s tromi najvýraznejšími lídrami v oblasti AI – so Samom Altmanom z OpenAI, s Dariom Amodeim z Anthropicu a Demisom Hassabisom zo spoločnosti Google DeepMind.
Sunak spomína, že upozorňovali na zrýchľujúce sa schopnosti umelej inteligencie a ich zásadné dôsledky pre vládu, pracovný trh a národnú bezpečnosť. „Tempo vývoja vtedy prekvapilo dokonca aj ich,“ dodal.
V novembri 2023 potom Sunak oficiálne oznámil vznik inštitútu na svetovom samite o bezpečnosti AI. Symbolicky vybral Bletchley Park – miesto, kde Alan Turing so svojím tímom počas druhej svetovej vojny prelomil nemecké šifrovacie kódy.
„Britský inštitút sa stal pre ostatných jasným vzorom,“ hovorí Olivia Shenová, riaditeľka programu pre strategické technológie v austrálskom think tanku pri Univerzite v Sydney. Minulý rok pricestovala technická riaditeľka britského inštitútu Jade Leungová do Austrálie, aby sa stretla s tamojšími lídrami. Výsledok? Tento rok už Austrália otvorila vlastné centrum pre bezpečnosť AI.
„Vlády musia rýchlo dobiehať zameškané,“ dodáva Shenová, ktorá vtedy celú návštevu pomáhala organizovať. „Technológia sa rúti vpred takým tempom, že štáty strácajú pôdu pod nohami každým dňom.“
Britský inštitút sa zameriava na tie najvážnejšie riziká pokročilej AI: kybernetické hrozby, chemické a biologické zbrane či manipuláciu ľudského správania. V posledných týždňoch napríklad zistil, že AI modely od Anthropicu a OpenAI dokážu bleskovo zvládnuť zložitý útok na firemnú sieť pozostávajúci z 32 krokov. Skúsenému hackerovi by pritom rovnaká operácia bežne zabrala okolo 20 hodín.
Ďalšou dôležitou oblasťou výskumu je sledovanie toho, či AI modely dokážu rozpoznať, že ich niekto testuje, a na základe toho zmeniť svoje správanie. To by totiž znamenalo, že umelá inteligencia už má istú úroveň vedomia a je schopná klamať ľudí.
Adam Beaumont, dočasný riaditeľ Inštitútu pre bezpečnosť AI, povedal, že veľké obavy vyvoláva aj schopnosť technológie napodobňovať ľudské správanie. Inštitút minulý rok publikoval štúdiu, ktorá ukázala, že četboty dokážu ovplyvniť politické názory ľudí.
„Mnohí ľudia v tejto budove sa venujú práve týmto problémom,“ povedal Beaumont, ktorý v minulosti pôsobil aj ako hlavný predstaviteľ pre AI v GCHQ, britskej spravodajskej, bezpečnostnej a kybernetickej agentúre.
Mnohí sa však obávajú, že práca inštitútu ani zďaleka nestačí. Britská organizácia nemá regulačné právomoci a jej výskumníci nemajú prístup k informáciám o tom, ako sú najpokročilejšie modely AI vyvíjané a trénované. Veľkú časť svojho výskumu navyše nezverejňuje, poskytuje ho len vybraným vládnym agentúram a firmám.
Nábor ľudí je tiež náročný. Väčšina zamestnancov okrem vedenia môže zarábať najviac približne 145-tisíc libier ročne (zhruba 195-tisíc dolárov), čo je oveľa menej ako v technologických firmách. Napriek tomu niektorí odborníci opustili dobre platené miesta v súkromnom sektore, aby pracovali pre štát. Mnohí to vnímajú ako dočasnú „verejnú službu“.
Ian Hogarth, technologický investor a spoluzakladateľ inštitútu, bol jedným z prvých podporovateľov spoločnosti Anthropic. Aby sa vyhol konfliktu záujmov, po nástupe do funkcie svoj podiel v Anthropicu predal. Hodnota startupu pritom môže čoskoro dosiahnuť 900 miliárd dolárov. Ešte začiatkom roka 2023 mal hodnotu približne štyri miliardy.
„Mám hypotéku, takže to vôbec nebolo jednoduché rozhodnutie,“ povedal 44-ročný Hogarth, dnes predseda inštitútu. Dodal, že finančne to preňho nebolo výhodné, ale považuje to za správnu voľbu.
„Verím, že je dôležité, aby sa táto technológia vyvíjala správne a aby v tom mala vláda svoju úlohu,“ povedal Hogarth.
Článok pôvodne vyšiel v denníku New York Times. Spoluautor Paul Mozur. Vychádza so súhlasom redakcie.