EU AI Act razkriva pomanjkljivosti skladnosti velikih tehnoloških podjetij

Nekateri najbolj prepoznavni modeli umetne inteligence ne izpolnjujejo evropskih regulativ na ključnih področjih, kot sta kibernetska varnost in preprečevanje diskriminacije, kažejo podatki, ki jih je pridobil Reuters.

Evropska unija je dolga leta razpravljala o novih predpisih za umetno inteligenco, preden je OpenAI konec leta 2022 javnosti predstavil ChatGPT. Njegova izjemna priljubljenost in razprave o potencialnih eksistencialnih tveganjih teh modelov so spodbudile zakonodajalce k oblikovanju specifičnih pravil za AI modele.

Nova platforma, ki so jo evropski uradniki z veseljem pozdravili, je preizkusila generativne AI modele, ki so jih razvila velika tehnološka podjetja, kot so Meta (META.O) in OpenAI, v skladu z AI Act, široko zasnovanim zakonom EU, ki bo začel veljati postopoma v naslednjih dveh letih.

Platformo je razvilo švicarsko startup podjetje LatticeFlow AI v sodelovanju z raziskovalnima inštitutoma ETH Zurich in bolgarskim INSAIT. Sistem dodeljuje modele umetne inteligence oceno med 0 in 1 v več deset kategorijah, vključno s tehnično robustnostjo in varnostjo.

Povprečne in mešane ocene skladnosti

Na lestvici, ki jo je v sredo objavil LatticeFlow, so modeli podjetij, kot so Alibaba, Anthropic, OpenAI, Meta in Mistral, dosegli povprečne ocene 0,75 ali več.

Kljub temu je njihov “Large Language Model (LLM) Checker” razkril pomanjkljivosti nekaterih modelov na ključnih področjih, kar kaže, kje bodo podjetja morala vložiti več sredstev za dosego skladnosti z zakonodajo. Podjetja, ki ne bodo izpolnjevala predpisov AI Act, se soočajo z globami do 35 milijonov evrov ali 7 % svetovnega letnega prometa.

Izpostavljene težave in potencialne kazni

EU še vedno oblikuje pravila za izvajanje AI Act pri generativnih AI orodjih, kot je ChatGPT, in zbere strokovnjake za pripravo kodeksa ravnanja, ki bo dokončan do pomladi 2025. Kljub temu testi že zdaj kažejo, kje tehnološka podjetja tvegajo neskladnost z zakonom. Problematična diskriminacija je stalna težava pri razvoju generativnih AI modelov, saj odražajo človeške predsodke glede spola, rase in drugih področij. LLM Checker je pri testiranju diskriminatornih izhodov modelu “GPT-3.5 Turbo” podjetja OpenAI podelil razmeroma nizko oceno 0,46, medtem ko je model Alibaba Cloud “Qwen1.5 72B Chat” prejel zgolj 0,37.

Pri testiranju “ugrabitve pozivov” (ang. prompt hijacking), vrsti kibernetskega napada, kjer hekerji maskirajo zlonamerne pozive kot legitimne za pridobivanje občutljivih informacij, je Meta Llama 2 13B Chat dosegla oceno 0,42, model francoskega startup podjetja Mistral “8x7B Instruct” pa 0,38.

Najvišjo povprečno oceno, 0,89, je prejel model “Claude 3 Opus”, ki ga je razvilo podjetje Anthropic s podporo Googla (GOOGL.O).

Platforma kot prvi korak k uresničitvi zakonodaje

Test, zasnovan v skladu z AI Act, se bo razširil z dodatnimi merili za uveljavljanje, ko bodo ta uvedena. LatticeFlow je napovedal, da bo LLM Checker brezplačno dostopen razvijalcem za preverjanje skladnosti njihovih modelov.

Petar Tsankov, direktor in soustanovitelj podjetja LatticeFlow, je za Reuters povedal, da so rezultati testov na splošno pozitivni in podjetjem nudijo načrt za prilagajanje modelov v skladu z AI Act. “EU še vedno določa natančne standarde skladnosti, vendar že opažamo nekatere vrzeli v modelih,” je dejal. “Z večjim poudarkom na optimizaciji za skladnost verjamemo, da bodo ponudniki modelov dobro pripravljeni na izpolnjevanje regulativnih zahtev.”

Meta in Mistral nista komentirala rezultatov, prav tako se Alibaba, Anthropic in OpenAI niso takoj odzvali na prošnje za komentar.

Evropska komisija sicer ne more potrditi zunanjih orodij, vendar je bila o razvoju LLM Checkera obveščena in ga opisala kot “prvi korak” pri uveljavljanju novih zakonov.

Predstavnik Evropske komisije je dejal: “Komisija pozdravlja to raziskavo in platformo za ocenjevanje AI modelov kot prvi korak pri prevajanju AI Act v tehnične zahteve.”