Većina tvrtki nije jednog dana sjela i odlučila uvesti umjetnu inteligenciju. Ona se pojavila u alatima koje su već koristile.
Primjerice, platforma za ljudske resurse počela je automatski rangirati kandidate. Sustav za upravljanje odnosima s klijentima počeo je ocjenjivati potencijalne kupce. Korisnička podrška počela je usmjeravati zahtjeve bez ljudskog unosa.
Drugim riječima, umjetna inteligencija širila se postupno. Ulazila je kroz različite timove, nove značajke i nadogradnje dobavljača. Međutim, nitko je često nije pratio na jednom mjestu.
To samo po sebi nije problem. Problem nastaje kada tvrtka ne zna što zapravo koristi.
Prije nego što veliki poslovni klijenti počnu slati sigurnosne upitnike s pitanjima o umjetnoj inteligenciji, vrijedi napraviti osnovno mapiranje. Isto vrijedi i prije nego što investitori počnu pitati o upravljanju umjetnom inteligencijom.
Tvrtka treba znati gdje koristi umjetnu inteligenciju. Također treba znati što ti sustavi rade, koje podatke obrađuju i na koje odluke utječu.
Upravo zato postoji revizija sustava umjetne inteligencije.
Akt EU-a o umjetnoj inteligenciji daje regulatornu hitnost problemu koji su mnoge tvrtke već imale.
Kratko o regulatornom kontekstu
Uredba (EU) 2024/1689 primjenjuje se postupno od kolovoza 2024.
Europska unija u veljači 2025. zabranila je određene neprihvatljive prakse umjetne inteligencije. To uključuje društveno bodovanje i određene oblike biometrijskog nadzora u stvarnom vremenu na javnim mjestima.
Osim toga, obveze povezane s modelima umjetne inteligencije opće namjene počele su se primjenjivati u kolovozu 2025. Taj je raspored naveden u službenom vremenskom okviru provedbe Akta EU-a o umjetnoj inteligenciji.
Od 2. kolovoza 2026. Ured za umjetnu inteligenciju EU-a ima ovlasti provedbe u vezi sa zahtjevima za modele umjetne inteligencije opće namjene. Članak 99. Uredbe određuje strukturu kazni.
Kazne mogu doseći 35 milijuna eura ili 7% ukupnog godišnjeg svjetskog prometa za uporabu zabranjenih sustava umjetne inteligencije. Druge povrede Akta mogu dovesti do kazni do 15 milijuna eura ili 3%. Dostavljanje netočnih informacija regulatorima može rezultirati kaznom do 7,5 milijuna eura ili 1%.
Kod visokorizičnih sustava slika se promijenila u svibnju 2026.
Europski parlament i Vijeće postigli su privremeni dogovor u okviru inicijative Digital Omnibus.
Dogovor predviđa produljenje rokova iz Priloga III. Za samostalne visokorizične sustave novi je rok prosinac 2027. Za umjetnu inteligenciju ugrađenu u regulirane proizvode rok je kolovoz 2028. Formalno usvajanje još je u tijeku.
Pritom je važno naglasiti jedno: produljenje se odnosi na visokorizične obveze. Ostale obveze, uključujući transparentnost i označavanje generiranog sadržaja, treba procijeniti zasebno.
Razvrstavanje sustava umjetne inteligencije ovisi o namjeni sustava. Ovisi i o njegovom tehničkom dizajnu te kontekstu uporabe.
Ako razvrstavanje nije jasno, treba uključiti pravne stručnjake. Allmatics se pritom usredotočuje na tehničku i operativnu stranu. Gledamo što sustavi stvarno rade, koje rizike nose i koja dokumentacija ili infrastruktura mogu poduprijeti usklađenost.
Koje su industrije najizloženije
Prilog III. Akta EU-a o umjetnoj inteligenciji navodi područja u kojima sustavi mogu biti visokorizični. To uključuje biometrijsku identifikaciju, kritičnu infrastrukturu, obrazovanje, zapošljavanje, osnovne usluge, provedbu zakona, migracije i pravosuđe.
Međutim, sama oznaka proizvoda nije dovoljna. Važno je kako se sustav koristi i kakvu ulogu ima u odluci.
Nacrt smjernica Europske komisije o razvrstavanju visokorizičnih sustava trebao bi pomoći u tumačenju. Ipak, smjernice se još mogu mijenjati.
Upravo zato tehnička procjena ima jednaku težinu kao i pravno tumačenje.
Financijske usluge
Sustavi umjetne inteligencije u financijskim uslugama često nose veći rizik. To posebno vrijedi kada utječu na procjenu kreditne sposobnosti, odobravanje zajmova, kreditne limite ili cijene osiguranja za fizičke osobe.
Primjeri uključuju automatizirane provjere sposobnosti plaćanja. U tu skupinu ulaze i modeli kreditnog bodovanja te alati za procjenu rizika u životnom i zdravstvenom osiguranju.
Izazov je u tome što umjetna inteligencija često postoji unutar temeljnih poslovnih procesa. Ponekad je dio platformi koje je organizacija kupila prije više godina. Zbog toga je nitko nije posebno mapirao.
Mnogi timovi ne znaju koji se modeli stvarno koriste. Ne znaju ni na kojim su podacima trenirani. Često nije jasno ni zadržavaju li se rezultati negdje u sustavu.
Ljudski resursi i zapošljavanje
Sustavi umjetne inteligencije u ljudskim resursima mogu biti posebno osjetljivi. To vrijedi kada utječu na uži izbor kandidata, rangiranje ili ocjenjivanje video intervjua.
Slično vrijedi i za alate koji utječu na procjenu radnog učinka. U tu skupinu mogu ući i preporuke za napredovanje ili raspodjelu zadataka.
Tvrtke koje koriste vanjske platforme za ljudske resurse mogu imati vlastite obveze. Usklađenost se ne može automatski prebaciti na dobavljača.
Članak 26. Uredbe propisuje obveze za korisnike visokorizičnih sustava. To uključuje uporabu prema uputama, ljudski nadzor, praćenje rada sustava i, u određenim slučajevima, informiranje osoba na koje sustav utječe.
Ljudski nadzor pritom ne smije biti formalnost. Potrebna je osoba koja ima ovlasti, informacije i mogućnost pregledati ili poništiti rezultat.
Zdravstvo i internetska trgovina
Zdravstvo ima posebno složenu regulatornu sliku. Umjetna inteligencija može pomagati u dijagnostici, kliničkom odlučivanju, trijaži pacijenata ili preporukama liječenja.
Takvi sustavi mogu biti visokorizični. Osim toga, neki od njih mogu se smatrati i medicinskim proizvodima prema pravilima EU-a o medicinskim proizvodima.
Zato zdravstvene organizacije prvo trebaju mapirati alate. Tek nakon toga mogu procijeniti koji se okvir primjenjuje na koji sustav.
U internetskoj trgovini slika je drukčija. Mnogi sustavi imaju niži rizik. To se često odnosi na preporuke proizvoda, personalizaciju i osnovne alate korisničke podrške.
Međutim, postoje iznimke. Umjetna inteligencija koja procjenjuje kreditnu sposobnost za modele “kupi sada, plati kasnije” može biti visokorizična. Slično vrijedi za sustave koji određuju cijenu dodatnog osiguranja po pojedinom kupcu.
Zato tvrtke ne bi trebale pretpostaviti da je sustav niskorizičan samo zato što je okrenut potrošačima. Najprije treba provjeriti stvarnu namjenu i utjecaj sustava.
Za B2B SaaS tvrtke izloženost često dolazi neočekivano. Ako proizvod dotiče područja iz Priloga III., pristup usklađenosti postaje dio prodajne priče.
Nabavni timovi velikih poduzeća u EU-u već pitaju o upravljanju umjetnom inteligencijom. Tvrtke koje mogu odgovoriti jasno i dokumentirano brže prolaze kroz prodajne postupke.
Što revizija sustava umjetne inteligencije zapravo provjerava
Pravni tim može reći što propis zahtijeva. Međutim, ne može sam provjeriti tehničke rizike u vašoj arhitekturi.
Primjerice, pravni tim neće vidjeti ima li sustav za generiranje odgovora uz dohvat podataka propuste u izolaciji podataka. Neće znati šalje li vanjski veliki jezični model osobne podatke klijenata u uputama. Neće moći potvrditi može li se odluka potpomognuta umjetnom inteligencijom naknadno rekonstruirati.
To je tehnička strana spremnosti. Upravo tu radi Allmatics.
Popis sustava i mapiranje modela
Početna točka uvijek je popis. Koje su funkcije umjetne inteligencije stvarno aktivne u proizvodu ili poslovnim procesima?
To zahtijeva pregled proizvoda, ugovora s dobavljačima i infrastrukture. Nije dovoljno samo pitati timove što koriste.
Umjetna inteligencija često se pojavi kroz nadogradnje platformi. Voditelji proizvoda mogu odobriti novu značajku bez potpunog razumijevanja dijela koji se odnosi na umjetnu inteligenciju.
Zato tvrtke često pronađu više sustava umjetne inteligencije nego što su očekivale.
Zatim mapiramo modele i programska sučelja. Gledamo što se koristi, je li rješenje interno ili vanjsko te koja sučelja utječu na koje odluke.
Ako tvrtka koristi temeljni model, važan je cijeli lanac. To uključuje poziv sučelju, obradu podataka i rezultat koji vidi korisnik.
Podaci, zapisivanje i provjera rizika
Izloženost vanjskim velikim jezičnim modelima često se podcjenjuje. Koje podatke šaljete vanjskim modelima? Pojavljuju li se osobni podaci klijenata u uputama? Pokriva li vaš ugovor o obradi podataka način na koji dobavljač obrađuje te podatke?
Tu se često pojavljuju prva značajna iznenađenja.
Ako proizvod koristi generiranje odgovora uz dohvat podataka, provjeravamo bazu znanja. Gledamo tko njome upravlja, kako se određuje opseg dohvaćanja i postoje li kontrole izolacije.
Cilj je spriječiti da se podaci jednog klijenta pojave u odgovorima drugog klijenta. Arhitektura može izgledati uredno na razini dizajna. Međutim, produkcijsko ponašanje često otkrije dodatne rizike.
Zapisivanje i mogućnost naknadne provjere čest su problem. Možete li nakon događaja rekonstruirati određenu odluku? Možete li vidjeti koji je ulaz sustav primio, što je vratio i koje je pokazatelje pouzdanosti prikazao?
Također treba znati što je čovjek učinio s tim rezultatom. Je li ga prihvatio, izmijenio, odbio ili poništio?
Bez toga su i unutarnja provjera i regulatorna revizija otežane.
Zlonamjerno oblikovane upute stvaran su rizik. Takvi unosi mogu pokušati promijeniti ponašanje sustava. Osim toga, mogu utjecati na druge korisnike ili unutarnje podatke.
Curenje podataka otvara slično pitanje. Može li model vratiti informacije koje ne bi smio? To se može odnositi na podatke za treniranje, druge sesije ili povezane baze podataka.
Provjeravamo i ljudski nadzor. Postoji li smislen korak provjere prije nego što se važan rezultat upotrijebi? Ima li sustav zamjenski postupak kada vrati rezultat niske pouzdanosti ili prestane raditi?
Nakon pokretanja sustava treba pratiti njegovo ponašanje. Zato gledamo postoji li praćenje pada točnosti, neočekivanih obrazaca i promjena u ponašanju modela.
To je procjena koju pravni tim ne može provesti sam. Pravno tumačenje je važno, ali najprije treba razumjeti što se stvarno koristi.
Revizija sustava umjetne inteligencije nije ocjena sukladnosti
To treba jasno reći.
Revizija sustava umjetne inteligencije koju provodi Allmatics nije formalna ocjena sukladnosti. Ona ne rezultira EU izjavom o sukladnosti. Ne daje ni službeni certifikat.
To je strukturirani postupak procjene spremnosti.
Pomažemo tvrtkama mapirati njihovo okruženje umjetne inteligencije. Zatim utvrđujemo koji sustavi mogu spadati u regulirane kategorije. Nakon toga otkrivamo dokumentacijske i tehničke nedostatke te izrađujemo plan otklanjanja.
Rezultat je jasnoća. Tvrtka zna što ima, gdje su rizici i što treba izgraditi ili dokumentirati prije primjene formalnih obveza.
Formalna ocjena sukladnosti, kako je definirana u članku 43. Uredbe, zaseban je korak.
Za većinu sustava iz Priloga III. tvrtke je mogu provesti interno. To je moguće nakon što uspostave potrebnu dokumentaciju i procese. Za određene biometrijske sustave bez primjene usklađenih normi Akt zahtijeva uključivanje trećeg prijavljenog tijela.
Allmatics pomaže tvrtkama doći do početne točke za taj proces.
Konačne pravne odluke o razvrstavanju trebaju uključivati kvalificirane pravne stručnjake. Mi radimo uz taj proces, a ne umjesto njega.
Zašto je važno početi sada, iako prosinac 2027. izgleda daleko
Produljeni rok za Prilog III. daje više vremena nego što se prvotno očekivalo. Međutim, posao zbog toga nije manji.
Temeljit popis sustava umjetne inteligencije i analiza nedostataka traju tjednima. Otklanjanje nedostataka traje mjesecima. To može uključivati dokumentaciju, upravljanje rizicima, zapisivanje i mehanizme ljudskog nadzora.
Ako je potrebna ocjena prijavljenog tijela, treba je planirati znatno prije roka. Sam postupak ocjene sukladnosti ima pripremne zahtjeve koje mnoge tvrtke podcjenjuju.
Istraživanje organizacije Cloud Security Alliance pokazalo je važnu razliku. Tvrtke s postojećim praksama upravljanja umjetnom inteligencijom brže se prilagođavaju zahtjevima Akta od onih koje kreću od nule.
Osim toga, struktura koju propis zahtijeva dobra je i za svakodnevno upravljanje sustavima. To uključuje dokumentirano upravljanje rizicima, kontrolirane prakse rada s podacima, stvaran ljudski nadzor i kontinuirano praćenje.
Organizacije koje to tretiraju samo kao obvezu napravit će minimum. S druge strane, organizacije koje iskoriste ovaj proces za razumijevanje vlastitih sustava bit će u boljoj poziciji. To vrijedi čak i ako regulator nikada ne pokuca na vrata.
Postoji i poslovna dimenzija. Nabavni timovi velikih poduzeća u EU-u već procjenjuju pristup upravljanju umjetnom inteligencijom.
To se događa kroz upitnike, sigurnosne provjere i razgovore na razini uprave. Tvrtke koje brže zatvaraju takve poslove mogu precizno odgovoriti. Ne moraju reći: “radimo na tome”.
Allmatics pomaže tvrtkama razumjeti tehničku, podatkovnu, proizvodnu i operativnu spremnost njihovih sustava umjetne inteligencije. To uključuje početni popis sustava, mapiranje rizika, analizu nedostataka i planiranje otklanjanja. Pravno tumačenje obveza prema Aktu o umjetnoj inteligenciji treba potvrditi s kvalificiranim pravnim stručnjacima kada je to potrebno. Ako želite razumjeti svoju trenutačnu poziciju prije nego što klijenti ili regulatori počnu postavljati pitanja, javite nam se.