(1)   Sistemele de IA cu grad ridicat de risc respectă cerințele stabilite în prezenta secțiune, ținând seama de scopul lor preconizat, precum și de stadiul de avansare general recunoscut al IA și al tehnologiilor conexe IA. Sistemul de gestionare a riscurilor menționat la articolul 9 este luat în considerare atunci când se asigură respectarea cerințelor respective.

(2)   În cazul în care un produs conține un sistem de IA căruia i se aplică cerințele prezentului regulament, precum și cerințele din legislația de armonizare a Uniunii care figurează în anexa I secțiunea A, furnizorii au responsabilitatea de a se asigura că produsul lor respectă pe deplin toate cerințele aplicabile impuse de legislația aplicabilă de armonizare a Uniunii. Pentru a asigura conformitatea sistemelor de IA cu grad ridicat de risc menționate la alineatul (1) cu cerințele prevăzute în prezenta secțiune și pentru a asigura coerența, a evita suprapunerile și a reduce la minimum sarcinile suplimentare, furnizorii au posibilitatea de a integra, după caz, procesele de testare și raportare necesare, informațiile și documentația pe care le furnizează cu privire la produsul lor în documentația și procedurile deja existente și sunt impuse în temeiul legislației de armonizare a Uniunii care figurează în anexa I secțiunea A.

(1)   Se instituie, se pune în aplicare, se documentează și se menține un sistem de gestionare a riscurilor în legătură cu sistemele de IA cu grad ridicat de risc.

(2)   Sistemul de gestionare a riscurilor este înțeles ca un proces iterativ continuu planificat și derulat pe parcursul întregului ciclu de viață al unui sistem de IA cu grad ridicat de risc, necesitând în mod periodic actualizarea și revizuirea sistematică. Acesta cuprinde următoarele etape:

(3)   Prezentul articol se referă numai la riscurile care pot fi atenuate sau eliminate în mod rezonabil prin dezvoltarea sau proiectarea sistemului de IA cu grad ridicat de risc sau prin furnizarea de informații tehnice adecvate.

(4)   Măsurile de gestionare a riscurilor menționate la alineatul (2) litera (d) țin seama în mod corespunzător de efectele și interacțiunea posibilă care rezultă din aplicarea combinată a cerințelor prevăzute în prezenta secțiune, în vederea reducerii la minimum a riscurilor într-un mod mai eficace, obținându-se totodată un echilibru adecvat în punerea în aplicare a măsurilor de îndeplinire a cerințelor respective.

(5)   Măsurile de gestionare a riscurilor menționate la alineatul (2) litera (d) sunt de așa natură încât riscul rezidual relevant asociat fiecărui pericol, precum și riscul rezidual global al sistemelor de IA cu grad ridicat de risc să fie considerate a fi acceptabile.

La identificarea celor mai adecvate măsuri de gestionare a riscurilor se asigură următoarele:

În vederea eliminării sau reducerii riscurilor legate de utilizarea sistemului de IA cu grad ridicat de risc se acordă atenția cuvenită cunoștințelor tehnice, experienței, educației și formării preconizate din partea implementatorului, precum și contextului prezumtiv în care urmează să fie utilizat sistemul.

(6)   Sistemele de IA cu grad ridicat de risc sunt testate în scopul identificării celor mai adecvate măsuri specifice de gestionare a riscurilor. Testarea asigură faptul că sistemele de IA cu grad ridicat de risc funcționează într-un mod coerent cu scopul preconizat și că sunt conforme cu cerințele stabilite în prezenta secțiune.

(7)   Procedurile de testare pot include testarea în condiții reale, în conformitate cu articolul 60.

(8)   Testarea sistemelor de IA cu grad ridicat de risc se efectuează, după caz, în orice moment pe parcursul procesului de dezvoltare și, în orice caz, înainte de introducerea pe piață sau de punerea în funcțiune a acestora. Testarea se efectuează pe baza unor indicatori și a unor praguri probabilistice definite în prealabil, care sunt adecvate scopului preconizat al sistemului de IA cu grad ridicat de risc.

(9)   La punerea în aplicare a sistemului de gestionare a riscurilor descris la alineatele (1)-(7), furnizorii analizează dacă, având în vedere scopul său preconizat, sistemul de IA cu grad ridicat de risc este susceptibil să aibă un impact negativ asupra persoanelor cu vârsta sub 18 ani și, după caz, asupra altor grupuri vulnerabile.

(10)   Pentru furnizorii de sisteme de IA cu grad ridicat de risc care fac obiectul unor cerințe privind procesele interne de gestionare a riscurilor în temeiul altor dispoziții relevante din dreptul Uniunii, aspectele descrise la alineatele (1)-(9) pot face parte din procedurile de gestionare a riscurilor stabilite în temeiul legislației respective sau pot fi combinate cu acestea.

(1)   Sistemele de IA cu grad ridicat de risc care utilizează tehnici ce implică antrenarea de modele de IA cu date se dezvoltă pe baza unor seturi de date de antrenament, de validare și de testare care îndeplinesc criteriile de calitate menționate la alineatele (2)-(5) ori de câte ori sunt utilizate astfel de seturi de date.

(2)   Seturile de date de antrenament, de validare și de testare fac obiectul unor practici de guvernanță și gestionare a datelor adecvate scopului preconizat al sistemului de IA cu grad ridicat de risc. Practicile respective se referă în special la:

(3)   Seturile de date de antrenament, de validare și de testare sunt relevante, suficient de reprezentative, și pe cât posibil, fără erori și complete, având în vedere scopul preconizat. Acestea au proprietățile statistice corespunzătoare, inclusiv, după caz, în ceea ce privește persoanele sau grupurile de persoane în legătură cu care se intenționează să fie utilizat sistemul de IA cu grad ridicat de risc. Caracteristicile respective ale seturilor de date pot fi îndeplinite la nivelul seturilor de date individuale sau la nivelul unei combinații a acestora.

(4)   Seturile de date iau în considerare, în măsura impusă de scopul preconizat, caracteristicile sau elementele specifice cadrului geografic, contextual, comportamental sau funcțional specific în care este destinat să fie utilizat sistemul de IA cu grad ridicat de risc.

(5)   În măsura în care acest lucru este strict necesar pentru a asigura detectarea și corectarea prejudecăților în legătură cu sistemele de IA cu grad ridicat de risc în conformitate cu alineatul (2) literele (f) și (g) de la prezentul articol, furnizorii de astfel de sisteme pot prelucra în mod excepțional categoriile speciale de date cu caracter personal, sub rezerva unor garanții adecvate pentru drepturile și libertățile fundamentale ale persoanelor fizice. În plus față de dispozițiile prevăzute de Regulamentele (UE) 2016/679 și (UE) 2018/1725 și de Directiva (UE) 2016/680, pentru ca o astfel de prelucrare să aibă loc, trebuie să fie respectate toate condițiile următoare:

(6)   Pentru dezvoltarea sistemelor de IA cu grad ridicat de risc care nu utilizează tehnici care implică antrenarea de modele de IA, alineatele (2)-(5) se aplică numai seturilor de date de testare.

(1)   Documentația tehnică a unui sistem de IA cu grad ridicat de risc se întocmește înainte ca sistemul respectiv să fie introdus pe piață sau pus în funcțiune și se actualizează.

Documentația tehnică se întocmește astfel încât să demonstreze că sistemul de IA cu grad ridicat de risc respectă cerințele prevăzute în prezenta secțiune și să furnizeze autorităților naționale competente și organismelor notificate informațiile necesare într-un mod clar și cuprinzător, pentru a evalua conformitatea sistemului de IA cu cerințele respective. Aceasta conține cel puțin elementele prevăzute în anexa IV. IMM-urile, inclusiv întreprinderile nou-înființate, pot furniza într-o manieră simplificată elementele documentației tehnice specificate în anexa IV. În acest scop, Comisia stabilește un formular simplificat de documentație tehnică care vizează nevoile întreprinderilor mici și ale microîntreprinderilor. În cazul în care IMM-urile, inclusiv întreprinderile nou-înființate, optează să furnizeze informațiile solicitate în anexa IV într-o manieră simplificată, acestea utilizează formularul menționat la prezentul alineat. Organismele notificate acceptă formularul în scopul evaluării conformității.

(2)   În cazul în care este introdus pe piață sau pus în funcțiune un sistem de IA cu grad ridicat de risc legat de un produs care face obiectul actelor legislative de armonizare ale Uniunii care figurează în anexa I secțiunea A, se întocmește o singură documentație tehnică ce conține toate informațiile prevăzute la alineatul (1), precum și informațiile necesare în temeiul respectivelor acte juridice.

(3)   Comisia este împuternicită să adopte acte delegate în conformitate cu articolul 97 pentru a modifica anexa IV, atunci când este necesar, pentru a se asigura că, având în vedere progresul tehnic, documentația tehnică furnizează toate informațiile necesare pentru evaluarea conformității sistemului cu cerințele prevăzute în prezenta secțiune.

(1)   Sistemele de IA cu grad ridicat de risc permit din punct de vedere tehnic înregistrarea automată a evenimentelor (fișiere de jurnalizare) de-a lungul duratei de viață a sistemului.

(2)   Pentru a asigura un nivel de trasabilitate a funcționării sistemului de IA cu grad ridicat de risc care să fie adecvat scopului preconizat al sistemului, capabilitățile de jurnalizare permit înregistrarea evenimentelor relevante pentru:

(3)   În cazul sistemelor de IA cu grad ridicat de risc menționate în anexa III punctul 1 litera (a), capabilitățile de jurnalizare furnizează cel puțin:

(1)   Sistemele de IA cu grad ridicat de risc sunt proiectate și dezvoltate astfel încât să se asigure că funcționarea lor este suficient de transparentă pentru a permite implementatorilor să interpreteze rezultatele sistemului și să le utilizeze în mod corespunzător. Se asigură un tip și un grad adecvat de transparență, în vederea respectării obligațiilor relevante ale furnizorului și ale implementatorului prevăzute în secțiunea 3.

(2)   Sistemele de IA cu grad ridicat de risc sunt însoțite de instrucțiuni de utilizare într-un format digital adecvat sau în alt tip de format adecvat, care includ informații concise, complete, corecte și clare care sunt relevante, accesibile și ușor de înțeles pentru implementatori.

(3)   Instrucțiunile de utilizare conțin cel puțin următoarele informații:

(1)   Sistemele de IA cu grad ridicat de risc sunt proiectate și dezvoltate astfel încât, prin includerea de instrumente adecvate de interfață om-mașină, să poată fi supravegheate în mod eficace de către persoane fizice în perioada în care sunt utilizate.

(2)   Supravegherea umană are ca scop prevenirea sau reducerea la minimum a riscurilor pentru sănătate, siguranță sau pentru drepturile fundamentale, care pot apărea atunci când un sistem de IA cu grad ridicat de risc este utilizat în conformitate cu scopul său preconizat sau în condiții de utilizare necorespunzătoare previzibilă în mod rezonabil, în special în cazurile în care astfel de riscuri persistă în pofida aplicării altor cerințe prevăzute în prezenta secțiune.

(3)   Măsurile de supraveghere sunt proporționale cu riscurile specifice, cu nivelul de autonomie și cu contextul utilizării sistemului de IA cu grad ridicat de risc și se asigură fie prin unul dintre următoarele tipuri de măsuri, fie prin ambele:

(4)   În scopul punerii în aplicare a alineatelor (1), (2) și (3), sistemul de IA cu grad ridicat de risc este pus la dispoziția implementatorului astfel încât persoanelor fizice cărora li se încredințează supravegherea umană să li se permită, în funcție de următoarele și proporțional cu acestea:

(5)   În cazul sistemelor de IA cu grad ridicat de risc menționate în anexa III punctul 1 litera (a), măsurile menționate la alineatul (3) de la prezentul articol sunt de așa natură încât să asigure că, în plus, implementatorul nu ia nicio măsură sau decizie pe baza identificării care rezultă din sistem, cu excepția cazului în care identificarea respectivă a fost verificată și confirmată separat de cel puțin două persoane fizice care au competența, pregătirea și autoritatea necesare.

Cerința unei verificări separate de către cel puțin două persoane fizice nu se aplică sistemelor de IA cu grad ridicat de risc utilizate în scopul aplicării legii sau în domeniul imigrației, al controlului la frontiere ori al azilului, în cazurile în care dreptul Uniunii sau dreptul intern consideră că aplicarea acestei cerințe este disproporționată.

(1)   Sistemele de IA cu grad ridicat de risc sunt concepute și dezvoltate astfel încât să atingă un nivel adecvat de acuratețe, robustețe și securitate cibernetică și să funcționeze în mod consecvent în aceste privințe pe parcursul întregului lor ciclu de viață.

(2)   Pentru a aborda aspectele tehnice ale modului de măsurare a nivelurilor adecvate de acuratețe și robustețe prevăzute la alineatul (1) și orice alți indicatori de performanță relevanți, Comisia, în cooperare cu părți interesate și organizații relevante precum autoritățile din domeniul metrologiei și al etalonării încurajează, după caz, elaborarea de valori de referință și metodologii de măsurare.

(3)   Nivelurile de acuratețe și indicatorii de acuratețe relevanți ai sistemelor de IA cu grad ridicat de risc se declară în instrucțiunile de utilizare aferente.

(4)   Sistemele de IA cu grad ridicat de risc sunt cât mai reziliente posibil în ceea ce privește erorile, defecțiunile sau incoerențele care pot apărea în cadrul sistemului sau în mediul în care funcționează sistemul, în special din cauza interacțiunii lor cu persoane fizice sau cu alte sisteme. Se iau măsuri tehnice și organizatorice în acest sens.

Robustețea sistemelor de IA cu grad ridicat de risc poate fi asigurată prin soluții tehnice redundante, care pot include planuri de rezervă sau de funcționare în caz de avarie.

Sistemele de IA cu grad ridicat de risc care continuă să învețe după ce au fost introduse pe piață sau puse în funcțiune sunt dezvoltate astfel încât să elimine sau să reducă pe cât posibil riscul ca eventuale rezultate distorsionate de prejudecăți să influențeze datele de intrare pentru operațiunile viitoare (bucle de feedback) și să se asigure că orice astfel de bucle de feedback sunt abordate în mod corespunzător prin măsuri de atenuare adecvate.

(5)   Sistemele de IA cu grad ridicat de risc sunt reziliente în ceea ce privește încercările unor părți terțe neautorizate de a le modifica utilizarea, rezultatele sau performanța prin exploatarea vulnerabilităților sistemului.

Soluțiile tehnice menite să asigure securitatea cibernetică a sistemelor de IA cu grad ridicat de risc sunt adecvate circumstanțelor relevante și riscurilor.

Soluțiile tehnice pentru abordarea vulnerabilităților specifice ale IA includ, după caz, măsuri de prevenire, depistare, răspuns, soluționare și control în privința atacurilor ce vizează manipularea setului de date de antrenament (otrăvirea datelor) sau a componentelor preantrenate utilizate la antrenament (otrăvirea modelelor), a datelor de intrare concepute să determine modelul de IA să facă o greșeală (exemple contradictorii sau eludarea modelelor), a atacurilor la adresa confidențialității sau a defectelor modelului.