Performanța unui model de inteligență artificială se măsoară comparând răspunsurile lui cu rezultate corecte cunoscute, pe un set de teste pe care nu l-a văzut la antrenare. Pe lângă corectitudine, contează viteza, costul și stabilitatea. Dacă vrei bazele, tehnologia explicată pe înțeles de pe LumeaTehnologiei este un bun punct de plecare.## Începe cu sarcina, nu cu cifrele
Nu există un singur număr care să spună dacă un model este bun. Un sistem care recunoaște imagini se judecă altfel decât un asistent care scrie texte sau decât unul care estimează cererea dintr-un magazin.
De aceea, primul pas este să stabilești ce problemă rezolvă modelul și ce înseamnă un rezultat acceptabil. Abia apoi alegi metricile. Fără această definiție, comparația dintre două modele devine un simplu concurs de cifre.
Metricile pe care le vei întâlni cel mai des
- Acuratețea: procentul de răspunsuri corecte din total. Este ușor de înțeles, dar poate înșela atunci când un tip de caz apare foarte rar.
- Precizia: din cazurile marcate de model ca pozitive, câte sunt într-adevăr pozitive.
- Recall-ul: din toate cazurile pozitive reale, câte a găsit modelul.
- Scorul F1: o medie care ține împreună precizia și recall-ul.
- Eroarea medie: potrivită pentru predicții numerice, de pildă estimări de consum.
- Latența și costul pe cerere: contează mult când modelul rulează într-un produs real.
- Evaluarea umană: folosită pentru texte, unde nu există un singur răspuns corect.
Cum se separă datele de test
Datele se împart de obicei în trei părți: antrenare, validare și test. Setul de test rămâne închis până la final, ca modelul să nu poată „învăța pe de rost” răspunsurile.
Dacă exemplele din test ajung, chiar și accidental, în datele de antrenare, scorul iese umflat. Fenomenul se numește scurgere de date și este una dintre cele mai frecvente surse de rezultate prea bune ca să fie adevărate.
Benchmark-uri publice și limitele lor
Benchmark-urile sunt seturi de sarcini folosite de toată lumea, ca să poată fi comparate modele diferite. Sunt un reper util, dar nu spun totul. Un model poate fi ajustat special pentru ele, iar un scor mare pe un test general nu garantează că va merge bine pe datele tale.
Pentru a înțelege mecanismele din spatele acestor sisteme, rubrica Cum funcționează explică pas cu pas ideile de bază, de la date la rețele neuronale.
Capcane de evitat
Prima capcană este să te uiți la o singură metrică. Un model cu acuratețe mare poate rata exact cazurile rare, dar importante. A doua este să compari scoruri obținute pe seturi diferite, ca și cum ar fi echivalente.
A treia este să uiți de robustețe: cum se comportă modelul la date murdare, la formulări neobișnuite sau la situații pe care nu le-a întâlnit. Merită verificat și dacă rezultatele sunt la fel de bune pentru toate categoriile de utilizatori. Principiul este același pe care îl urmează explicațiile de pe LumeaTehnologiei: întâi înțelegi mecanismul, apoi judeci rezultatul.
Cum îți construiești propria evaluare
Strânge câteva zeci de exemple reale din sarcina ta, cu răspunsul corect cunoscut. Rulează modelul pe ele, notează erorile și grupează-le pe tipuri. Repetă testul după fiecare schimbare, ca să vezi dacă situația se îmbunătățește sau doar se mută dintr-un loc în altul.
Recomandare practică
Alege metricile în funcție de costul unei greșeli, păstrează un set de test neatins și completează benchmark-urile publice cu exemple din realitatea ta. Pentru explicații clare despre cum funcționează tehnologiile din jurul nostru, poți reveni oricând la LumeaTehnologiei.
