Model Risk Management & Validare — De la Model la Audit

CQTC

în

Machine Learning & AI, Matematică aplicată în risc, Programare, Risc management, Traseu de învățare

Last updated:

aprilie 14, 2026

În organizații moderne, modelele (de risc, scoring, forecast, pricing, ML) nu sunt doar “algoritmi” — sunt decizii codificate. Iar dacă nu sunt validate, monitorizate și guvernate, ele devin o sursă de risc operațional, reputațional și financiar.

Acest curs te învață cum să construiești un cadru complet de Model Risk Management (MRM) — astfel încât modelele să fie audit-ready, să reziste la schimbări de date / piață și să fie înțelese de stakeholderi (business, management, control intern).

Ce vei învăța la cursul Model Risk Management & Validare:

Să înțelegi ciclul de viață (lifecycle-ul) complet al unui model: dezvoltare → aprobare → utilizare → monitorizare → modificare → retragere;
Să validezi corect performanța: discriminare, calibrare, backtesting și benchmark/challenger;
Să proiectezi un pachet de monitorizare (stabilitate, drift, praguri, escaladare, action log);
Să gestionezi explicabil, bias/fairness și overrides într-un mod controlat;
Să livrezi documentație audit-ready (Model Doc, Raport de Validare, Plan Monitorizare, Log-ul Modificărilor).

Curriculum (secțiuni și lecții)

Secțiunea 1 – Model Risk Management (MRM): fundația și “contractul” cu beneficiarul

Punem baza: ce este MRM, cum clasifici modelele și cum arată responsabilitățile într-un cadru sănătos.

1. Ce este Model Risk Management și de ce contează (model ≠ output)
2. Ciclul de viata al modelului: dezvoltare → aprobare → utilizare → monitorizare → modificare → retragere
3. Inventarul modelelor (niveluri de risc și ce impune fiecare)
4. Roluri și responsabilități: owner, developer, validator, user, aprobator (approver)

Secțiunea 2 – Date & reproducibilitate: condiția de “auditability”

Fără date și reproducibilitate, nu există validare credibilă. Înțelegem ce trebuie să fie “provabil”.

1. Trasabilitatea datelor (data lineage) pentru model (de la sursă la feature)
2. Calitatea datelor (data quality) minim necesar pentru validare (checks de bază)
3. Eșantionare, splitare, leakage: cum te ferești de “victorie falsă”
4. Pachet reproductibil: ce păstrezi ca dovadă (inputs/outputs/versioning)

Secțiunea 3 – Validare de performanță: discriminare & calibrare

Validarea nu înseamnă “un scor bun”, ci o verificare completă: performanță, calibrare și robustețe pe segmente.

1. Discriminare: AUC/ROC, KS, Gini – interpretare corectă
2. Calibrare: PD alignment, calibration curves, binning inteligent
3. Backtesting: ce verifici, când e fail, când e acceptabil cu acțiuni
4. Benchmarking & challenger: cum demonstrezi “best available”
5. Stabilitate Segmente: performanță pe clustere (industrie, mărime, produse)

Secțiunea 4 – Stabilitate & drift: monitorizare în producție

Construim o monitorizare practică (nu “teorie”), cu praguri, semafoare și plan de acțiuni.

1. Stabilitatea inputurilor (CSI) vs stabilitatea scorului (PSI)
2. Tipuri de drift: covariate shift, concept drift, label drift (pe înțeles)
3. Thresholds & traffic lights: praguri care nu blochează business-ul
4. Dashboard-UL de monitorizare: pachet lunar/trimestrial (ce intră obligatoriu)
5. Incidente de Model: triaj, RCA, plan remediere

Secțiunea 5 – Explicabilitate, bias & controale

Explicăm decizia modelului, controlăm “părtinirea (bias)” și punem reguli pentru overrides.