Machine Learning în politici & scoruri: calibrare mai bună, decizii mai curate
Secțiunea 6 · Lecția 2 — Machine Learning în politici & scoruri: calibrare mai bună, decizii mai curate
Dacă predictive analytics este radarul (vezi devreme), atunci Machine Learning în politici și scoruri este volanul fin (corectezi direcția). Nu schimbi tot sistemul.
Îl calibrezi: cut-off-uri mai inteligente, praguri mai stabile, reguli mai curate, mai puține excepții, și mai multă consistență între echipe.
În lecția asta intrăm în “motor”: ce înseamnă un scor (și ce nu), cum îl monitorizezi (drift, PSI, stabilitate), cum alegi praguri (approval / pricing / monitoring), cum folosești ML ca să reduci noise și să crești puterea predictivă fără să pierzi controlul și explicabilitatea.
0) Ideea centrală: “modelul nu decide; politica decide”
Un scor bun poate fi impresionant pe slide: AUC, Gini, KS, lift.
Dar în realitate, organizația nu trăiește din metrici. Trăiește din decizii.
Iar deciziile sunt produse de politică: praguri, reguli, excepții, autorități, escaladare.
Machine Learning devine relevant când îl folosești ca să îmbunătățești politica: mai puține erori sistematice, mai multă consistență, mai puțin ad-hoc.
Altfel, riști să creezi un model “tare”, dar o politică în continuare “moale”.
Scorul îți dă semnal. Politica îți dă acțiune. Câștigi când le legi într-un sistem repetabil.
1) Ancoră: ce evaluăm de fapt în credit (pierdere potențială + capital/provizioane)
Înainte să construim “scoruri”, reamintim scopul: riscul de credit înseamnă șansa ca împrumutul (principal + dobândă) să nu fie rambursat, iar evaluarea riscului urmărește
estimarea pierderilor așteptate și neașteptate pentru provizioane și capital.
Asta înseamnă că modelul trebuie să fie nu doar “bun pe istoric”, ci și util în guvernanță:
să poți decide, să poți explica, să poți monitoriza.
2) Ce este un scor (și ce nu este): “probabilitate, nu adevăr”
Un scor de credit este o estimare: probabilitatea de default (PD) sau un ranking relativ al riscului.
Nu este un verdict moral și nu este o profeție.
E o unealtă care îți permite să compari clienți și să setezi praguri.
Un scor bun are trei calități:
(1) discriminează (separă bine good vs bad),
(2) e stabil (nu se rupe când se schimbă distribuțiile),
(3) e guvernabil (poți explica și monitoriza).
🎯 6 mituri despre scoruri (și adevărul din spate)
- Mit: “Scorul decide.” Adevăr: politica decide; scorul informează.
- Mit: “AUC mare = risc mic.” Adevăr: AUC mare = separare bună, dar poate fi instabil în timp.
- Mit: “Modelul complex e mereu mai bun.” Adevăr: uneori complexitatea aduce overfit și drift.
- Mit: “Dacă modelul e bun, nu ai nevoie de excepții.” Adevăr: excepțiile există, dar trebuie guvernate.
- Mit: “Explicabilitatea strică performanța.” Adevăr: poți obține compromis bun (scorecards + GBM limitat).
- Mit: “PSI e doar un KPI.” Adevăr: PSI e alarmă de drift și poate cere recalibrare.
3) Politică + scor: “policy map” (cum traduci scorul în decizie)
Un scor fără policy map este ca un GPS fără reguli de trafic.
Policy map-ul definește: ce faci la scor bun, mediu, slab; ce faci la excepții;
ce faci la segmente sensibile; cum legi scorul de pricing și de monitorizare.
Într-o implementare matură, scorul nu e un singur prag.
Este o hartă cu zone:
auto-approve, review, decline (sau stop), plus zone de pricing și de covenants.
🗺️ Policy map (template) — simplu, dar puternic
Alți factori: concentrare, industrie, structură, excepții, capital intensityZONE 1 — AUTO-APPROVE (Green):
– PD <= ___ / Scor >= ___
– condiții standard (doc, covenants, colateral)
– pricing standard + monitorizare normală
ZONE 2 — REVIEW (Amber):
– PD între ___ și ___ / Scor între ___ și ___
– underwriting întărit (analiză extra)
– condiții mai stricte (covenants / colateral / tenor)
– pricing premium + monitorizare mai frecventă
ZONE 3 — STOP / DECLINE (Red):
– PD > ___ / Scor < ___
– excepții doar cu aprobare specială + compensare (dacă e cazul)
EXCEPȚII (guarded):
– tipuri permise: ___
– buget excepții: ___
– compensare obligatorie: pricing/structură/colateral
Policy map-ul reduce fricțiunea: oamenii știu din start ce e “green”, ce e “review”, ce e “red”.
4) Cut-off-uri: cum le alegi fără să “optimizezi greșit”
Alegerea pragurilor este locul unde business și risk se pot ciocni.
Business-ul vrea approval rate mai mare, risk-ul vrea default rate mai mic.
Cheia este să alegi praguri în funcție de:
targeturi risk-adjusted, capital, capacitate operațională (cât poți review-ui), și stabilitate (să nu schimbi pragul lunar).
Un prag bun nu este doar “cel care maximizează AUC”.
Este pragul care dă un compromis robust: approval rate ok, pierdere controlată, și calitate stabilă în timp.
🧠 6 reguli practice pentru cut-off-uri “sănătoase”
- Nu seta un singur prag: folosește zone (auto/review/stop).
- Leagă pragul de capacitate: cât underwriting poți procesa în “review”?
- Include capital lens: un segment capital-heavy cere prag mai conservator sau pricing premium.
- Test pe ani: pragul trebuie să funcționeze în perioade diferite (boom/stress).
- Stabilizează: schimbă praguri rar, pe baza drift-ului semnificativ (nu pe noise lunar).
- Definește excepții: prag fără excepții controlate va genera ocoliri informale.
5) ML în scoruri: unde chiar aduce valoare (și unde complică inutil)
ML poate aduce valoare reală când există non-linearități, interacțiuni între variabile, și semnale slabe care împreună devin puternice (ex: combinații de cashflow + leverage + trend).
Dar ML complică inutil când: datele sunt slabe, definițiile sunt instabile, sau organizația nu are guvernanță pentru monitorizare.
O regulă bună: începe cu un “baseline” guvernabil (scorecard / logistic), apoi adaugă ML controlat (GBM cu limitări, monotonic constraints, explainability), și păstrează policy map-ul clar.
⚙️ “Safe ML” pentru credit: 7 practici care păstrează controlul
- 1) Feature discipline: variabile stabile, definite, cu logică economică.
- 2) Monotonic constraints (unde e logic): mai mult leverage -> risc mai mare.
- 3) Calibration: nu doar ranking; asigură PD-uri calibrate pe segmente.
- 4) Explainability: top drivers per segment + global (SHAP sau proxy explain).
- 5) Reject inference / sample bias (dacă e relevant) — atenție la datele de aprobare.
- 6) Champion–Challenger: rulează în paralel, nu schimba brusc.
- 7) Monitoring pack: PSI + drift pe performanță + stability per an.
ML e util când crește semnalul fără să-ți distrugă guvernanța. Dacă nu-l poți explica și monitoriza, nu-l folosi în decizie.
6) Monitorizare: drift, PSI, degradare performanță (și ce faci când se întâmplă)
Modelele “îmbătrânesc”. Piața se schimbă, mixul se schimbă, comportamentul clienților se schimbă.
De aceea, un model bun vine cu un “monitoring pack”:
discriminare (Gini/KS),
calibrare (observed vs predicted),
stabilitate (PSI),
drift pe variabile cheie și pe segmente.
PSI (Population Stability Index) este un semnal clasic de drift: îți spune că distribuția s-a schimbat.
Nu îți spune automat că modelul e “rău”. Îți spune că trebuie să investighezi: s-a schimbat portofoliul (mix) sau s-a schimbat lumea (ciclu)?
📦 Monitoring pack (MVP) — ce urmărești lunar/trimestrial
– Bad rate pe benzi scor / rating
– Gini/KS (dacă ai suficient volum)
– Lift în top X% riscante2) Calibration:
– Observed vs Predicted PD (by band / segment)
– Bias (over/under-prediction)
3) Stability / Drift:
– PSI pe scor + PSI pe variabile cheie (top 10)
– Drift de mix (industry/segment/PD band)
4) Governance triggers:
– AMBER: PSI > ___ sau scădere performanță > ___ -> investigație + tightening
– RED: PSI > ___ (mare) sau degradare consistentă -> recalibrare / retraining / policy update
7) “Decizii mai curate”: cum reduce ML excepțiile și fricțiunea (dacă e implementat corect)
Excepțiile apar când politica nu se potrivește cu realitatea: fie e prea strictă pe un sub-segment, fie e prea permisivă pe altul. ML poate ajuta să “curăți” aceste zone:
identifici segmente unde modelul baseline greșește sistematic și ajustezi:
praguri segmentate, reguli de compensare, pricing, sau chiar features.
Atenție: segmentarea pragurilor nu trebuie să devină un labirint.
Scopul este să reduci excepțiile și să crești predictibilitatea, nu să creezi 40 de praguri.
🧽 5 tactici “curate” (care reduc excepțiile)
- Praguri pe zone, nu pe fiecare industrie: 2–3 praguri segmentate maximum.
- Compensare standard pentru excepții: pricing premium + covenants.
- Rules overlay pentru cazuri speciale (ex: concentrații, structură agresivă).
- Reject list explicit (red flags) — reduce negocierea.
- Champion–Challenger: vezi dacă noul set reduce excepțiile fără să crească bad rate.
Când excepțiile scad, cultura devine mai sănătoasă: regula devine regula, nu “negocierea”.
8) 🤖 Prompt-uri pentru calibrare și policy design (practic)
AI (LLM) nu îți calculează metrici dacă nu îi dai date, dar este excelent la:
structurat analiză, comparat scenarii, scris policy map, scris minute, și clarificat logică.
Aici sunt prompt-uri care te ajută să transformi output-ul analitic în decizie.
🤖 Prompt-uri “policy & model” (gata de folosit)
„Mai jos am un tabel cu scor/PD bands, approval rate, bad rate, și capital proxy pe fiecare bandă.
Propune un policy map cu 3 zone (auto/review/stop) astfel încât:
– approval să fie în jur de ___
– bad rate să rămână sub ___
– zona review să fie max ___% (capacitate underwriting)
Include și reguli de compensare pentru excepții. Nu inventa cifre.”
„Mai jos sunt trenduri pe PSI și pe performanță (Gini/KS și bad rate pe benzi).
Propune praguri AMBER/RED și acțiuni asociate (investigație, tightening, recalibrare).
Ton: policy, clar, auditabil.”PROMPT 3 — Explainability narativ (pentru comitet)
„Mai jos sunt top drivers global și pe segment (ex: SHAP summary).
Scrie o explicație scurtă pentru comitet:
– 3 factori cheie care cresc riscul
– 2 factori care reduc riscul
– ce înseamnă practic pentru policy (covenants/pricing/limitare)
Max 12 bullet-uri.”
LLM-ul este bun la structură și narativ. Pentru calcule, îi dai rezultatele din Excel/BI și îl pui să le interpreteze.
9) 📌 Copy/Paste: “Policy & Model Pack” (o pagină, implementabil)
Acesta este “pachetul” pe care îl poți folosi în comitet. O singură pagină care leagă:
model, praguri, excepții, monitorizare. Dacă îl poți prezenta în 5 minute, e bun.
– Tip: scorecard / ML (GBM) | Scope: ___ | Data cut: ___
– Ce prezice: PD / risk rank | Target definition (bad): ___2) Policy map (zones):
– Zone Green (auto-approve): scor >= ___ / PD <= ___
– Zone Amber (review): scor între ___ și ___ / PD între ___ și ___
– Zone Red (stop/decline): scor < ___ / PD > ___
3) Excepții (guarded):
– Tipuri permise: ___
– Buget excepții: ___ (nr/volum)
– Compensare obligatorie: pricing premium ___; covenants ___; colateral ___; tenor max ___
4) Monitoring triggers:
– PSI scor: AMBER > ___ | RED > ___
– Performance drift: AMBER (___) | RED (___)
– Acțiuni: investigație / tightening / recalibrare / champion–challenger
5) Ownership:
– Owner model: ___
– Owner policy: ___
– Frecvență review: lunar (monitoring) / trimestrial (policy) / anual (recalibrare)
10) Exercițiu: proiectează praguri + monitoring pentru un scor (fără să creezi haos)
Exercițiul final: primești (imaginar) un scor cu benzi și performance.
Trebuie să creezi un policy map, să setezi cut-off-uri, să definești excepții și monitoring.
Scopul: decizii curate, nu multe reguli.
🧪 Exercițiu (template complet) — 75–120 min
– Green: ________
– Amber: ________
– Red: ________PAS 2 — Capacitate underwriting:
– Max % în Amber (review): ____%
– Ce criterii extra verifici în Amber: ____________________PAS 3 — Excepții:
– Tipuri permise (max 3): ____________
– Compensare standard: pricing ___ / covenants ___ / colateral ___
PAS 4 — Monitoring triggers:
– PSI scor (AMBER/RED): ___ / ___
– Drift performanță (AMBER/RED): ___ / ___
– Acțiuni: investigație / tightening / recalibrare
PAS 5 — Executive summary (max 10 bullet-uri):
– De ce ai ales pragurile
– Ce impact are pe approval/review/stop
– Ce urmărești ca să confirmi că funcționează
Vezi răspuns orientativ (ce arată “matur”)
Un răspuns matur are 3 zone clare, review-ul ținut sub control (capacitate),
excepții puține cu compensare standard și monitoring simplu (PSI + performance drift).
Cel mai important: ownership și frecvență de review. Dacă nimeni nu “deține” modelul și politica, drift-ul e inevitabil.
În credit, “simplu și repetabil” bate “complex și fragil”.
11) Mini-quiz (consolidare) — răspunsurile sunt ascunse
Țintă: 18–28 minute.
1) Completează: Scorul informează, ________ decide.
Vezi răspuns
2) Adevărat/Fals: Un prag optim pe istoric este întotdeauna robust în viitor.
Vezi răspuns
3) Numește 3 componente din monitoring pack.
Vezi răspuns
4) Completează: PSI semnalează ________ (schimbare de distribuție) și cere investigație.
Vezi răspuns
5) De ce zone (Green/Amber/Red) sunt mai bune decât un singur cut-off?
Vezi răspuns
12) Checklist de final (output-ul lecției)
- Înțeleg rolul ML în politici și scoruri: calibrare + consistență + reducere excepții.
- Pot construi un policy map (Green/Amber/Red) și pot seta cut-off-uri robuste.
- Pot defini excepții “guarded” cu compensare standard.
- Am un monitoring pack MVP (performance, calibrare, PSI/drift, triggers AMBER/RED).
- Pot folosi AI pentru policy design, narativ explicabil și minute/audit trail.
Recap rapid (de ținut minte)
ML în credit nu este despre “model magic”, ci despre decizii mai curate:
policy map clar, praguri robuste, excepții controlate și monitorizare disciplinată.
Un model bun este guvernabil: explicabil, stabil și legat de acțiuni (triggers).
🗺️ Policy map
🎚️ Cut-offs
📉 PSI
🧾 Monitoring
🧼 Decizii curate
Să optimizezi praguri lunar după noise. Pragurile trebuie să fie stabile; reacția se face prin ladder, nu prin panică.
📝 Mini-quiz final (10–14 minute)
1) Alege 1: Cel mai important lucru pentru un model folosit în decizie este:
Vezi răspuns
2) Completează: Champion–Challenger înseamnă că rulezi modele ________ înainte să schimbi politica.
Vezi răspuns
3) Adevărat/Fals: Dacă PSI crește, automat modelul trebuie aruncat.