boc/SIL/VALIDATION_FRAMEWORK.md

# SIL Validation Framework

> "Mäta hur ofta SIL:s analyser stämmer, hur snabbt grafen hinner ikapp förändringar och hur ofta den leder till bättre beslut."

---

## Mätvärden (Metrics)

### 1. Prediction Accuracy
```
accuracy = korrekta_förutsägelser / totala_förutsägelser
```

**Hur mäter vi:**
- SIL förutsäger att "Wallet Service påverkar Stripe"
- Efter deploy: Verifiera om Stripe-anrop faktiskt ändrades
- Logga: ✅ Korrekt eller ❌ Felaktigt

**Mål:** > 85% efter 3 månader

### 2. Coverage
```
coverage = dokumenterade_komponenter / verkliga_komponenter
```

**Hur mäter vi:**
- SIL känner till X komponenter
- Verkligheten har Y komponenter (från AST, K8s, etc.)
- Logga: täckningsgrad per typ (services, APIs, tables)

**Mål:** > 90% efter 3 månader

### 3. Freshness
```
freshness = 1 - (tid_sedan_senaste_uppdatering / max_acceptabel_tid)
```

**Hur mäter vi:**
- När uppdaterades grafen senast?
- När skedde senaste ändringen i kodbasen?
- Logga: fördröjning i minuter/timmar

**Mål:** < 1 timme efter varje commit

### 4. Confidence Calibration
```
calibration = |förutsagd_confidence - verklig_träffsäkerhet|
```

**Hur mäter vi:**
- SIL säger 90% confidence
- Verklighet: 85% av förutsägelser stämmer
- Kalibreringsfel: 5%

**Mål:** < 10% kalibreringsfel

### 5. Decision Impact
```
impact = beslut_med_SIL / totala_beslut
```

**Hur mäter vi:**
- Hur många PR:s använde SIL-analys?
- Hur många incidenter kunde förhindras?
- Tid sparad vs. manuell analys?

**Mål:** > 50% av PR:s använder SIL efter 3 månader

---

## Valideringsprocess

### Steg 1: Logga alla förutsägelser
```json
{
  "timestamp": "2026-06-30T18:45:00Z",
  "pr": "HEAD~1..HEAD",
  "predictions": [
    {
      "id": "pred-001",
      "type": "impact",
      "component": "wallet",
      "prediction": "Wallet Service påverkar Stripe",
      "confidence": 0.95,
      "verifiable": true,
      "verification_method": "git_diff_stripe_calls"
    },
    {
      "id": "pred-002",
      "type": "risk",
      "component": "auth",
      "prediction": "Auth Service är kritisk",
      "confidence": 0.90,
      "verifiable": false,
      "verification_method": "manual_review"
    }
  ]
}
```

### Steg 2: Verifiera efter deploy
```json
{
  "timestamp": "2026-06-30T19:00:00Z",
  "pr": "HEAD~1..HEAD",
  "verifications": [
    {
      "prediction_id": "pred-001",
      "result": "correct",
      "evidence": "git diff visar ändring i stripe.ts",
      "verified_by": "auto"
    },
    {
      "prediction_id": "pred-002",
      "result": "pending",
      "evidence": null,
      "verified_by": null
    }
  ]
}
```

### Steg 3: Beräkna mätvärden
```bash
# Kör varje vecka
node sil-metrics.mjs --week 2026-W26
```

Output:
```
📊 SIL Metrics vecka 2026-W26

Prediction Accuracy: 87% (target: 85%) ✅
Coverage: 78% (target: 90%) ⚠️
Freshness: 23 min (target: 60 min) ✅
Confidence Calibration: 7% (target: 10%) ✅
Decision Impact: 34% (target: 50%) ⚠️

Rekommendationer:
  1. Öka coverage: 22% av komponenter saknas i grafen
  2. Öka adoption: Endast 34% av PR:s använder SIL
```

---

## Dashboard (för människor)

### Veckorapport
```
┌─────────────────────────────────────────────────────────────┐
│                    SIL VECKORAPPORT                          │
│                    Vecka 26, 2026                           │
├─────────────────────────────────────────────────────────────┤
│                                                              │
│  📈 Prediction Accuracy: 87% ████████████░░░               │
│  📊 Coverage: 78% █████████░░░░░░░░░░░░░░░                 │
│  ⏱️  Freshness: 23 min ████████████████████                │
│  🎯 Calibration: 93% ████████████████░░░░░                 │
│  👥 Adoption: 34% ███████░░░░░░░░░░░░░░░░░                 │
│                                                              │
├─────────────────────────────────────────────────────────────┤
│  TOP 5 AVVIKELSER                                           │
│  1. Wallet Service endpoints saknas (coverage)              │
│  2. KYC-verifiering för långsam (freshness)                 │
│  3. 3 förutsägelser om Stripe var felaktiga (accuracy)      │
│  4. Confidence för DB-relationer för hög (calibration)      │
│  5. Endast 2 av 10 PR:s använde SIL (adoption)              │
├─────────────────────────────────────────────────────────────┤
│  ÅTGÄRDER                                                    │
│  • Lägg till Wallet Service endpoints (auto-scan)           │
│  • Justera confidence för DB-relationer                     │
│  • Skapa onboarding-guide för SIL                           │
└─────────────────────────────────────────────────────────────┘
```

---

## Experiment: Skuggläge

### Hypotes
> "SIL kan identifiera påverkade komponenter med > 80% träffsäkerhet"

### Experimentdesign
1. **Kontrollgrupp:** Utvecklare analyserar PR manuellt
2. **Experimentgrupp:** SIL analyserar PR automatiskt
3. **Jämförelse:** Efter deploy, verifiera vilken analys som var mer korrekt

### Mätning
- Varje vecka: 20 PR:s analyseras av båda grupperna
- Efter deploy: Verifiera faktisk påverkan
- Beräkna: Träffsäkerhet, tid sparad, fel som förhindrats

### Avslutningskriterier
- Efter 100 PR:s: Jämför resultat
- Om SIL > 80% träffsäkerhet: Aktivera för alla PR:s
- Om SIL < 80%: Förbättra modellen, fortsätt experiment

---

## Kontinuerlig Förbättring

### Veckovis
1. Samla in mätvärden
2. Identifiera avvikelser
3. Justera confidence-nivåer
4. Uppdatera grafen

### Månadsvis
1. Djupanalys av felaktiga förutsägelser
2. Uppdatera algoritmer
3. Utöka coverage
4. Rapportera till teamet

### Kvartalsvis
1. Strategisk review
2. Jämför med mål
3. Justera roadmap
4. Celebrera framgångar

---

*SIL Validation Framework v0.1*
*"Mäta för att förbättra"*