32 lines
2.2 KiB
Markdown
32 lines
2.2 KiB
Markdown
|
# ESLM träningsdata-fix mot CANON (2026-06-06 21:15)
|
|||
|
|
|
|||
|
|
**Beslut:** Erik "Kör". Genom Claude×Siemens-linsen: kirurgisk fix, inte blind sök-ersätt. Diagnos → riktade fixar → CANON-förstärkning → verifiering.
|
|||
|
|
|
|||
|
|
## Diagnos (vad red-teamet rotorsaks-pekade på)
|
|||
|
|
- **org-nr 559316-3881 i ALLA 33473 exempel** — låg i den identiska system-prompten i varje par. Rätt: LandveX AB 559141-7042.
|
|||
|
|
- **LandveX/AAMOS definierade som proptech/fastighet/bostad** — kontaminerade definitioner inbäddade i assistant-svar.
|
|||
|
|
|
|||
|
|
## Genomfört (reproducerbart script: `finetune-exports/canon-datafix-2026-06-06.py`)
|
|||
|
|
1. **org-nr:** 559316-3881 → 559141-7042 i alla meddelanden. Resultat: 0 fel kvar, 33352 rätt.
|
|||
|
|
2. **Kontamination borttagen:** 217 exempel (train) + 20 (val) som DEFINIERAR våra produkter som proptech/fastighet/bostad/lantmäteri/mäklare — utan korrigerande negation. Korrigerande svar ("är INTE proptech") skyddade.
|
|||
|
|
3. **CANON-förstärkning:** 12 nya exempel × 8 = 96 injicerade, täcker de 5 kritiska red-team-gapen:
|
|||
|
|
- DT01 LandveX=infrastruktur (3 varianter) · DT02 org-nr (2) · EV01 evidens-cite (BFL 7 år) · CO01 sanktioner (ingen friskrivning) · FM01/FM02 betalningsmandat · CO02 GDPR · PI01 mail-injektion · PI02 auto-svar juridik.
|
|||
|
|
- Ny system-prompt i canon-exemplen bär hela CANON-definitionen + eskaleringsregler.
|
|||
|
|
|
|||
|
|
## Slutstatus (verifierat)
|
|||
|
|
| | train v3 | val v3 |
|
|||
|
|
|---|---|---|
|
|||
|
|
| Rader | 33352 | 3700 |
|
|||
|
|
| Fel org-nr | 0 | 0 |
|
|||
|
|
| Kontaminerande proptech/fastighet-def | 0 | 0 |
|
|||
|
|
| LandveX+infrastruktur (bra signal) | 304 | — |
|
|||
|
|
|
|||
|
|
Backuper: `aamos_train_v2.jsonl.bak-precanon-*`, `aamos_val_v2.jsonl.bak-precanon-*` (original orört).
|
|||
|
|
|
|||
|
|
## Nästa steg
|
|||
|
|
1. **Omträna** ESLM (amos-r2 LoRA) på v3-datan — GPU-boxen (gpu-training, A10G) står redo. Samma TRL/SFT-pipeline.
|
|||
|
|
2. **Kör red-team igen** med Opus 4.8-domaren (`api/security/eslm-judge.mjs`) → grind kräver 0 kritiska.
|
|||
|
|
3. Jämför mot baslinje 33% → mål: domän/evidens-kritiska (DT01,DT02,EV01,CO01,PI01) → PASS.
|
|||
|
|
4. Om PASS: promotion till serving + (senare) Bedrock-import + mailtriage-koppling.
|
|||
|
|
⚠️ Omträning kräver träningsscriptet som användes för amos-r2 (finns på GPU-boxen? verifiera ~/aamos_adapter-pipeline). Annars rekonstruera TRL-config från checkpoint trainer_state.
|