Bernt
05ed037fe8
- DNS: pilot.landvex.com -> 16.170.83.169 - TLS: Let's Encrypt certificate (expires 2026-09-30) - Nginx: reverse proxy with SSL termination - API: https://pilot.landvex.com/api/v1/missions - UI: https://pilot.landvex.com/ - Upload: POST /api/v1/missions/import (multipart/form-data) Verified: ✅ https://pilot.landvex.com/health ✅ https://pilot.landvex.com/version ✅ https://pilot.landvex.com/api/v1/missions (list) ✅ https://pilot.landvex.com/api/v1/missions/:id (get) ✅ POST /api/v1/missions/import (video upload) ✅ UI loads with title 'LandveX Intelligence Lab' Next: Pilot 001 — Break the system!
4.8 KiB
4.8 KiB
SIL Engineering Validation Program
v1.0 = Feature Complete. Nu börjar valideringsfasen. 6–8 veckors empirisk validering innan aktivering.
Översikt
| Fråga | Vad vi mäter | Hur vi mäter | Success-kriterium |
|---|---|---|---|
| 1. Hjälper SIL människor? | Tid till merge, regressionsbuggar, följsamhet | Logga beslut, jämför med/utan SIL | 20% färre regressionsfel |
| 2. Kan SIL motivera slutsatser? | Provenance completeness, förklaringskvalitet | Granska 50 slumpmässiga analyser | 90% av slutsatser fullt spårbara |
| 3. Robusthet mot förändring? | Graf-stabilitet vid refactoring | Simulerade förändringar | < 10% degradation vid refactoring |
| 4. Fungerar på okänt projekt? | Korrekthet på open source-projekt | Testa på 3 externa projekt | > 70% recall på nya projekt |
Fråga 1: Hjälper SIL verkligen människor?
Metriker
Tid från PR till merge:
Med SIL: X timmar
Utan SIL: Y timmar
Förbättring: (Y-X)/Y
Regressionsbuggar efter merge:
Med SIL: A
Utan SIL: B
Förbättring: (B-A)/B
Följsamhet:
Utvecklare följer SIL:s rekommendation: P%
Utvecklare ignorerar SIL:s rekommendation: Q%
Rätt vs fel:
SIL rätt, utvecklare fel: R%
Utvecklare rätt, SIL fel: S%
Implementation
validation/human-impact.mjs— Logga och analysera mänsklig interaktionvalidation/decision-log.jsonl— Varje beslut med utfall
Fråga 2: Kan SIL motivera sina slutsatser?
Checklista per slutsats
✅ Vilken regel användes?
✅ Vilka observationer användes?
✅ Vilka artefakter användes?
✅ Vilka noder traverserades?
✅ Hur stor del var verifierad?
✅ Hur stor del var inferens?
Implementation
validation/provenance-audit.mjs— Granska 50 slumpmässiga analyservalidation/provenance-score.mjs— Betygsätt completeness 0-100%
Fråga 3: Hur robust är SIL mot förändring?
Simulerade förändringar
1. Byt namn på tjänster
2. Flytta kod mellan paket
3. Dela upp moduler
4. Lägg till nya beroenden
5. Ändra katalogstruktur
6. Introducera avsiktliga arkitekturavvikelser
Implementation
validation/robustness-test.mjs— Kör simulerade förändringarvalidation/refactoring-simulator.mjs— Simulera refactoring-scenarier
Fråga 4: Kan SIL analysera ett okänt projekt?
Testprojekt
1. Ett medium-stort Node.js-projekt (t.ex. Express)
2. Ett medium-stort Python-projekt (t.ex. FastAPI)
3. Ett medium-stort Go-projekt (t.ex. Gin)
Process
1. SIL bygger graf från kod
2. Identifierar beroenden
3. Analyserar en historisk PR
4. Föreslår tester
5. Uppskattar blast radius
6. Jämför med verklighet
Implementation
validation/external-project-test.mjs— Testa på open source-projektvalidation/cross-project-metrics.mjs— Jämför metriker mellan projekt
Två-lagers arkitektur
┌─────────────────────────────────────────┐
│ PROBABILISTISKT LAGER │
│ LLM-resonemang, heuristik, │
│ uppskattningar, rekommendationer │
│ Confidence: < 0.99 │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ DETERMINISTISKT LAGER │
│ Graf, regler, AST, beroenden, │
│ policyer, verifierbara fakta │
│ Confidence: 0.99-1.00 │
└─────────────────────────────────────────┘
Beslutsmotor redovisar:
Slutsats: "Wallet påverkar Stripe"
Confidence: 0.95
Källa:
70% deterministiskt (AST-verifierat beroende)
30% probabilistiskt (heuristik baserad på namnkonvention)
Verifierad: Ja (AST)
Infererad: Nej
Tidsplan
| Vecka | Fokus |
|---|---|
| 1-2 | Fråga 1: Logga mänsklig interaktion, samla baseline |
| 3-4 | Fråga 2: Provenance-granskning, förbättra spårbarhet |
| 5-6 | Fråga 3: Robusthetstester, simulerade förändringar |
| 7-8 | Fråga 4: Externa projekt, tvärsnittsanalys |
| 9 | Sammanställning, go/no-go beslut |
Success-kriterier för v1.0
| Kriterium | Mål |
|---|---|
| Färre regressionsfel | 20% minskning |
| Snabbare merge | 15% förbättring |
| Provenance completeness | > 90% |
| Robusthet vid refactoring | < 10% degradation |
| Recall på nya projekt | > 70% |
| Utvecklarnas förtroende | > 60% följer rekommendationer |
Engineering Validation Program "Visa att det fungerar, inte bara att det är snyggt"