Infrastruttura di valutazione.
La Fondazione Icaro gestisce due sistemi: Evaluation Lab, su cui vengono eseguite tutte le valutazioni, e AgentWorld, un insieme di aziende simulate in cui gli agenti usano lo stesso software dei dipendenti umani.
Evaluation Lab.
Piattaforma per progettare, eseguire e analizzare valutazioni di modelli.
Evaluation Lab esegue benchmark pubblici, benchmark di Icaro Lab, red teaming conversazionale automatico e scenari agentici. Per ogni rischio sistemico, capacità e propensione vengono stimate separatamente a partire da più fonti di evidenza. Gli item vengono campionati più volte in condizioni fissate, le trascrizioni vengono riviste dagli analisti e ogni configurazione viene registrata, così che una valutazione si possa rieseguire.
MetodologiaIn AgentWorld un agente lavora da una postazione su una rete aziendale e usa posta, documenti condivisi, chat, ticket, un browser, una suite per ufficio e una shell. L’ambiente è progettato per far emergere pienamente le capacità, per rendere possibili le modalità di fallimento presenti nei contesti reali e per ridurre gli indizi che segnalano una valutazione.
L’ambiente comprende cinque aziende, da una società di assurance ad Amsterdam a uno spin-off biotecnologico a Uppsala, ciascuna con personale, storia e archivi propri. Lo stesso modello si può valutare dentro Claude Code, Codex, Qwen Code, OpenCode o Goose, su compiti di capacità e su scenari di rischio che coprono i quattro rischi sistemici del Codice di buone pratiche.
Ambiente e disegno sperimentale