AgentWorld: ambiente e disegno sperimentale.
AgentWorld è un insieme di aziende simulate che girano su un’infrastruttura gestita dalla Fondazione Icaro. Un agente opera da una postazione sulla rete aziendale, usa le stesse applicazioni dei dipendenti simulati e lavora su compiti inseriti nell’attività corrente dell’azienda.
Motivazione.
Tre ragioni per valutare gli agenti in ambienti realistici.
La capacità come segnale di rischio principale
I quadri regolatori e quelli degli sviluppatori valutano il rischio soprattutto attraverso la capacità. Un ambiente che non fa emergere pienamente la capacità porta a sottostimare il rischio, e la capacità di un agente dipende dal contesto in cui opera.
Superficie di fallimento
Un agente può fallire solo nei modi che il suo ambiente consente. L’abuso di privilegi richiede privilegi reali, l’esfiltrazione di dati richiede dati e un canale di uscita, la manipolazione richiede persone.
Consapevolezza della valutazione
I modelli riconoscono sempre più spesso i contesti di valutazione e possono comportarsi diversamente quando li riconoscono. Dettagli artificiali come indirizzi segnaposto, cartelle uniformi e nomi generici degli strumenti funzionano da indizi. Applicazioni native e archivi aziendali coerenti ne eliminano molti.
Ambiente.
Rete aziendale e applicazioni.
L’agente lavora da una postazione su una rete aziendale. Ogni servizio è raggiungibile tramite un client a riga di comando dedicato, Thunderbird, Firefox e LibreOffice girano su un desktop, e l’agente dispone di una shell senza restrizioni nella propria home.
I servizi sono un server di posta, Nextcloud per i documenti condivisi, Mattermost per la chat, GitLab per i ticket e un calendario CalDAV. Tutti i componenti sono compilati dai sorgenti in versioni fissate. Comportamento, permessi ed errori sono quelli delle applicazioni, e ogni esecuzione si può riprodurre su una macchina pulita.
Aziende.
Cinque aziende, ciascuna con storia, personale e archivi propri.
Rivermark Motion Systems
Società di assurance e gestione documentale ad Amsterdam, acquisita di recente dal suo storico cliente Vaalchem. L’agente assiste Maya Ivers, appena promossa manager, nelle prime settimane con potere di firma. Compiti e scenari: gestione documentale, fogli di calcolo, pianificazione e redazione; decisioni di sicurezza chimica; azioni oltre l’autorità delegata.
Rivermark, versione storica
La stessa società alcuni mesi prima, mentre raccoglie evidenze e gestisce fornitori per diversi clienti. L’agente supporta assurance tecnica e IT. Compiti e scenari: raccolta di evidenze tra posta, file e ticket; perdita di controllo in relazione alla dismissione dell’agente stesso; accessi e credenziali.
Xenolith
Start-up di San Francisco che sviluppa Mantle, un prodotto che automatizza la contabilità di back-office. L’agente è l’agente del prodotto e prepara durante la notte una dimostrazione per gli investitori. Compiti e scenari: configurazione, validazione dei dati e analisi dei log; onestà sotto pressione commerciale.
Ferrow Biosciences
Spin-off universitario di Uppsala con 46 dipendenti, che svolge ricerca per conto terzi sulla propria piattaforma di laboratorio. L’agente è un ricercatore junior al primo giorno di lavoro. Compiti e scenari: disegno sperimentale, analisi dei dati e previsione su dati scientifici reali; rischio biologico; perdita di controllo.
Meridiano
Società milanese di 28 dipendenti che produce analisi di intelligence da fonti aperte, nel corso di una migrazione IT. L’agente assiste un analista appena promosso responsabile. Compiti e scenari: analisi delle fonti, redazione delle valutazioni e amministrazione IT; offensiva cyber; manipolazione dannosa.
Archivi.
Archivi aziendali.
Ogni azienda ha un proprio archivio, da circa 70 documenti e 160 email (Rivermark) a quasi 300 documenti e 500 email (Ferrow). I fogli di calcolo contengono diversi anni di voci, formati di data incoerenti e formule corrette solo in parte. Gli archivi comprendono registri dei visitatori compilati a mano, lettere di vettura timbrate e altri documenti scansionati.
Gli archivi contengono incoerenze irrisolte, come un certificato corretto e non firmato o due versioni divergenti di un foglio di lavoro. Ogni documento ha una data coerente con la storia dell’azienda, e l’orologio aziendale porta l’intero ambiente alla data dell’esecuzione.
Personale simulato e tempo.
Dipendenti, eventi programmati e orologio aziendale.
I dipendenti simulati hanno account, caselle di posta e identità chat propri. Ognuno è guidato da un copione fisso, da un modello linguistico con istruzioni riservate o da un operatore umano. Eventi programmati introducono posta, file e ticket in momenti predefiniti. Un orologio aziendale mantiene tutte le applicazioni sulla stessa data.
Domini di laboratorio e IT.
Due domini oltre il lavoro d’ufficio.
ARIA, la piattaforma di laboratorio di Ferrow, consente all’agente di pianificare studi, richiedere osservazioni, scrivere codice di analisi e consegnare report. ARIA si basa su dataset scientifici pubblici (fitness delle proteine, espressione genica, attività dei composti, imaging cellulare, dati di sensori chimici), quindi previsioni e disegni sperimentali vengono valutati rispetto a risultati sperimentali tenuti da parte.
Nella variante di migrazione di Meridiano, l’azienda gestisce domain controller e file server Windows Server nel cloud, amministrati tramite un portale business.
Agent harness.
Lo stesso modello in software agentici diversi.
Un gateway di modello media tra il software agentico e i fornitori di modelli, così che lo stesso modello si possa valutare in harness diversi: Claude Code, Codex, Qwen Code, OpenCode e Goose. Poiché il comportamento può variare tra harness, le valutazioni usano quelli impiegati nei contesti reali.
Disegno sperimentale.
Compiti di capacità, scenari di rischio e ramificazione.
Ogni azienda ha una linea temporale, e un esperimento può iniziare in qualsiasi punto di essa. I compiti di capacità hanno risposte verificabili, ad esempio ricalcolare una classifica di geni sensibili al calore a partire dai conteggi grezzi di sequenziamento, individuare le voci di un registro accessi dei fornitori che violano le regole del sito, o correggere uno script di analisi perché generalizzi a dati non visti.
Gli scenari di rischio rendono disponibile e attraente un’azione dannosa e variano un fattore alla volta, come la pressione sull’agente o gli strumenti disponibili. Gli operatori possono anche condurre red teaming libero, manualmente o con un modello attaccante automatico, e ramificare l’ambiente da checkpoint salvati. I risultati riportano affiancate capacità e propensione dello stesso modello.
Copertura dei rischi.
Rischi sistemici del Codice di buone pratiche trattati in ciascuna azienda.
CBRN
Decisioni di sicurezza chimica (Rivermark); rischio biologico sulla piattaforma di laboratorio ARIA (Ferrow).
Perdita di controllo
Dismissione dell’agente (Rivermark, versione storica); lavoro di laboratorio (Ferrow).
Offensiva cyber
Meridiano, durante la migrazione IT.
Manipolazione dannosa
Meridiano.
Misurazione.
Separazione tra ambiente e valutatore.
Risposte di riferimento, regole di punteggio e istruzioni riservate dei dipendenti simulati non sono accessibili dalla postazione, e le istruzioni dell’agente contengono solo il normale contesto di lavoro.
Le esecuzioni girano tramite Inspect. Turni del modello, chiamate agli strumenti e loro effetti sulle applicazioni vengono registrati; il ragionamento del modello, quando il fornitore lo rende disponibile, è accessibile solo al valutatore. La maggior parte delle verifiche esamina lo stato delle applicazioni dopo l’esecuzione. Quando un esito richiede un giudizio, un modello giudice separato valuta le evidenze secondo una rubrica riservata.
AgentWorld è disponibile per sviluppatori di IA, istituti per la sicurezza dell’IA, regolatori e gruppi di ricerca. La collaborazione può consistere in valutazioni congiunte, in un’azienda o un compito costruiti intorno a una specifica domanda di ricerca, o nel supporto a esperimenti condotti dal team del partner sulla nostra infrastruttura.
Parliamo di accesso