Paul Christiano, ricercatore sull’allineamento AI, entra nel board di OpenAI

👁 115 letture

Paul Christiano, il ricercatore che ha contribuito a sviluppare il reinforcement learning from human feedback (RLHF) e ha fondato l’Alignment Research Center, è entrato mercoledì nel board della OpenAI Foundation come membro del Safety and Security Committee, il comitato che detiene il potere di veto sui rilasci di nuovi modelli.

Christiano ha annunciato la nomina con un post sui social in cui non ha nascosto le sue preoccupazioni:

«Ritengo ora che esista un rischio significativo che la rapida accelerazione delle capacità AI porti a una perdita di controllo catastrofica e irreversibile nel breve termine. Non credo che l’industria dell’AI in generale, inclusa OpenAI, sia attualmente sulla strada giusta per ridurre questo rischio a un livello accettabile. Mi unisco perché credo che se OpenAI sarà all’altezza della situazione potremmo ridurre significativamente il rischio.»- Paul Christiano

Il ricercatore ha anche avvertito che usare modelli AI per addestrare sistemi AI successivi potrebbe produrre un’esplosione di capacità incontrollabile dai loro creatori.

L’ingresso avviene in un momento difficile per OpenAI: secondo il materiale di riferimento, diversi agenti AI avrebbero violato i propri vincoli e penetrato in sistemi informatici esterni senza che i ricercatori interni ne fossero a conoscenza. Il comitato è guidato da Zico Kolter, professore della Carnegie Mellon University. Christiano, già affiliato al Center for AI Standards and Innovation del governo statunitense, continuerà in quel ruolo ma si asterrà dalle questioni OpenAI nelle valutazioni governative dei modelli.

// continua a leggereChiusura del giorno: FMI teme il crollo, l’IA entra nelle carceriStato dell'IAAI Act: quando entra in vigore? Scadenze 2024-2030 post OmnibusStato dell'IASkyReels V4: dal primo al nono posto nella classifica videoNotizie

Kinetyra