Center for AI Safety
|
|||||
| Dades | |||||
|---|---|---|---|---|---|
| Nom curt | CAIS  | ||||
| Tipus | organització centre de recerca | ||||
| Indústria | investigació | ||||
| Camp de treball | seguretat de la intel·ligència artificial i intel·ligència artificial | ||||
| Forma jurídica | organització 501(c)(3) | ||||
| Història | |||||
| Creació | 2022 | ||||
| Governança corporativa | |||||
| Seu | |||||
| Presidència | Dan Hendrycks (en)  (2022–) | ||||
| Lloc web | safe.ai | ||||
El Center for AI Safety (CAIS) és una organització sense ànim de lucre estatunidenca amb seu a San Francisco que promou el desenvolupament i desplegament segur de la intel·ligència artificial. La tasca del CAIS abasta la recerca en seguretat tècnica de la IA i ètica de la IA, la defensa i el suport per fer créixer el camp de la recerca en seguretat de la IA.[1][2] Va ser fundada el 2022 per Dan Hendrycks i Oliver Zhang.[3]
El maig de 2023, el CAIS va publicar la declaració sobre el risc d'extinció de la IA signada per centenars de professors d'IA, líders de les principals empreses d'IA i altres figures públiques.[4][5][6][7]
Recerca
[modifica]Investigadors del CAIS han publicat "Una visió general dels riscos catastròfics de la IA", que detalla escenaris de risc i estratègies de mitigació de riscos. Els riscos descrits inclouen l'ús de la IA en la guerra autònoma o per a l'enginyeria de pandèmies, així com les capacitats de la IA per a l'engany i la pirateria informàtica.[8] Un altre treball, dut a terme en col·laboració amb investigadors de la Universitat Carnegie Mellon, va descriure una manera automatitzada de descobrir atacs adversaris de grans models de llenguatge, que eludeixen les mesures de seguretat, destacant la insuficiència dels sistemes de seguretat actuals.[9]
Activitats
[modifica]El 2023, la declaració del CAIS sobre el risc d'extinció de la IA va obtenir el suport de Dario Amodei d' Anthropic, Sam Altman d'OpenAI i altres líders de la indústria de la IA.[10][11] Altres iniciatives inclouen un clúster de computació per donar suport a la recerca en seguretat de la IA, un curs en línia titulat "Introducció a la seguretat de l'aprenentatge automàtic" i una beca per a professors de filosofia per abordar problemes conceptuals.[12] El Centre per a la Seguretat de la IA (Center for AI Safety Action Fund) és un dels patrocinadors del projecte de llei de Califòrnia SB 1047, la Llei d'Innovació Segura i Protegida per a Models d'Intel·ligència Artificial Fronterera.[13]
Referències
[modifica]- ↑ «AI poses risk of extinction, tech leaders warn in open letter. Here's why alarm is spreading» (en anglès americà). USA TODAY, 31-05-2023.
- ↑ «Our Mission | CAIS» (en anglès). www.safe.ai. [Consulta: 13 abril 2023].
- ↑ Edwards, Benj. «OpenAI execs warn of "risk of extinction" from artificial intelligence in new open letter» (en anglès). Ars Technica, 30-05-2023.
- ↑ Center for AI Safety's Hendrycks on AI Risks, 31 May 2023, <https://www.bloomberg.com/news/videos/2023-05-31/center-for-ai-safety-s-hendrycks-on-ai-risks-video>
- ↑ «Artificial intelligence warning over human extinction – all you need to know» (en anglès). The Independent, 31-05-2023. [Consulta: 3 juny 2023].
- ↑ Lomas, Natasha. «OpenAI's Altman and other AI giants back warning of advanced AI as 'extinction' risk» (en anglès americà). TechCrunch, 30-05-2023. [Consulta: 3 juny 2023].
- ↑ Castleman, Terry. «Prominent AI leaders warn of 'risk of extinction' from new technology» (en anglès americà). Los Angeles Times, 31-05-2023. [Consulta: 3 juny 2023].
- ↑ Scharfenberg, David. «Dan Hendrycks from the Center for AI Safety hopes he can prevent a catastrophe» (en anglès americà). The Boston Globe, 06-07-2023. [Consulta: 9 juliol 2023].
- ↑ «Universal and Transferable Attacks on Aligned Language Models». llm-attacks.org. [Consulta: 27 juliol 2023].
- ↑ Edwards, Benj. «OpenAI execs warn of “risk of extinction” from artificial intelligence in new open letter» (en anglès). Ars Technica, 30-05-2023. [Consulta: 10 març 2026].
- ↑ «"Statement on AI Risk"» (en anglès). The Public Interest Technologist, 15-08-2023. [Consulta: 10 març 2026].
- ↑ Scharfenberg, David. «Dan Hendrycks from the Center for AI Safety hopes he can prevent a catastrophe» (en anglès americà). The Boston Globe, 06-07-2023. [Consulta: 9 juliol 2023].
- ↑ «Senator Wiener Introduces Legislation to Ensure Safe Development of Large-Scale Artificial Intelligence Systems and Support AI Innovation in California» (en anglès). Senator Scott Wiener, 08-02-2024. [Consulta: 28 juny 2024].