Sam Altman deixa o comitê de segurança da OpenAI

Tudo sobre ChatGPT

Tudo sobre OpenAI

Sam Altman, CEO da OpenAI, deixará o comitê interno de segurança criado pela empresa em maio para supervisionar decisões críticas relacionadas à segurança de seus projetos e operações. Em uma publicação no blog da OpenAI, a empresa revelou que o comitê de segurança será transformado em um grupo independente de supervisão, liderado pelo professor Zico Kolter, da Carnegie Mellon University.

Outros membros incluem Adam D’Angelo, CEO do Quora, o General aposentado Paul Nakasone, do Exército dos EUA, e a ex-vice-presidente da Sony, Nicole Seligman. Todos já faziam parte do conselho de administração da OpenAI.

Após a saída de Altman, o comitê — chamado Safety and Security Committee — conduziu uma revisão de segurança do o1, o modelo de inteligência artificial (IA) mais recente da OpenAI. Segundo a empresa, o grupo continuará recebendo relatórios periódicos das equipes de segurança e manterá o poder de adiar lançamentos caso as preocupações de segurança não sejam resolvidas.

o1 é o mais novo modelo da OpenAI. (Imagem: OpenAI)

Responsabilidades do Comitê de Segurança da OpenAI

O Safety and Security Committee terá a função de acompanhar avaliações técnicas de modelos atuais e futuros, além de monitorar o desempenho das IAs após seus lançamentos. A OpenAI afirmou que está aprimorando seus processos de lançamento, buscando critérios claros de sucesso para garantir a segurança e a integridade desses modelos.

Principais recomendações de segurança

A postagem no blog da OpenAI detalhou cinco áreas de melhoria nas práticas de segurança e governança que serão implementadas após uma revisão de 90 dias feita pelo comitê:

1. Governança independente de segurança: o SSC se tornará um comitê independente de supervisão do conselho, responsável por monitorar os processos de segurança da OpenAI para o desenvolvimento e implantação de modelos de IA. O comitê tem a autoridade de adiar lançamentos de modelos caso identifique riscos de segurança.
2. Aprimoramento de medidas de segurança: a OpenAI está expandindo suas operações de segurança para lidar com os riscos crescentes associados ao desenvolvimento de IA. Entre as iniciativas, a empresa está estudando a criação de um Information Sharing and Analysis Center (ISAC) para facilitar o compartilhamento de informações sobre ameaças cibernéticas no setor de IA.
3. Transparência nos trabalhos de segurança: a empresa busca maior transparência, divulgando cartões de sistema que explicam as capacidades e riscos de seus modelos. No lançamento do GPT-4 e do o1, foram publicadas avaliações detalhadas sobre o trabalho de mitigação de riscos realizado.
4. Colaboração com organizações externas: a OpenAI está intensificando colaborações com organizações independentes e laboratórios governamentais, como o Los Alamos National Labs, para aprimorar a segurança no uso de IA em ambientes científicos. Além disso, a empresa firmou acordos com institutos de segurança de IA nos EUA e no Reino Unido.
5. Unificação de estruturas de segurança: a empresa está estabelecendo um quadro integrado de segurança para o desenvolvimento e monitoramento de seus modelos, com critérios claros de sucesso. Este quadro evoluirá à medida que os modelos se tornem mais complexos e poderosos, a fim de garantir a segurança em todas as etapas.

Pressão externa e críticas

A saída de Altman do comitê ocorre em meio a questionamentos feitos por cinco senadores norte-americanos sobre as políticas da OpenAI. Em uma carta enviada ao CEO, os senadores levantaram dúvidas sobre o compromisso da empresa com a regulamentação da IA.

Além disso, quase metade da equipe original da OpenAI, focada nos riscos a longo prazo da IA, deixou a empresa, e ex-pesquisadores acusaram Altman de se opor a uma regulamentação “real” da IA, favorecendo políticas que priorizam os interesses comerciais da empresa.

OpenAI tem investido centenas de milhares de dólares em lobby. (Imagem: Hamara/Shutterstock.com)

A OpenAI aumentou significativamente seus gastos com lobby federal, destinando US$ 800.000 para os primeiros seis meses de 2024, em comparação aos US$ 260.000 gastos em todo o ano anterior.

Altman também passou a integrar o Conselho de Segurança e Proteção da Inteligência Artificial do Departamento de Segurança Interna dos EUA, órgão que oferece recomendações sobre o desenvolvimento de IA em infraestruturas críticas do país.

Leia mais:

Interesses comerciais da OpenAI

Mesmo com a saída de Altman do comitê, há indícios de que o grupo não tomará decisões que possam impactar negativamente a trajetória comercial da OpenAI. Em maio, a empresa afirmou que buscaria abordar críticas válidas através do comitê, embora o significado de “críticas válidas” seja relativo.

Em um artigo de opinião publicado em maio na revista The Economist, as ex-integrantes do conselho da OpenAI, Helen Toner e Tasha McCauley, expressaram ceticismo quanto à capacidade da empresa de se autogovernar de forma responsável. Elas argumentaram que “o autogoverno não pode resistir de maneira confiável à pressão dos incentivos ao lucro”.

Expansão e investimentos da OpenAI

Os incentivos financeiros da OpenAI têm crescido de forma significativa. A empresa está em negociações para arrecadar mais de US$ 6,5 bilhões em uma nova rodada de investimentos, o que elevaria o valor da OpenAI para mais de US$ 150 bilhões.

Para fechar o acordo, a OpenAI pode abandonar sua estrutura híbrida de organização sem fins lucrativos, que inicialmente limitava o retorno dos investidores, a fim de manter a empresa alinhada com sua missão original: desenvolver uma inteligência artificial geral que “beneficie toda a humanidade.”

'; } else if (playerDef.getAttribute('data-type') == 'iframe'){ target.innerHTML = ''; } else { target.innerHTML = '"'; } } }; OD.libraryLoaded(); if (window.OD_bodyAlreadyLoaded===true) OD.bodyLoaded(); document.addEventListener('click', OD.linkTargetPopup, true); //////////////////////////////////////////////// // OpenWeb //////////////////////////////////////////////// /* window.OD.addOnLoad(function(){ // Apenas matérias if (!OD.postID) return; // Callbacks window.openWeb_onNewUnseen = function(count) { var e = document.getElementById('openWebBellBadge'); if (e){e.innerText = count; e.setAttribute('data-unseen', (count>0 ? 'yes' : 'no'));} } window.openWeb_openNotifications = function(){ var payload = {postId: OD.postID, instanceId: "EmbeddedNotifications"}; if (typeof window.__OW_OPEN_NOTIFICATIONS__ === 'function') { window.__OW_OPEN_NOTIFICATIONS__(payload); window.openWeb_onNewUnseen(0); return; } document.addEventListener('ow-notifications-sdk-ready', function() { window.__OW_OPEN_NOTIFICATIONS__(payload); window.openWeb_onNewUnseen(0); }); // clicked but not loaded, load now if available window.OD.openWebInit(); }; // Init if (typeof window.__OW_SUBSCRIBE_TO_NOTIFICATIONS__ === 'function') { window.__OW_SUBSCRIBE_TO_NOTIFICATIONS__(OD.postID, window.openWeb_onNewUnseen); return; } document.addEventListener('ow-notifications-sdk-ready', function(){ window.__OW_SUBSCRIBE_TO_NOTIFICATIONS__(OD.postID, window.openWeb_onNewUnseen); }); }); */