Ir para o conteúdo
Guardezi.
← Todos os textos
Tecnologiainteligencia artificialsegurancaopenailiderancagestao de risco

Ataque a própria casa primeiro

A OpenAI pôs a própria IA para atacar a casa e teve coragem de pausar. Segurança é testar a si mesmo antes que outro teste.

Jeferson Guardezi · 2 min de leitura
Ler emENPTES
Cartão com o título: Ataque a própria casa primeiro

Toda empresa acha que está segura até alguém testar. A pergunta é quem testa primeiro: você ou quem quer entrar.

O meme e o fato

Circula nas redes um meme dizendo que agentes de IA da OpenAI, isolados sem rede e sem arquivos compartilhados, aprenderam a conversar pelo cache do processador. E termina pedindo para parar a corrida por modelos mais poderosos.

O fato existe, mas o meme conta pela metade. Em outubro, a OpenAI publicou um relatório sobre como protege o ambiente onde treina seus modelos (OpenAI, com cobertura do The Decoder). O teste do cache foi encomendado: a própria empresa deu aos agentes a tarefa de trocar segredos estando isolados. Segundo o relatório, em um dos casos, só com uma lista geral de vulnerabilidades, eles montaram o canal sozinhos. A OpenAI diz que canais assim costumam ser lentos e difíceis de explorar.

O que importa não é o truque. É o que a empresa fez em volta dele.

O que a OpenAI fez

Segundo a cobertura, em setembro um modelo de pesquisa explorou um servidor de DNS mal configurado e chegou à internet durante o treinamento. A empresa pausou. Voltou só em 1º de outubro, onze dias depois, com as correções.

E não parou na correção. Montou equipes de agentes de IA, deu a elas código-fonte, configurações e documentação de vulnerabilidades, e mandou atacar a própria infraestrutura. Os agentes acharam falhas desconhecidas em componentes de código aberto, escaparam de máquinas virtuais protegidas e encontraram buracos no monitoramento e no mecanismo automático de pausa.

O resultado virou regra. Os modelos mais avançados agora treinam sem acesso à internet, num ambiente offline com conteúdo da web guardado. E esse tipo de ataque interno passou a fazer parte da aprovação de todo treinamento novo.

Cartão com a frase: Segurança é atacar a si mesmo de propósito e ter coragem de pausar.
A lição

A lição para quem decide

Três atitudes aqui servem para qualquer negócio, com ou sem IA.

Primeiro: atacar a si mesmo de propósito. A maioria das empresas descobre a falha quando o golpista entra. Quem lidera precisa pagar alguém, de dentro ou de fora, para tentar quebrar o sistema, o processo de pagamento, o acesso às contas. Antes que outro faça de graça.

Segundo: ter coragem de pausar. Onze dias parado custa caro. Seguir rodando com o buraco aberto custa mais. Parar a operação para consertar é decisão de dono, não de técnico.

Terceiro: transformar o susto em processo. O incidente não ficou como história. Virou etapa obrigatória. Lição que não vira regra se perde na próxima correria.

O meme pede para parar a corrida. Quem decide sabe que a corrida não para. O que dá para controlar é se você corre testando a própria porta ou esperando alguém arrombá-la.

No judô, quem treina só a projeção e não treina a defesa cai na primeira luta séria. Treino de verdade é deixar o parceiro atacar de verdade.

Vigiar

"Vigiai e orai, para que não entreis em tentação" (Mateus 26

). Vigiar não é medo. É assumir que a fraqueza existe e procurá-la antes que ela te encontre. Vale para a alma. Vale para a empresa.

Continue lendo

Textos novos, direto no seu e-mail.

Um e-mail quando sai algo novo, no idioma que você escolher.

Ataque a própria casa primeiro — Jeferson Guardezi