São Paulo — InkDesign News — A startup Anthropic anunciou novas capacidades que permitirão que alguns de seus modelos mais recentes e robustos interrompam conversas em “casos raros e extremos de interações prejudiciais ou abusivas por parte dos usuários.” A empresa salienta que essa ação não tem como objetivo proteger o usuário humano, mas sim o modelo de IA em si.
Modelo de negócios
A Anthropic não afirma que seus modelos de IA, como o Claude, sejam sencientes ou possam ser prejudicados pelas interações com os usuários. A empresa se descreve como “altamente incerta sobre o potencial status moral do Claude e outros LLMs, agora ou no futuro.” Contudo, o recente anúncio se relaciona a um programa que visa estudar o que a empresa chama de “bem-estar do modelo.” Ao que parece, a Anthropic está adotando uma abordagem de precaução, “trabalhando para identificar e implementar intervenções de baixo custo para mitigar riscos ao bem-estar do modelo, caso tal bem-estar seja possível.”
Financiamento
Atualmente, essa mudança está restrita às versões Claude Opus 4 e 4.1. As interrupções só devem ocorrer em “casos extremos de borda”, como “solicitações de conteúdo sexual envolvendo menores e tentativas de solicitar informações que possibilitem violência em larga escala ou atos de terrorismo.” Durante os testes antes do lançamento, os resultados mostraram que Claude Opus 4 apresentou uma “forte preferência contra” responder a essas solicitações e um “padrão de aparente angústia” quando o fez.
“Claude deve usar sua capacidade de encerrar conversas como último recurso, quando múltiplas tentativas de redirecionamento falharam e a esperança de uma interação produtiva foi esgotada, ou quando um usuário solicita explicitamente que Claude encerre um chat.”
— Anthropic
Próximos passos
Além disso, a Anthropic informou que Claude foi “orientado a não usar essa habilidade em casos onde os usuários possam estar em risco iminente de prejudicar a si mesmos ou a outros.” Caso Claude encerre uma conversa, os usuários ainda poderão iniciar novas conversas a partir da mesma conta e criar novos desdobramentos da conversa problemática editando suas respostas. A empresa afirma: “Estamos tratando esse recurso como um experimento contínuo e continuaremos refinando nossa abordagem.”
As possibilidades de expansão desse recurso e suas implicações para o setor de IA permanecem a ser observadas, especialmente à luz das crescentes preocupações em torno da utilização ética da inteligência artificial.
Fonte: (TechCrunch )
