A dona do ChatGPT, a OpenAI, não consegue detectar de forma eficiente os textos feitos por máquinas e desativou o seu recurso de classificador de IA devido à imprecisão.
A ferramenta da OpenAI que se propunha a determinar a probabilidade de um texto ter sido escrito por IA foi recentemente desativada pela empresa, apresentando uma taxa de precisão baixa. Enquanto muitos utilizavam esse classificador de inteligência artificial, e talvez até de maneira um tanto imprudente, confiando demais neles, a OpenAI decidiu aposentá-lo por estar se mostrando impreciso.
A teoria de que o texto gerado por inteligência artificial tem alguma característica ou padrão identificável que pode ser detectado de maneira confiável pode parecer evidente, mas a realidade tem se mostrado um pouco mais complexa do que isso. Embora alguns textos gerados possam ter uma ‘marca’ óbvia, as diferenças entre os grandes modelos de linguagem e a rapidez com que eles têm evoluído tornaram essas ‘marcas’ praticamente impossíveis de serem detectadas.
Em fevereiro, o TechCrunch fez alguns testes em diferentes ferramentas de detecção de texto escrito por inteligência artificial que mostraram que elas são, na melhor das hipóteses, irregulares e, na pior, totalmente inúteis. De sete trechos de texto gerados e dados a vários detectores, o GPTZero identificou corretamente cinco, e o classificador da OpenAI apenas um. E isso ocorreu com um modelo de linguagem que nem sequer estava no topo da tecnologia na época.
Alguns usuários confiavam demais nas promessas de detecção da OpenAI, mas a ferramenta classificadora foi lançada com uma lista de limitações tão extensa que chegou a causar estranhamento: por que lançariam algo assim? Quem estava com medo de que seus alunos, candidatos a emprego ou freelancers estivessem mandando textos produzidos por inteligência artificial, jogavam o conteúdo no classificador para testar. E aí vem o absurdo: mesmo com a confiabilidade dos resultados sendo questionável, alguns acreditavam neles de forma exagerada.
Considerando que os modelos de linguagem só melhoraram e proliferaram, parece que alguém na empresa decidiu que era hora de retirar essa ferramenta instável de circulação. “Estamos trabalhando para incorporar feedback e atualmente estamos pesquisando técnicas de proveniência de texto mais eficazes“, diz um adendo de 20 de julho ao post de anúncio do classificador. (O Decrypt parece ter sido o primeiro a perceber a mudança.)
OpenAI e a Casa Branca buscam melhor uso da IA
Algumas das maiores empresas de inteligência artificial dos EUA visitaram a Casa Branca em 21 de julho de 2023 para fazer compromissos voluntários de segurança. As empresas, que incluem Amazon, Google, Microsoft, Meta e Open AI concordaram em adotar uma série de medidas para garantir que suas tecnologias de IA sejam seguras, justas e responsáveis.
Os compromissos incluem:
- Investir em pesquisa e desenvolvimento de IA segura;
- Desenvolver diretrizes e padrões de IA;
- Fornecer transparência sobre os sistemas;
- Proteger a privacidade e a segurança dos dados;
- Evitar a discriminação e os vieses;
- Usar a IA para o bem social.
Entre os compromissos assumidos pelas empresas está o de desenvolver métodos robustos de marca d’água e/ou detecção. Ou, pelo menos, tentar fazer isso, de qualquer maneira: apesar de todas as empresas estarem fazendo barulho nesse sentido nos últimos 6 meses ou mais, ainda não vimos nenhuma marca d’água ou método de detecção que não seja facilmente contornado.
Com tanto esforço em relação às práticas com a inteligência artificial, a primeira empresa que conseguir criar um sistema de detecção eficiente e confiável vai ganhar um lugar de destaque. Essa motivação das empresas sugere que a necessidade de direcionar esforços para isso nem precisava estar em nenhum acordo sobre a IA!
Fonte: TechCrunch
