A Microsoft anunciou o Correction, um serviço que visa corrigir automaticamente textos gerados por IA que contenham informações erradas, conhecida normalmente como parte das “alucinações” de IA.
O serviço sinaliza trechos potencialmente imprecisos e verifica sua veracidade contra fontes confiáveis, como transcrições. Integrado à API Azure AI Content Safety, o Correction pode ser usado com diversos modelos de IA, como Llama e GPT-4. O Google introduziu um recurso semelhante recentemente.
Embora a Microsoft espere que esse recurso aumente a confiabilidade das respostas geradas por IA, especialistas alertam que ele não resolve o problema fundamental das “alucinações” — respostas fabricadas que esses modelos produzem.
Um especialista compara tentar eliminar essas alucinações a remover hidrogênio da água, já que fazem parte da natureza da tecnologia.
Leia mais:
Corretor de alucinações de IA ainda gera dúvidas
- O Correction usa dois tipos de modelos: um classificador para identificar erros e um modelo de linguagem para corrigir esses trechos.
- Porém, críticos apontam que, mesmo que funcione, isso pode criar uma falsa sensação de segurança nos usuários sobre a precisão dos modelos.
- Além disso, o serviço, embora gratuito até um certo limite, pode gerar custos adicionais, levantando questões sobre a motivação comercial da Microsoft em um cenário onde a empresa ainda visa gerar receita significativa com IA.
Preocupações sobre a precisão e confiabilidade continuam a ser um desafio para empresas que adotam ferramentas de IA, conforme evidenciado por relatos de problemas em suas implementações.
Os críticos afirmam que a indústria está adotando essas tecnologias rapidamente, antes de resolver questões fundamentais sobre sua eficácia e confiabilidade.
