Ameaça à autenticidade ou ferramenta útil?

Existem tipos de pesquisa que precisam de participantes humanos – por exemplo: para entrevistas e experimentos. E já existem “participantes sintéticos” – respostas geradas por meio de inteligência artificial (IA). Mas humanos podem ser substituídos quando se trata de pesquisa qualitativa? Este é o questionamento levantado por Alexandra Gibson e Alex Beatie, em artigo publicado no The Conversation.

Para quem tem pressa:

• Alexandra Gibson e Alex Beatie questionam a capacidade da IA de substituir participantes humanos em pesquisas qualitativas. Eles observaram a experiência em pesquisas sobre encontros durante a pandemia, na qual respostas geradas por IA pareciam estranhas e “desconectadas”;
• Os autores relatam que, em suas pesquisas, as respostas humanas capturaram nuances de experiências vividas, enquanto as respostas geradas por IA falharam em replicar essas qualidades – foram, muitas vezes, engessadas e moralistas;
• A pesquisa apontou que dificuldades em diferenciar entre respostas humanas genuínas e aquelas geradas por IA pode ser desafio na manutenção da integridade da pesquisa qualitativa frente à participação indesejada da IA;
• A experiência dos autores sugere a necessidade de desenvolver políticas e práticas acadêmicas que abordem a interferência da IA, garantindo que a pesquisa social continue a refletir autenticamente experiências e perspectivas humanas.

“Isso é algo com que recentemente tivemos que lidar enquanto realizávamos pesquisas não relacionadas [entre si] sobre encontros durante a pandemia de Covid-19”, escrevem os autores. “E o que encontramos deve moderar o entusiasmo por respostas artificiais em detrimento das palavras de participantes humanos”, acrescentam.

Leia mais:

Confira abaixo o relato (editado) dos autores:

IA na pesquisa

“Nossa pesquisa analisou como as pessoas podem navegar pelos encontros móveis [ocasiões sociais realizadas em plataformas digitais] durante a pandemia, na Nova Zelândia. Nosso objetivo era explorar as respostas sociais mais amplas aos encontros conforme a pandemia avançava e as diretrizes de saúde pública mudavam com o tempo.

Como parte desta pesquisa contínua, solicitamos aos participantes que desenvolvessem histórias em resposta a cenários hipotéticos.

Em 2021 e 2022, recebemos uma ampla gama de respostas intrigantes e peculiares de 110 neozelandeses recrutados através do Facebook. Cada participante recebeu um vale-presente pelo seu tempo.

Os participantes descreveram personagens navegando pelos desafios de ‘encontros via Zoom’ e entrando em conflito sobre status de vacinação ou uso de máscaras. Outros escreveram histórias de amor apaixonadas com detalhes surpreendentes. Alguns até quebraram a quarta parede e escreveram diretamente para nós, reclamando sobre o comprimento obrigatório de suas histórias ou a qualidade de nossos prompts.

Essas respostas capturaram os altos e baixos dos encontros online, o tédio e a solidão do lockdown, e as emoções e desesperos de encontrar o amor durante a época da Covid.

Mas, talvez acima de tudo, essas respostas nos lembraram dos aspectos idiossincráticos e irreverentes da participação humana na pesquisa – as direções inesperadas que os participantes tomam, ou mesmo o feedback não solicitado que você pode receber ao fazer pesquisa.

Mas, na última rodada do nosso estudo no final de 2023, algo havia claramente mudado nas 60 histórias que recebemos.

Desta vez, muitas das histórias pareciam ‘estranhas’. As escolhas de palavras eram bastante engessadas ou excessivamente formais. E cada história era bastante moralista em termos do que alguém ‘deveria’ fazer em uma situação.

Usando ferramentas de detecção de IA, como o ZeroGPT, concluímos que participantes estavam usando IA para gerar respostas de histórias para eles, possivelmente para receber o vale-presente com o mínimo de esforço.

Contrariamente às alegações de que a IA pode replicar suficientemente participantes humanos em pesquisa, descobrimos que as histórias geradas por IA eram lamentáveis.

Fomos lembrados de que um ingrediente essencial de qualquer pesquisa social é que os dados sejam baseados em experiências vividas.”

IA é o problema?

“Talvez a maior ameaça à pesquisa humana não seja a IA, mas sim a filosofia que a sustenta.

Vale ressaltar que a maioria das afirmações sobre a capacidade da IA de substituir humanos vem de cientistas da computação ou cientistas sociais quantitativos. Nesses tipos de estudos, o raciocínio ou comportamento humano é frequentemente medido por meio de cartões de pontuação ou declarações sim/não.

Essa abordagem necessariamente enquadra a experiência humana num framework que pode ser mais facilmente analisado por meio de interpretação computacional ou artificial.

Em contraste, somos pesquisadores qualitativos interessados na experiência vivida, emocional e bagunçada das perspectivas das pessoas sobre encontros. Fomos atraídos pelas emoções e decepções que os participantes originalmente apontaram com os encontros online, as frustrações e desafios de tentar usar aplicativos de namoro, bem como as oportunidades que eles podem criar para intimidade durante um período de lockdowns e evolução de mandatos de saúde.

Em geral, descobrimos que a IA simulou mal essas experiências.

Alguns podem aceitar que a IA generativa veio para ficar, ou que a IA deve ser vista como oferecendo várias ferramentas para pesquisadores. Outros pesquisadores podem recorrer a formas de coleta de dados, como pesquisas, que podem minimizar a interferência da participação indesejada da IA.

Mas, com base em nossa experiência de pesquisa recente, acreditamos que a pesquisa social qualitativa teoricamente orientada está melhor equipada para detectar e proteger contra a interferência da IA.

Existem implicações adicionais para a pesquisa. A ameaça da IA como um participante indesejado significa que os pesquisadores terão que trabalhar mais tempo ou com mais afinco para identificar participantes impostores.

As instituições acadêmicas precisam começar a desenvolver políticas e práticas para reduzir o ônus sobre os pesquisadores individuais que tentam realizar pesquisas no ambiente de IA em mudança.

Independentemente da orientação teórica dos pesquisadores, como trabalhamos para limitar o envolvimento da IA é uma questão para qualquer pessoa interessada em entender perspectivas ou experiências humanas. Se tem algo a se tirar disso é: as limitações da IA reenfatizam a importância de ser humano na pesquisa social.”