Fazer Focus Groups durante uma pandemia: o Bom, o Mau e o Vilão

A pandemia global do COVID-19 afetou fortemente o trabalho dos investigadores de Fatores Humanos que interagem pessoalmente com os utilizadores para testar ou validar produtos. As regras de confinamento desaconselhavam interações sociais de qualquer tipo, e seria de pensar que a investigação com utilizadores fosse interrompida.

Não foi. Os investigadores improvisaram e contornaram os problemas.

 

Parecia o Texas. Mas, enquanto investigadoras, improvisámos e contornámos o problema. (gif. via Giphy).

 

Queremos partilhar a nossa experiência com Focus Groups remotos, as nossas soluções alternativas e como estas funcionaram (ou não) para os nossos propósitos.

 Seis meses depois da experiência, a palavra “remoto” parece mais pertinente do que na época. Ainda assim, acreditamos que as nossas conclusões podem ajudar qualquer investigador que esteja a mudar os seus protocolos para exclusivamente remotos.

 

O nosso desafio

Como investigadores de Fatores Humanos, prestamos serviços a empresas que precisam de avaliar ou validar os seus produtos entre os seus utilizadores-alvo. Um dos nossos projetos começou em março de 2020 e incluiu várias sessões de Focus Group para discutir o conceito de um produto – ainda não havia um protótipo. Nesse mesmo mês, o mundo inteiro começou a ficar em casa para evitar as interações sociais …e tudo começou a ficar mais complicado.

Como poderíamos facilitar os Focus Groups nestas condições?

Remotamente, é claro. Mas será que iria funcionar?

 

Como poderíamos facilitar os Focus Groups nessas condições?  (gif. via Giphy).

 

O nosso modus operandi

Trabalhar em projetos de curto prazo significa que não podemos cometer erros metodológicos ou procedimentais. Qualquer decisão deve ser bem fundamentada em experiências ou estudos anteriores.

 

1. Já houve outros a fazer isso antes?

Fizemos uma revisão da literatura rápida sobre Focus Groups remotos (a palavra-chave de pesquisa foi online – agora existem muitos mais recursos) [1, 2] e começamos a entender que, como em todos os métodos, existem prós e contras (Tabela 1):

Benefícios  Limitações
  • Eficiente para provocar reações espontâneas e interatividade
  • Custo reduzido
  • Sem tempo e restrições geográficas
  • Ausência física e distância psicológica da Internet podem estimular a participação do grupo e aumentar a honestidade
  • Contribuições com comentários mais curtos
  • É mais provável que haja apenas algumas palavras de concordância como interações
  • Os resultados podem ser superficiais
  • Restrito a participantes com acesso à Internet
  • O papel do facilitador pode ser mais complexo

Tabela 1: Benefícios e limitações dos Focus Groups online [sistematizado por 3]. CCG. 2020.

Começamos também a perceber que havia espaço para mudar a forma como fazíamos o Focus Group, especialmente em termos de calendarização. Algumas experiências consideraram não apenas Focus Groups síncronos, onde todos os participantes estão online ao mesmo tempo, mas também Focus Groups assíncronos.

Esta última modalidade é realizada online, num fórum de discussão, permitindo assim uma maior flexibilidade de tempo. Mais importante ainda, permite mais tempo de reflexão antes de responder a qualquer discussão.

Alguns investigadores têm usado o método remoto e assíncrono com participantes de difícil acesso [3]. Focámo-nos nesta experiência em particular, aprendendo que:

  • Há horários de pico para interações – antes do horário de trabalho, durante os intervalos para o almoço ou nos finais de semana – e como tal, pode ser útil ter um cronograma de resposta;
  • Este tipo de Focus Groups dura aproximadamente uma semana;
  • Seis participantes por grupo é um número adequado.

 

2. Que ferramentas existem e quais devemos usar?

Analisamos e comparamos três soluções para dar suporte aos nossos grupos de foco online e assíncronos:

As duas primeiras opções são soluções chave-na-mão para investigação remota, enquanto que o Facebook é uma plataforma semelhante a um fórum. Para evitar qualquer contratempo durante nossas sessões, criámos perfis e analisamos o que funcionou bem ou não em cada uma delas.

Acreditamos que este trabalho pode salvar muito tempo a alguém que esteja a passar pelo mesmo, por isso compartilhamos a tabela de comparação que nos levou à decisão final (Tabela 2):

Tabela 2: Comparação de pontos-chave entre FocusGroupIt, Collabito e Facebook. CCG. 2020.

 

A nossa hipótese era que, para as nossas necessidades, os grupos secretos do Facebook teriam mais vantagens do que desvantagens:

  • A maioria das pessoas já têm uma conta no Facebook e sabe como usá-la;
  • A maioria das pessoas têm a aplicação no smartphone, permitindo que respondam em qualquer lugar, a qualquer hora;
  • Permite a apresentação de conteúdo multimédia (fotos, vídeos, formulários);
  • Envia notificações ao utilizador sempre que um novo tópico chega;
  • Tem bons recursos de agendamento;
  • Possui ferramentas como sondagens, tags e a capacidade de adicionar novas opções;
  • Permite que se use secções de interação / comentários e @ menção.

 

Quando comunicámos à empresa que houvéramos escolhido o Facebook para conduzir o Focus Group, eles ficaram surpreendidos… e não muito convencidos. Estavam preocupados com a apresentação do produto, que ao ser feita num espaço tão pouco profissional pudesse afetar as opiniões dos utilizadores.

Essa era uma preocupação legítima. Afinal, nunca tínhamos usamos nenhuma destas plataformas antes, e então chegamos a um acordo. Iríamos fazer um Focus Group nas duas plataformas mais bem avaliadas, Facebook e Collabito, ao mesmo tempo.

Decidimos dar mais um passo e testar o estilo de comunicação. No Facebook, adotámos um estilo de comunicação informal, com emojis, likes e reações. No Collabito, por ser uma ferramenta profissional, experimentámos um estilo mais formal para a discussão de temas.

Posteriormente poderíamos verificar se a plataforma escolhida teve, de facto, algum efeito nos resultados da pesquisa.

 

3. Preparação e Recrutamento

A preparação do nosso Focus Group remoto foi definida com base nas seguintes premissas:

  • Acontecerá de forma assíncrona;
  • Irá decorrer ao longo de uma semana;
  • Será necessário um moderador a tempo inteiro para fornecer feedback sempre que solicitado ou necessário;
  • Terá tópicos agendados em horários predefinidos.

Atendendo a estas premissas, preparamos nosso guião. Todas as perguntas foram distribuídas entre as datas e horários em que deviam ser publicadas, e todas as perguntas respondiam a algo específico que gostaríamos de saber. Terminamos com 20 tópicos para discussão.

A empresa validou o guião, e começamos a fase de recrutamento de participantes.

O recrutamento aconteceu normalmente, com os utilizadores-alvo a não ter um grande número de requisitos a cumprir. É importante ressaltar que o consentimento informado foi enviado digitalmente e solicitava especificamente aos nossos participantes que concordassem com os termos de serviço e privacidade do Facebook ou Collabito.

Para o Focus Group no Facebook, também oferecemos aos participantes a opção de criarmos contas especificamente para esse fim, caso não desejassem utilizar suas contas pessoais (nenhum solicitou).

 

4. Os Focus Groups remotos

O Focus Group no Collabito teve um total de 8 participantes, 50% mulheres e 50% homens, com idades entre 30 e 39 anos. A maioria dos utilizadores conectava-se algumas vezes ao dia, respondendo a vários tópicos ao mesmo tempo. Isso causou um efeito bola de neve na taxa de participação. Os utilizadores acabaram por ter tópicos atrasados ​​todos os dias, e cada dia mais tópicos.

Quanto ao Focus Group no Facebook, também tivemos 8 participantes, 25% mulheres e 75% homens, com idades entre 18-29 e 40-49 anos. Os utilizadores responderam imediatamente após uma nova publicação ou responderam em massa no início do dia (7h-8h) ou no final do dia.

A próxima secção mostrará O Bom, O Mau e o Vilão de cada plataforma.

 Deixem-nos contar mais sobre o Bom, o Mau e o Vião (de cada plataforma). (Gif via Giphy).

COLLABITO

  • O Bom

Os participantes responderam de forma ordenada. No Collabito, os participantes responderam a todas as perguntas e subquestões e não saíram do tópico, e até forneceram exemplos (alguns com fotos) quando necessário. Na maioria, os tópicos foram respondidos por ordem e perto da data de publicação. Quando este não foi o caso, percebemos que os participantes, de facto, acederam o tópico mas só decidiram responder mais tarde.

Especulamos que eles podiam querer pensar sobre a resposta antes de responder. No caso de assuntos mais sensíveis, também é provável que tenham decidido esperar que outra pessoa desse o primeiro passo.

Anonimato total. As credenciais do usuário (nome, avatar, entre outros) são criadas pelo administrador do grupo. Isso permitiu-nos ter certeza de que nenhuma informação privada foi compartilhada sem o consentimento dos participantes.

  • O Mau

Falta de interação. Faltou interação entre os participantes. No final, o Focus Group parecia uma entrevista remota, em vez de uma discussão real.

Esta foi certamente nossa principal luta. Não sabemos se isso está relacionado à forma como os tópicos foram formulados, à própria ferramenta * ou a ambos.

Conseguimos enviar e-mails de acompanhamento após a publicação de cada tópico, ou a cada resposta dos moderadores. A princípio sem, e depois com capturas de ecrã da resposta do moderador, o que acabou por melhorar a taxa de resposta.

Sem aplicação. Infelizmente, o site do Collabito não é totalmente responsivo. Assim, recomendamos aos utilizadores que utilizassem  um dispositivo desktop, o que pode ter afetado a taxa de resposta e a falta de interação.

Sem opção “especifique”.  O Collabito tem um tipo de tópico chamado pesquisa. Este permite que se crie um tópico com um conjunto de opções (escolha única ou múltipla). No entanto, não existe a opção de adicionar um “outro” valor. Quando os utilizadores escolheram essa opção, tivemos de perguntar por e-mail qual seria esse valor, e só obtivemos resposta para metade deles.

  • O Vilão

Sem emojis 😢. Embora tenhamos usado um estilo de comunicação mais formal, os participantes tinham uma inclinação para o uso de  emojis. Apesar de ter um editor de texto avançado, o Collabito não tem suporte para emojis – o que não impediu os nossos participantes de usarem emojis ASCII da velha escola.

Estabilidade da ferramenta. O Collabito é uma ferramenta muito poderosa, em particular para Focus Groups síncronos. Contudo, o agendamento não funcionou corretamente. As publicações tiveram que ser publicadas manualmente pelo moderador. O editor de texto também teve problemas ao incluir vários vídeos, configurar ou editar imagens ou vídeos, entre outros..

 

FACEBOOK

  • O Bom

Os participantes responderam de forma ordenada. No Facebook, os participantes também responderam a tudo, não se desviaram do assunto e deram exemplos concretos. Parecia que os participantes “aprenderam”. No segundo dia, todos começaram a numerar as suas respostas para uma compreensão mais fácil.

Fácil apresentação de tópicos. A ferramenta de agendamento funcionou perfeitamente! Além disso, a funcionalidade @ foi fundamental para nos ajudar a aprofundar alguns tópicos com um determinado participante.

Uma opção “especifique”. Alguns participantes adicionaram suas próprias opções às sondagens, tornando as respostas um pouco mais próximas de sua realidade e experiência.

Link direto para publicação. Alguns participantes só responderam após receberem um lembrete por e-mail. Isso funcionou bem, especialmente porque é possível incluir um link direto para a publicação.

Ferramentas de comunicação / feedback. Em geral, foi fácil comunicar. Foi simples para o moderador fornecer feedback, mesmo que apenas com um like ou outro.

Surpreendentemente, o estilo não foi tão livre como pensávamos que seria. Observamos que os participantes eram muito diretos e bastante sérios. Nunca divergiram nem conversaram muito, o que esperávamos que acontecesse no Facebook.

Uma explicação pode ser que o nome do moderador consistia no nome do grupo de investigação. Não ser um nome pessoal pode ter feito com que parecesse mais formal.

  • O Mau

Falta de interação. Mais uma vez, faltou interação entre os participantes. Embora houvesse sempre respostas quando o moderador pedia uma resposta mais específica, os participantes simplesmente entravam no grupo para responder às perguntas e depois saíam.

Ordem das publicações. No Facebook, a ordem de apresentação é estabelecida pela modificação do último comentário. Isso significa que a nossa ordem de publicações original não foi respeitada. Acreditamos que pode ter sido confuso para os participantes que acabavam por ter que pesquisar as publicações que ficaram sem resposta – aí os nossos e-mails com links diretos foram uma boa solução alternativa.

  • O Vilão

Problemas com convites de grupos secretos. Por algum motivo, ocorreram alguns problemas inesperados com os convites. Um moderador não viu todos os utilizadores que gostaram a página em que o grupo secreto estava alojado, então eles tiveram que ser convidados por outro moderador.

Tipo de pergunta. As nossas perguntas podem ter sido muito abertas para uma interação fácil em smartphone. Neste caso, o problema foram as perguntas em si, e não a capacidade de resposta da plataforma.

 

Collabito Facebook
O Bom
  • Taxa de resposta de 80% nos tópicos
  • Os utilizadores responderam de maneira ordenada
  • Anonimato Total
  • Taxa de resposta de 90% nos tópicos
  • Os utilizadores responderam de maneira ordenada
  • Fácil apresentação de tópicos
  • Opção “especifique”
  • Link direto para publicação
  • Ferramentas de comunicação / feedback
O Mau
  • Falta de interação
  • Sem opção “especifique”
  • Sem app
  • Falta de interação
  • Ordem das publicações
O Vilão
  • Sem emojis :’(
  • Estabilidade da plataforma
  • Problemas com convites de grupos secretos
  • Tipo de pergunta

Tabela 3: O Bom, o Mau e o Vilão de ambos os Focus Groups remotos. CCG 2020.

 

O Facebook parecia ser a ferramenta com os resultados mais positivos desta experiência. Além disso, os resultados não parecem ter ser sido afetados pela plataforma nem pelo estilo de comunicação.

Ainda há outro ponto Vilão nesta situação: não adaptamos nossas perguntas ao novo meio. (gif. via Gifer).

 

Há ainda outro ponto Vilão nesta situação. Acontece que depois de toda análise e preparação, ignoramos um detalhe muito importante: Não adaptamos as nossas perguntas ao novo meio.

Preparamos o nosso guião como se fosse uma conversa aberta … e vamos ser realistas, muito poucas pessoas escrevem em perguntas de resposta aberta. Esquecemo-nos de considerar que os nossos participantes estariam a responder dos seus smartphones. De facto, as perguntas com mais respostas dos participantes foram as de múltipla escolha.

 

5. Análise

A fase de análise do Focus Group pode ter mostrado a maior vantagem de todas.

Repitam depois de nós: sem transcrições.

Sim, como tudo já estava escrito, bastava exportar (no caso do Collabito) ou copiar / colar (no caso do Facebook) e iniciar nossa análise de conteúdo.

 

6. Lições Aprendidas

O Facebook é uma boa plataforma para Focus Groups. Acabou por ser surpreendentemente fácil acomodar nossas necessidades nesta plataforma.

Ferramentas de tracking. Foi muito útil ter ferramentas de tracking que marcavam quem respondeu ou não respondeu para avaliar o status geral da discussão.

Templates de email. Ter modelos de e-mail para lembretes foi uma grande ajuda. A preparação prévia de templates, com diferentes estilos de comunicação, agilizou muito o nosso acompanhamento.

Cuidados com o formato da pergunta. Precisávamos de ter adaptado o tipo de pergunta à plataforma. Infelizmente, não conseguimos adaptar nosso guião a este estilo de resposta. Tínhamos de ter mais perguntas, mais curtas e com mais respostas múltiplas.

Contacto personalizado. Todos os nossos contactos incluíam o primeiro nome do participante. Isso criou alguma proximidade com os nossos participantes.

Aos nossos participantes…muito obrigada. (gif via Giphy).

 

Conclusão – iremos repetir?

Depois de todas estas lições aprendidas, certamente diríamos que … depende (claro!). Dependendo do propósito do Focus Group, sim, repetiríamos a experiência.

O Recrutamento. Como o Focus Group era remoto, tivemos mais participantes do que se fosse presencial, de uma maior diversidade de cidades e até países.

Os resultados. A maioria dos participantes respondeu a tudo, mesmo que alguns utilizadores entrassem em mais detalhes do que outros.

A análise. Como tudo estava escrito em texto, saltamos rapidamente para a fase de análise do conteúdo.

Os resultados. Os resultados destes Focus Groups foram muito positivos e enriquecedores, e a empresa ficou feliz com eles.


 

* O Collabito não tem atualização automática, notificações push ou indicadores da última mensagem lida. Isso torna mais difícil para os participantes descobrirem e encontrarem a que falta responder.

 


Referências

[1] Stancanelli, J. (2010). Conducting an online focus group. The Qualitative Report, 15 761–765. Retrieved April 11, 2014, from http:// www.nova.edu/ssss/QR/QR15-3/ofg2.pdf

[2] Williams, S., Clausen, M. G., Robertson, A., Peacock, S., & McPherson, K. (2012). Methodological reflections on the use of asynchronous online focus groups in health research. International Journal of Qualitative Methods, 11, 368–383

[3] Lijadi, A. A., & van Schalkwyk, G. J. (2015). Online Facebook focus group research of hard-to-reach participants. International Journal of Qualitative Methods, 14(5).

Artigo também disponível em MEDIUM


Autoras:

 

Joana Vieira Analista de Usabilidade @CCG do D.I.A PIU

Com Mestrado em Psicologia Experimental (Memória Humana) pela Universidade do Minho, é atualmente investigadora de doutoramento em Ergonomia pela Faculdade de Motricidade Humana da Universidade de Lisboa, no tópico de sinais de aviso auditivos em salas de operações. É ainda especialista no grupo de trabalho 3 – Controlos, visores e localização avisadora – da ISO TC22 SC39 – Ergonomia em Veículos Rodoviários.
Os seus interesses de investigação focam-se na usabilidade de interfaces em todas as fases, desde a conceção à validação das mesmas junto de utilizadores, recorrendo a diversas metodologias como guessability, engenharia Kansei, e testes de usabilidade clássicos.

 

 


 

Marina Machado Programadora e Investigadora UX @CCG do D.I.A PIU

Possui licenciatura e o mestrado em Engenharia Informática na Universidade do Minho (2015), com certificado em fundamentos de UX/UI Design pelo California Institute of the Arts.

Os seus interesses de investigação focam-se nas abordagens de desenvolvimento centradas no utilizador, garantindo que a voz do utilizador é ouvida e atendida, ajudando na criação de interfaces úteis, usáveis ​​e agradáveis.


 

O Domínio de Investigação Aplicada (D.I.A)  PIU foca-se no desenvolvimento de estudos centrados na pessoa/no ser humano e assistir na criação de novos produtos que potenciam a sua adaptação, para uma melhor usabilidade e conforto, bem como a saúde/reabilitação, a segurança e o entretenimento.