Quanti utenti devo coinvolgere in una ricerca?

Una delle domande che ci viene posta più spesso quando pianifichiamo una ricerca è: quanti utenti bisogna coinvolgere? Questa è un’annosa questione e nel corso degli anni diversi professionisti e accademici hanno cercato di fornire contributi in merito.

La risposta è: “dipende”.

Ho deciso di scrivere questo post perché spesso ci troviamo a discutere con i nostri clienti sul numero di utenti da coinvolgere e spesso ci sentiamo dire “come mai proprio X utenti?” E alla nostra risposta “sulla base della nostra esperienza con centinaia di utenti abbiamo appurato che…” non si sentono sufficientemente confidenti e provano in qualche modo a “seguire il loro istinto” e suggerire loro un numero.

Per capire quante persone coinvolgere è innanzitutto necessario stabilire gli obiettivi che si vogliono raggiungere così da scegliere il tipo di ricerca più adatto e che ci darà poi indicazioni sul numero di utenti da coinvolgere. Se ad esempio abbiamo bisogno di sapere tra due interfacce qual è la più efficace, abbiamo bisogno di un numero elevato di utenti così che i risultati che otteniamo siano statisticamente rilevanti. Se, invece, vogliamo capire se gli elementi di un design sono facili o difficili da usare o quali sono i problemi che gli utenti potrebbero incontrare su un’interfaccia, possiamo coinvolgere un numero minore di utenti.

Di seguito una panoramica dei principali metodi usati nella ricerca con utenti con un’indicazione del numero di utenti che è opportuno coinvolgere accompagnati da un riferimento bibliografico utili quando la vostra “sola” esperienza per il vostro cliente non basta.

Test di usabilità

In un articolo del 2000 Nielsen suggerisce che sono sufficienti 5 utenti per individuare l’85% dei problemi di usabilità presenti su un’interfaccia. Va fatta tuttavia una precisazione: cinque utenti possono essere sufficienti se i problemi sono piuttosto facili da scoprire (quelli che influenzano almeno il 30% degli utenti) e se non ci si aspetta di trovare tutti i problemi con un solo test ma si conducono dei test in modo iterativo.

Se vogliamo avere un certo grado di sicurezza sulla numerosità del campione o abbiamo bisogno di identificare problemi con minore probabilità di essere scoperti, Jeff Sauro ci viene in aiuto attraverso un calcolatore che ci restituisce il numero di utenti necessari da coinvolgere indicando la percentuale di problemi che vogliamo individuare e la frequenza con la quale si potrebbero presentare. In generale 5-8 utenti è un buon numero per acquisire informazioni utili.

Studi quantitativi

Sempre Nielsen in un articolo del 2006 fornisce informazioni sul numero di utenti da coinvolgere in uno studio che ha l’obiettivo di raccogliere dati statistici e non insight (es. metriche per misurare l’efficenza e l’efficacia, strumenti per valutare la navigazione, ecc). Dopo una serie di studi, Nielsen suggerisce che sono necessari almeno 20 utenti per ottenere numeri statisticamente significativi con un intervallo di confidenza di +/- 19% che significa che c’è il 19% di probabilità che i valori che otteniamo siano generalizzabili all’intera popolazione. Un intervallo di confidenza un po’ troppo basso se si considera che solitamente questo valore viene impostato al 95%, giustificato dall’autore con i costi elevati che si dovrebbero affrontare se si decidesse di aumentare il campione. Anche in questo caso per esseri sicuri di coinvolgere il giusto numero di utenti, Jeff Sauro ha pensato a un calcolatore che imposta l’intervallo di confidenza sempre al 95% e inserendo la completion rate minima che pensiamo di avere, restituisce la numerosità del campione in base al numero di insuccessi che pensiamo di vedere.

Per quanto riguarda, invece, i questionari il calcolo che solitamente viene fatto prende in considerazione la numerosità della popolazione dalla quale si estrae il campione, il margine di errore che vogliamo considerare e l’intervallo di confidenza. Supponiamo ad esempio di avere una popolazione di 20.000 utenti, decidiamo di accettare un 2% di margine di errore e un intervallo di confidenza al 95%: il campione di cui abbiamo bisogno è di 2.144 risposte. Ovviamente per poter avere le risposte necessarie bisogna considerare anche il tasso di risposta stimato, cioè la percentuale di persone tra tutte quelle coinvolte che risponderanno al questionario. Nel nostro esempio, se consideriamo un tasso di risposta del 20%, per poter avere 2.144 risposte dovremo sottoporre il questionario a 10.720 persone.

Può rientrare in questa categoria anche il Tree test, tecnica utile per valutare la trovabilità degli elementi in un sito web, con l’obiettivo di migliorare il sistema di navigazione. Per eseguire un tree test è necessario avere solo l’elenco completo delle categorie principali e delle relative sotto categorie, non servono altri elementi dell’interfaccia. Solitamente questo tipo di test viene svolto da remoto attraverso dei software (es. Optimal Workshop,  UserZoom, ecc). Jeff Sauro propone una tabella in cui riporta la numerosità del campione necessaria, suddivisa per diversi livelli di errore, con un intervallo di confidenza al 95%.

Eyetracking

Ad oggi pochi studi si sono occupati di identificare un numero minimo di utenti da coinvolgere per uno studio di usabilità tramite eyetracking. Nielsen e Pernice nel libro “Eyetracking in Web usability”e nel report “How to Conduct Eyetracking Studies” per indicare un numero di utenti da coinvolgere, fanno una distinzione in base all’obiettivo dello studio. Se l’obiettivo è quantitativo cioè volto a misurare le metriche di task time, task success, ecc.. sono necessari almeno 39 utenti per avere delle heatmap stabili perché questo tipo di output risente molto dell’influenza della variabilità dei movimenti oculari degli utenti. Se invece l’obiettivo è qualitativo, 6 utenti sono sufficienti per avere  una valutazione accurata dei principali problemi di usabilità di un design. In quest’ultimo caso non si useranno le heatmap ma gli autori suggeriscono di rivedere le sessioni attraverso il “replay dei gaze”.

Esempi di Test di usabilità, di Task success, di Tree test con Treejack e di Eyetracking Heatmap

Mentre è relativamente facile stimare la numerosità di un campione per studi che hanno l’obiettivo di misurare la grandezza di qualcosa, più difficile è farlo per studi che interessano la componente soggettiva degli utenti come ad esempio il card sorting, i focus group e le interviste.
In questi casi il concetto a cui si fa riferimento per stabilire la numerosità del campione è quello di “saturazione” (data saturation) cioè il punto nella raccolta dei dati oltre il quale non emergono nuovi concetti, temi o problemi. Non c’è un metodo condiviso per stabilire quando la saturazione è raggiunta per sapere a priori la numerosità del campione ma sulla base delle esperienze fatte con l’uso delle varie tecniche diversi professionisti hanno indicato un numero plausibile di utenti da coinvolgere.

Card sorting

Il card sorting ha l’obiettivo è capire qual è il modello mentale degli utenti in merito a un concetto/prodotto e come descrivono questo concetto.  Poiché è necessario raccogliere dati da un buon numero di utenti prima di poter ottenere un’immagine stabile della struttura preferita degli utenti, Nielsen (2004) raccomanda di coinvolgere almeno 15 utenti (con un intervallo di confidenza al 90%) mentre Tullis e Wood (2004) e anche noi di Doralab, raccomandano di usare almeno 20–30 utenti per essere sicuri al 95% che l’intera popolazione avrà quel modello mentale.

Focus group

I dati disponibili sul numero di utenti da coinvolgere e su quante sessioni di focus group prevedere sono principalmente basati sull’esperienza professionale dei ricercatori che assiduamente usano questa tecnica. Un’indicazione empirica è stata fornita l’anno scorso da un’analisi fatta da Guest, Namey e McKenna (2017) nella quale viene mostrato come con 2/3 gruppi di 8/10 utenti possano emergere più dell’80% dei temi e come con 3/6 gruppi si arrivi al 90%. Sebbene lo studio condotto dagli autori si riferisse all’ambito sanitario e ci siano alcuni aspetti da approfondire è sicuramente un valido aiuto soprattutto quando i nostri clienti sono dubbiosi sulla proposta fatta “solo” sulla base della nostra esperienza.

Interviste

Le interviste sono probabilmente lo strumento per il quale più degli altri, anche solo dal punto di vista del loro costo, è utile sapere a priori quante persone coinvolgere. Ci sono stati diversi studi in ambito accademico su quale sia la grandezza adeguata di un campione per delle interviste e sebbene non ci sia uno studio sistematico e omogeneo perché hanno considerato diversi tipi di interviste, in diversi domini e con diverse popolazioni c’è comune accordo che a partire da 12 utenti i risultati possono essere considerati accettabili.
Se si vuole un metodo da seguire (o da comunicare ai nostri clienti) possiamo fare riferimento allo studio di Francis e colleghi (2010) che propone il seguente processo:

  • Si inizia con un campione di almeno 10 interviste
  • Alle prime 10 interviste se ne aggiungono altre 3 che non contengono nuove informazioni e questo sarà il punto di saturazione dei dati. Il criterio di arresto prosegue fino a quando non ci saranno tre interviste consecutive senza materiale aggiuntivo

Un numero di almeno 12-13 utenti è stato recentemente confermato anche da Hagaman e Wutich (2017) che sostengono che la saturazione dei temi più comuni può essere raggiunta, in gruppi omogenei, con 16 interviste mentre per gruppi eterogenei (es. culturalmente diversi) è necessario un numero maggiore che va dalle 20 alle 40 interviste.

Riassumendo:

Strumento
N° di utenti
Test di usabilità
5-8 utenti
Studi quantitativi (es. metriche per misurare l’efficenza e l’efficacia, ecc)
a partire da 20 utenti
Questionari
In base alla numerosità della popolazione
Qui trovate un calcolatore che vi può essere di aiuto (https://www.checkmarket.com/sample-size-calculator/)
Tree testing
Eyetracking
39 utenti
Card sorting
dai 15 ai 30
Focus group
2/3 gruppi da 8/10 persone
Interviste
almeno 13 per gruppi omogenei
tra i 20 e 40 per gruppi eterogenei 

Lascia un commento

avatar
  Impostazioni notifiche  
Inviami una email:

Utilizzando il sito, accetti l'uso dei cookie da parte nostra. Maggiori informazioni

Questo sito utilizza i cookie per fornire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o cliccando su "Accetta" permetti il loro utilizzo.

Chiudi