Come misuro (e cosa puoi verificare)
«Certificato» è una parola che nel marketing non costa niente, e qui non la uso. Questa pagina dice cosa faccio, punto per punto, e dove il numero è indicativo. Quello che si può verificare lo puoi verificare.
Come si scelgono le domande?
Le domande da porre alle AI si scelgono prima di misurare, con un criterio dichiarato: le ricerche a maggiore intento d’acquisto sulle categorie che l’azienda stessa presidia. E si pubblicano tutte, anche quelle dove il risultato è buono. Scegliere le domande dopo aver visto le risposte è il trucco più vecchio del mondo: qui è vietato per costruzione.
Le misure si ripetono, ma non bastano
In ogni giro ogni domanda va più volte a ogni motore; sul mio sito, tre. Il documento riporta i risultati grezzi: quante volte l’azienda è citata, quante no. Ma le ripetizioni stanno dentro lo stesso giro, e non dicono quanto la risposta cambia da un giorno all’altro. Un caso mio: sulle stesse 30 domande, Perplexity mi trovava in 15 risposte su 90 il 30 ottobre, e in 9 su 90 sedici ore dopo. Sulle due domande «miglior consulente di marketing digitale a Rimini» è passato da 6 su 6 a 0 su 6. Per questo i numeri sono indicativi, e chiederlo una volta a un’AI non è una misura: cosa cambia fra una domanda e un metodo.
Da dove leggo le risposte
ChatGPT, come lo vede chi lo apre dal sito, lo leggo attraverso un fornitore di dati, DataForSEO, che dichiara di farlo come un visitatore senza account. Una parte delle risposte arriva senza l’elenco delle fonti: il 31 ottobre, 32 su 92 risposte con ricerca. Perplexity e Gemini li interrogo dalle loro API, non dalle app che usa la gente. Sono modi diversi di guardare, e il numero di ciascun motore è indicativo.
Le risposte restano archiviate
Ogni risposta è salvata con data e ora. Il documento porta il riferimento del giro di misura che lo ha prodotto: da qualunque numero si può risalire alle risposte da cui viene. Se un dato ti sembra sbagliato, non discutiamo a parole: andiamo a vedere.
Quando la misura non riesce
Oggi il giro non si ferma da solo in ogni caso di errore. Il 29 ottobre è arrivato in fondo con 35 risposte in errore su 198, e quella misura non l’ho pubblicata. Non arrotondo, non stimo, non riempio i buchi: se un giro è bucato, il numero non esce.
I limiti si dichiarano
Quello che non si può sapere dall’esterno, non lo scrivo. Esempio concreto: dal di fuori vedo se sul tuo sito il tracciamento c’è o non c’è, ed è un fatto; quanto stai spendendo in pubblicità in questo momento non posso saperlo senza i tuoi accessi, e quindi non lo trovi scritto. Lo stesso vale per le AI: so cosa rispondono a me, non cosa rispondono a ogni persona che chiede. Un documento che dichiara i propri limiti è un documento di cui ci si può fidare sul resto.
La prova finale: lo uso su di me
Il mio sito lo misuro con lo stesso metodo, e i risultati sono pubblici: li trovi qui. Ho in corso un mese di prova del metodo, fino al 21 novembre: risultati ancora non ce ne sono, e quando ci saranno li scrivo anche se non mi fanno comodo.
Vuoi questa misura sulla tua azienda? Si parte dalla Diagnosi.