Questo sito è un esperimento live
Quello che propongo di nuovo ai clienti lo provo prima su questo sito. Qui vedi cosa ho misurato, cosa non regge e cosa sto verificando adesso. Se una cosa non funziona, la trovi scritta qui.
Cosa ho fatto da giugno a settembre
Ogni mese ho fatto le stesse domande a più motori di AI, più volte, e ho pubblicato quanto spesso compariva il mio nome nelle risposte. Le domande sono di tre tipi: quelle col mio nome, quelle sul mio mestiere che non contengono il mio nome (le chiamo di categoria) e quelle di nicchia, cioè domande tecniche sul mio settore.
Il risultato lo dico a fasce: «raramente» vuol dire meno di una risposta su cinque, «spesso» fra metà e quattro su cinque.
spesso a giugno e luglio, sempre ad agosto e settembre.
mai a giugno, raramente da luglio a settembre.
mai a giugno e luglio, raramente ad agosto e settembre.
Sembra una salita. Non lo è, o non del tutto, perché in questi mesi ho cambiato il metodo più volte. Fino a luglio le domande a ChatGPT andavano a un modello del 2024, che rispondeva a memoria senza cercare sul web. Ad agosto ho tolto Claude dalla misura: da allora misuro ChatGPT, Perplexity e Gemini. Alcune domande erano scritte male e le ho riscritte. Con un metro che cambia, il confronto fra un mese e l’altro non regge.
Perché questi numeri valgono solo come indicazione
A fine ottobre ho controllato quanto è affidabile la misura. Lo è meno di come la presentavo. Le domande arrivano ai motori dalle interfacce per sviluppatori o da un fornitore esterno, e così la risposta che ottengo non coincide con quella che vede una persona: il suo account, la sua memoria e la sua sessione restano fuori.
Poi c’è la prova che mi ha convinto. Ho ripetuto le stesse domande a circa sedici ore di distanza, e su due domande Perplexity è passato da tre risposte su tre a zero su tre. La stessa domanda, a meno di un giorno di distanza, ha dato il risultato opposto. Per questo la differenza fra due misure sullo stesso motore non la leggo come un andamento.
Quindi per ChatGPT, Perplexity e Gemini il dato è indicativo. Lo scrivo a fasce, senza percentuali, e non lo porto più come un vanto. La misura annunciata per il 27 ottobre non è uscita: a fine ottobre ho fatto questo controllo.
Da novembre l'esperimento è un altro
Ho preso le domande che non contengono il mio nome e le ho divise per tema in due gruppi uguali. Li ho fissati il 31 ottobre, prima di scrivere una riga. Su un gruppo intervengo con pagine nuove, l’altro non lo tocco.
Anche la soglia l’ho decisa prima di vedere i risultati. L’intervento ha funzionato se, nel gruppo con le pagine nuove, le domande in cui compaio crescono di almeno sette più che nell’altro gruppo, e se resta così per due letture di fila. Fissare la soglia dopo aver visto i numeri si chiama racconto, non esperimento.
Le pagine nuove sono uscite il 2 novembre. Le prime letture sono il 3 e il 10 dicembre, le seconde il 31 dicembre e il 7 gennaio.
Ogni intervento sul sito durante l’esperimento lo segno in un registro, con data e ora: così alla lettura si sa cosa può aver mosso cosa.
Non c’è niente da comprare. Se vuoi vedere come va a finire, torna dopo le letture di dicembre.