Doua analize recente au aratat ca sursele citate de ChatGPT se modifica pe masura ce traficul de cautare este directionat prin diferite retrieval pipelines (mecanisme interne de recuperare a informatiilor), invizibile pentru utilizatori.
Descoperirile
Cercetarile realizate de Chris Green si Suganthan Mohanadasan adauga o noua provocare in monitorizarea vizibilitatii in AI: raspunsul final nu dezvaluie modul in care ChatGPT si-a selectat sursele.
Ambii cercetatori au identificat etichete interne pentru selectarea surselor, inclusiv Labrador, Bright, Oxylabs si SERP. Aceste etichete se afla in spatele procesului de generare a raspunsului si nu sunt afisate in cardurile de citare pe care utilizatorii le vad in interfata.
Mecanismele ascunse au schimbat sursele
Chris Green a testat 1.000 de prompturi, ruland fiecare prompt de pana la 10 ori, si a inregistrat 9.946 de cautari finalizate.
Majoritatea prompturilor au ramas asociate aceleiasi surse de recuperare a informatiilor. In setul sau de date, Labrador a reprezentat 88,1% dintre sursele principale de cautare, urmat de Bright cu 9,9%, Oxylabs cu 1,7% si SERP cu 0,3%.
Totusi, 11,6% dintre prompturi si-au schimbat sursa principala de cautare in timpul rularilor repetate.
Gradul de suprapunere a URL-urilor (URL overlap) a scazut de la 0,273 la 0,149 atunci cand s-a schimbat sursa de cautare. De asemenea, suprapunerea domeniilor (domain overlap) a coborat de la 0,265 la 0,155.
Green a calculat ca acest lucru inseamna o reducere de aproximativ 45% a suprapunerii URL-urilor si de 42% a suprapunerii domeniilor.
Etichetele din spatele rezultatelor
Suganthan Mohanadasan a analizat doua zile de trafic brut din reteaua ChatGPT pentru un singur cont ChatGPT Pro autentificat si a inregistrat aproximativ 1.240 de inregistrari ale surselor, provenite din cateva zeci de cautari.
El a identificat un camp denumit result_source, atasat rezultatelor web, care continea patru valori observate:
- SERP
- Labrador
- Bright
- Oxylabs
Potrivit acestuia, Labrador include publicatii consacrate si site-uri de referinta, Bright este asociat cu infrastructura Bright Data, Oxylabs este legat de serviciile Oxylabs, iar SERP reprezinta o baza de cautare din web-ul deschis, utilizata in special pentru rezultate de tip stiri.
In timp ce testele repetitive realizate de Green au aratat ca Labrador domina setul sau de date, Mohanadasan a observat ca Bright are un rol mai important in esantionul analizat de el, in special pentru interogari comerciale, de shopping, financiare, meteo si locale.
Unele prompturi au ocolit complet cautarea pe web
Mohanadasan a descoperit si ca ChatGPT clasifica unele interogari inainte de a initia o cautare, folosind un camp intern numit turn_use_case.
Anumite prompturi au fost incadrate ca text, iar in aceste cazuri ChatGPT a omis complet cautarea pe web, chiar daca solicitarile pareau sa faca referire la informatii actuale. In astfel de situatii, nicio pagina web nu putea fi accesata, citata sau utilizata drept dovada.
In schimb, interogarile mai complexe, care implicau procesul de thinking, au avut un comportament diferit.
Mohanadasan a constatat ca ChatGPT poate lansa simultan mai multe cautari, inclusiv interogari de tip site:, verificari de preturi si cautari privind competitori care nu au fost mentionati explicit de utilizator.
Acest comportament schimba paginile care pot ajunge sa contribuie la raspunsul final, deoarece ChatGPT poate cauta versiuni reformulate ale intrebarii, poate face verificari directe pe anumite site-uri sau poate executa cautari suplimentare, in loc sa utilizeze exact expresia introdusa de utilizator.
O pagina accesata nu este neaparat si citata
Mohanadasan a separat procesul in trei rezultate distincte:
- fetched (pagina este accesata si incarcata in contextul ChatGPT);
- cited (pagina este citata ca sursa pentru o anumita afirmatie);
- mentioned (brandul este mentionat, fara a reprezenta sursa informatiei).
O pagina poate fi preluata in contextul ChatGPT fara ca utilizatorul sa o vada. Ea poate fi citata ca sursa pentru o propozitie sau un paragraf. De asemenea, un brand poate fi doar mentionat, fara ca informatiile sa provina efectiv de pe site-ul respectiv.
In esantionul sau restrans de interogari comerciale, Reddit si YouTube au fost accesate frecvent, insa doar Reddit a fost citat.
Potrivit lui Mohanadasan, diferenta este explicata de disponibilitatea continutului textual: discutiile de pe Reddit ofera text complet si usor de analizat, in timp ce rezultatele YouTube contin adesea doar metadate, nu si transcrierile integrale ale videoclipurilor.
Paginile oficiale ale furnizorilor au fost citate in principal pentru informatii precum preturi si specificatii tehnice, in timp ce paginile apartinand unor terti au fost utilizate mai frecvent pentru sustinerea recomandarilor generale.
De ce este important
Nu exista un singur indicator de vizibilitate in ChatGPT care sa poata fi masurat cu precizie.
Este posibil ca pagina ta sa nu fie luata niciodata in considerare daca ChatGPT nu efectueaza o cautare pe web, daca utilizeaza un alt retrieval source sau daca identifica o pagina terta mai clara si mai relevanta pentru sustinerea afirmatiei.
Ambele analize au aratat ca selectia surselor depinde, intr-o anumita masura, de ceea ce ChatGPT poate recupera si interpreta cu usurinta.
Mohanadasan a observat situatii in care ChatGPT parea sa prefere paginile oficiale cu preturi, dar revenea la surse terte atunci cand informatiile despre preturi erau ascunse in spatele codului JavaScript sau erau dificil de interpretat.
Rezultatele obtinute de Green au demonstrat, la randul lor, ca modul in care sunt directionate cautarile influenteaza URL-urile si domeniile care ajung sa fie incluse in setul de raspunsuri.
In acest context, paginile construite in HTML simplu, informatiile usor accesibile pentru crawlere, preturile si specificatiile prezentate clar, acoperirea solida din partea unor surse terte si continutul bogat in text devin factori si mai importanti atunci cand selectia surselor depinde de capacitatea sistemului de a recupera si de a interpreta informatiile.
Sursa informatie: Search Engine Land
Sursa foto: Gemini
