OpenAI ha ufficialmente dichiarato che il suo bot di recupero pagine, ChatGPT Fetch, potrebbe ignorare il robots.txt. I dati mostrano che il bot sta raggiungendo siti che lo hanno esplicitamente disabilitato. La documentazione di OpenAI spiega perché il file potrebbe non essere sufficiente a bloccare l'accesso.
Perché è importante
Per agenzie e imprese italiane, questa è una svolta critica. Il robots.txt è stato per anni lo strumento principale per controllare l'accesso dei crawler AI. Se OpenAI non lo rispetta, i tuoi contenuti possono essere utilizzati per addestrare modelli senza il tuo consenso. Questo solleva questioni di proprietà intellettuale e di controllo sui tuoi dati. Inoltre, il traffico dei bot AI sta già superando quello umano, come abbiamo analizzato in un nostro approfondimento sul traffico bot. La trasparenza su come i tuoi contenuti vengono usati diventa fondamentale.
Cosa cambia concretamente
Non puoi più fare affidamento solo sul robots.txt per proteggere i tuoi contenuti. Devi considerare alternative come l'autenticazione, i termini di servizio e il monitoraggio attivo dei log. Per chi produce contenuti, è il momento di valutare il valore dei propri testi e di capire come vengono utilizzati dall'AI. La misurazione dell'impatto del content marketing, come spieghiamo nel nostro articolo su come misurare il content marketing, diventa ancora più complessa. Devi sapere non solo chi legge, ma anche chi "impara" dai tuoi contenuti.
Come prepararsi
Iniziate a monitorare l'accesso del bot ChatGPT Fetch ai vostri siti. Verificate se state ricevendo visite da questo bot e da dove provengono. Considerate di aggiornare i vostri termini di servizio per chiarire l'uso consentito dei contenuti. E, soprattutto, iniziate a pensare a una strategia di contenuti che crei valore anche in un mondo dove l'AI può assorbire tutto. Il futuro della SEO non è solo posizionarsi, ma anche proteggere e valorizzare la propria proprietà intellettuale.
Fonte: https://www.searchenginejournal.com/openai-says-robots-txt-may-not-apply-to-chatgpts-fetch-bot/585864/, https://www.searchenginejournal.com/what-a-claude-watermark-can-cant-tell-you-about-authorship/585754/