Come può un giornale online impedire a Google di utilizzare i propri contenuti nelle AI overview?
Google utilizza diversi “crawler” (o “bot”) per scopi diversi.
- Googlebot: Il crawler principale di Google per la ricerca web.
- Googlebot-News: Il crawler specifico per Google News.
- Google-Extended: Un crawler separato che può essere bloccato tramite il
robots.txtper impedire a Google di utilizzare i contenuti per l’addestramento dei modelli di intelligenza artificiale di Google (come Gemini), senza però impedire l’indicizzazione per la ricerca tradizionale.
Un editore può utilizzare il robots.txt per bloccare selettivamente Google-Extended, ad esempio:
User-agent: Google-Extended
Disallow: /
Questa direttiva impedisce a Google di usare il contenuto del sito per addestrare i suoi modelli IA, ma non garantisce che i contenuti non vengano comunque utilizzati per le AI Overview, poiché Google potrebbe attingere le informazioni tramite Googlebot, che rimane autorizzato.
