I quattro principali motori di ricerca hanno convenuto una soluzione comune per facilitare agli utenti il compito di segnalare il proprio Sitemap ai motori stessi. Per andare incontro all’utenza, infatti, Ask, Yahoo, Google e Live Search hanno stabilito un sistema automatico che eviterà agli utenti l’onere di visitare i 4 motori per andare a segnalare manualmente il percorso dei propri Sitemap.
L’annuncio è stato formalizzato congiuntamente dai 4 motori tramite i rispettivi blog (Live Search, Yahoo, Ask.com, Google): per tutti i motori rimane attiva la possibilità di segnalare manualmente il percorso del Sitemap, ma tutti convengono sulla possibilità di segnalare il tutto compilando semplicemente il file Robots.txt. Gli utenti dovranno semplicemente indicare sul proprio file il percorso del Sitemap secondo la seguente sintassi:
Sitemap: http://www.mysite.com/sitemap.xml
La definizione del Sitemap è affidata al sito ufficiale che ne illustra i dettami: «le Sitemap consentono ai webmaster di indicare ai motori di ricerca le pagine dei loro siti disponibili per la scansione. Nella sua forma più semplice, una Sitemap è un file XML contenente gli URL di un sito insieme ai rispettivi metadati aggiuntivi (data dell’ultimo aggiornamento, frequenza tipica delle modifiche, importanza rispetto agli altri URL del sito) che consente ai motori di ricerca di eseguire la scansione del sito in modo più efficiente».
I motori non garantiscono l’inclusione dei siti web nei rispettivi indici, ma l’uso del Sitemap offre evidenti vantaggi: «l’utilizzo del Protocollo Sitemap non garantisce l’inclusione delle pagine web nei motori di ricerca, ma facilita il processo di scansione del tuo sito da parte dei crawler web».