Avanzate XML Sitemap Suggerimenti: 4 pagine da escludere in un file TXT Robot

Un file Robot TXT collabora con una sitemap XML per comunicare con i robot dei motori di ricerca, altrimenti noto come i motori di ricerca o bot. Si tratta di script automatici che viaggiano il World Wide Web con lo scopo di indicizzazione del contenuto. Mentre un sitemap XML indica i robot quali pagine web che si desidera tenere indicizzato, un file TXT robot fa il contrario, con l'elenco dei contenuti web che non si desidera robot da visitare perché vuoi escluderli dai motori di ricerca. Il file TXT robot può non consentire l'accesso al tuo intero sito web, alcune cartelle o pagine web specifiche. Il file può essere creato utilizzando il Blocco note in Windows o TextEdit in Mac, e deve essere salvato nella directory principale del tuo dominio
.

Ci sono 4 tipi principali di contenuti web che si vorrebbe escludere dai motori di ricerca utilizzando un robot TXT:

1. In-Progress
Content

Immaginate di revamping un grande sito web. Quando sbirciare nei file del sito web, si scopre che è pieno di pagine web obsolete e peggio ancora, le pagine che portano gli errori o reindirizzare quando la gente cerca di accedervi. Questi devono essere esclusi dal sitemap XML e aggiunto al file TXT Robot, così i motori di ricerca non a caso indice e inviare traffico a loro. Non c'è niente di più frustrante per un utente web che pensare che sono venuti sulle informazioni esatte di cui hanno bisogno, solo per scoprire che la pagina in realtà non esiste più. Se si sta lavorando su l'intero sito per un po ', si può anche utilizzare il file TXT Robots per non consentire l'accesso al tuo intero sito web, in modo da spider dei motori di ricerca di non visitare il vostro sito a tutti.

2. Privato Contenuti

Come azienda, è probabile che hai o stai pensando di pubblicazione di contenuti speciale per le persone che pagano o si iscrivono. Allo stesso modo, è possibile proteggere con password le parti del tuo sito web solo per alcuni membri del team di vedere. Ovviamente, non si vuole qualsiasi di queste pagine che mostrano nei motori di ricerca per tutto il mondo a vedere. Eliminando queste pagine dal proprio sitemap XML e inserendoli nel file TXT robot, si invia un messaggio chiaro ai motori di ricerca che le pagine sono private e non dovrebbero essere visualizzate come punti di ingresso del pubblico al tuo sito web.

3 . Bassa priorità
Content

Considerando quanto gli spider dei motori di ricerca sono programmi automatici, non si può pretendere loro di utilizzare il buon senso quando controllare il vostro sito web. Fanno le loro decisioni sulla base di calcoli, in modo che non coscientemente sanno quali pagine web considerate più importanti di altri. Per ragioni che vanno dal traffico di link esterni, una pagina banale come la vostra politica sulla privacy potrebbe essere che mostra nella parte superiore dei risultati dei motori di ricerca per determinate parole chiave. Se non si desidera che alcune pagine siano la tua prima impressione ai potenziali clienti e clienti, è necessario modificare le impostazioni di priorità nella tua sitemap XML e poi li elenco nel file TXT Robot.

4. Contenuti duplicati

I motori di ricerca penalizzano siti web per i contenuti duplicati, perché gli spammer usavano questa tattica per cercare di ingannare il sistema. Questo vuol dire che sei nei guai se offrite ai vostri spettatori una copia della stessa pagina web per la stampa, utilizzare http sicuro (https) e meno sicuro (http normale) versioni delle stesse pagine, o hanno URL diversi che puntano alla stesso elemento negozio di e-commerce, per esempio. Assicurarsi che i motori di ricerca sa che non li stai ingannando apposta identificando chiaramente nella pagina canonica (o preferito) nella tua sitemap XML e messa in vendita di eventuali duplicati nel file TXT Robot per esclusione Hotel  .;