SEO-guider
Forstå robots-meta og noindex
Robots-meta kan fortælle en understøttet crawler, at en side ikke ønskes indekseret, eller at links skal behandles på en bestemt måde. En privat eller intern søgeside kan med vilje have noindex. En offentlig artikel kan have det ved en fejl. Hensigten er derfor vigtigere end en rød eller grøn indikator.
Sådan gør du
- Beslut hvilke sider der skal kunne findes via søgning. Administrationssider og interne søgeresultater har ofte et andet formål end offentlige guider.
- Se efter både robots- og crawler-specifikke meta-tags. Modstridende værdier skal vurderes for den crawler, de gælder.
- Undersøg også serverens X-Robots-Tag, hvis du har adgang. Den lokale HTML-analyse har ikke hentet HTTP-headere.
Eksempel
<!-- Kun hvis siden med vilje skal udelukkes -->
<meta name="robots" content="noindex, follow">Kontrollér selv
- Er noindex tilsigtet for denne side?
- Er der modstridende tags eller headere?
- Er fortroligt indhold beskyttet af adgangskontrol?