Om "robots.txt"
I Din webkatalog finns från början en fil kallad "robots.txt". Det är en fil med vars hjälp man kan styra sökmotorernas (Alta Vista, Google, m fl) sökrobotar.
Den "robots.txt" som ligger i Din webbkatalog ger sökrobotarna full tillgång till hela Din sajt:
User-agent: *
Disallow:
Vill Du begränsa tillgängligheten till vissa kataloger coh/eller filer så specificerar Du dessa på en eller flera "Disallow"-rader.
För att hindra robotarna från att indexera någonting på sajten skriver Du t ex:
User-agent: * Disallow: /
Vill Du bara hindra indexering av vissa kataloger kan Du ex-vis skriva så här:
User-agent: * Disallow: /tmp/ Disallow: /private/
Du kan också styra vilka robotar som får/inte får indexera Dina sidor, styra indexeringen med META-taggar på resp sida, mm. Läs mer på "The Web Robots Pages".
