Kommentarer till Vad skriver man i Robots.txt?

Av: Peter Dahlgren

Peter Dahlgren — Wed, 01 Apr 2009 22:10:13 +0000

@Patrik

Det är väl mest troligt att Google lagt in det åt dig. Det betyder att Google Adsense (med partners) inte ska indexera din sida. Inte heller sidan /search ska indexeras.

Rss-flödet du pratar om förstår jag inte vad du menar.

Av: Patrik

Patrik — Wed, 01 Apr 2009 18:23:49 +0000

nu ser jag att mitt rss flöde länk ligger under det jag skrev också… varför?

Av: Patrik

Patrik — Wed, 01 Apr 2009 18:22:39 +0000

Hej, jag har en blogg på blogger.com där det helt har slutat att komma in trafik från sök och nu tittade jag efter robots.txt som du sa och då står det så här:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Vad betyder de då? Kan google ha lagt in den åt mig tro?

Tack på förhand.

Av: Thorguns Blogg

Thorguns Blogg — Mon, 22 Sep 2008 15:16:59 +0000

Robots.txt – vad gör man med den?…

Robotar, spindlar och crawler – är nåt alla ”datanördar” vet vad det är.
Det är basic, ungefär som att räkna till 10.

Så idag har jag lärt mig lite basic, tagit itu med 404 http-felmedelanden.
Har sett det meddelandet rätt länge i…

Av: Göm utskriftsvänliga sidor för sökmotorerna - Backend Media

Göm utskriftsvänliga sidor för sökmotorerna - Backend Media — Wed, 01 Feb 2006 03:02:59 +0000

[...] Du kan läsa mer information om Robots.txt och hur den filen fungerar, eller mer om dubbelt innehåll i inlägget Så optimerar du din sida för sökmotorer. [...]

Av: Johan Lundström

Johan Lundström — Tue, 06 Dec 2005 23:21:41 +0000

Taget från W3C HTML 4.0:

Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.

Av: Patrick

Patrick — Sun, 04 Dec 2005 07:24:56 +0000

Något väldigt praktiskt: En robot.txt-generator

Av: Richard

Richard — Thu, 01 Dec 2005 09:55:31 +0000

Mycket bra skrivet! Kan bara tillägga att man alltid ska redigera robots.txt i UNIX-läge (enligt Search Engine World). Det står även att många FTP-program ställer om filen till UNIX-läge när den laddas upp, men inte alla!