Hogyan lehet megakadályozni az indexelést a robots txt használatával

Előző
hogyan

Hogyan használja a robots.txt fájlt a webhely oldalainak indexelésének megakadályozására?

Jó nap!

Ezt a feladatot a Disallow paranccsal lehet megoldani.

Konkrét példákat mondok:

1. Ha bizonyos oldalakat kell bezárnia (például egy RSS-hírcsatorna címe):

User-agent: * Disallow: /page1.html Disallow: /posts/page2.html

2. Ha be kell zárnia a webhely szakaszt – például a bejegyzések szakaszt használva, zárja be a site.ru/posts oldalt + az összes site.ru/posts/page1.html, site.ru/posts/page2 oldalt .html stb.:

User-agent: * Disallow: /posts/

3. Ha be szeretné zárni az összes oldalt vagy szakaszt (mappát), amelynek nevében a „bejegyzések” szó szerepel:

User-agent: * Disallow: bejegyzések

4. Ha be kell zárnia a site.ru/?page=xxx címmel rendelkező, dinamikusan generált oldalakat:

User-agent: * Disallow: /*?page*

5. Ha robots txt fájlt kell használnia a webhely indexelésének teljes megtiltásához (igen, néha erre is szükség van):

User-agent: * Letiltás: /

A robots txt fájlról részletesebben is olvashatsz a megadott linken található cikkemben.

Kiegészítő intézkedésként használhat metacímkét is, ha a motor lehetővé teszi annak elhelyezését az egyes oldalakon (a WordPress esetében különösen az All in Seo Pack bővítmény teszi ezt):

Általánosságban elmondható, hogy az indexelés tilalma nagyon fontos dolog a keresőoptimalizálásban, hiszen a legtöbb motor ma már olyan oldalakat hoz létre, amelyek ugyanazt a tartalmat duplikálják, és nagyon fontos ezeket a duplikációkat a fenti módszerekkel lezárni.

Következő

Olvassa el tovabba: