Még a nagy szájtok közül is kevesen használják a robots.txt áldásos képességeit, pedig gyakran jól jön a segítség, ha terelgetni szeretnénk az oldalainkat bombázó és egyre agresszívabban viselkedő kereső- és kémrobotokat.
Igazándiból ezer előnye van annak, ha a blogod gyökerébe bemásolsz egy robots.txt névre hallgató fájlt, melyben tudtára adod a robotoknak, mit szabad nekik és mit nem.
Persze ez korántsem jelenti azt, hogy innentől kezdve minden gömbölyű lesz, és minden robot azt teszi, amit megengedsz neki, de a korrekt, és hivatalos keresőrobotok varázsütésre megszelídülnek. Ha pedig statisztikázni kezded az oldalad robotok által látogatott részét, észre fogod venni, hogy a tiltásokat-engedélyeket a legtöbbjük figyelembe veszi majd.
Persze értelemszerűen jól el is lehet cseszni az egészet, ha baromságokat teszel a szövegfájlba…
Nem szeretnék belemenni a robots.txt alapjainak taglalásába, mert egyrészt lusta dög vagyok, másrészt többek közt akár a wikipédián is millió magyarázat olvasható róla, de még magyarul is vannak értelmes leírások.
Magam részéről egy kimondottan WordPresshez ajánlott példafájlt alakítottam át úgy, hogy a saját dolgaimhoz klappoljon.
Én azt is megoldottam, hogy avatatlan szem ne lássa a robots.txt tartalmát, hiszen a rosszindulatú “kiváncsiskodó” ebből pontosan látni fogja, mit is akarsz elrejteni, ergo már csak azért is megpróbál belenézni.
Végezetül alant látható egy WordPresshez szabott robots.txt fájl, melyet a blogod gyökerébe (ahol a wp-config.php fájl van) kell bemásolni.
A sitemap.xml legyártására pedig az ingyenes Google (XML) Sitemaps Generator for WordPress bővítményt kell letölteni (magyarul beszél).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 | User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /tag Disallow: /author Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google Allow: / # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / User-agent: ia_archiver-web.archive.org Disallow: / # digg mirror User-agent: duggmirror Disallow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / Sitemap: http://www.a_blogod_domain_neve.hu/sitemap.xml # 2010.03.01 |
0 válasz to “Robots.txt”