robots.txt a AI boti: jak nastavit přístup pro GPTBot, ClaudeBot a další

Co je robots.txt a jak funguje

robots.txt leží vždy na adrese https://www.vasweb.cz/robots.txt, tedy v kořeni domény. Každá subdoména (třeba eshop.vasweb.cz) potřebuje vlastní soubor. Slušní roboti si ho přečtou dřív, než začnou web procházet, a řídí se jeho pravidly. Formát popisuje standard Robots Exclusion Protocol (RFC 9309).

Důležité je slovo slušní. robots.txt je dohoda, ne zámek. Velcí provozovatelé vyhledávačů a AI ho deklarativně respektují, ale robot, který se jím řídit nechce, ho prostě ignoruje.

Dřív stačilo hlídat Googlebota, SeznamBota a Bingbota. S AI asistenty přibyly desítky nových robotů a každý provozovatel jich má několik s různým účelem. Jeden řádek v robots.txt tak dnes rozhoduje o tom, jestli vás ChatGPT nebo Perplexity vůbec můžou citovat. Proto stojí za to soubor jednou projít a rozhodnout vědomě, ne nechat výchozí nastavení šablony nebo hostingu.

Základní syntaxe

# Komentář začíná mřížkou
User-agent: *
Disallow: /admin/
Allow: /admin/verejny-cenik.pdf

Sitemap: https://www.vasweb.cz/sitemap.xml

• `User-agent` určuje, pro kterého robota skupina pravidel platí. Hvězdička * znamená všechny ostatní.
• `Disallow` zakazuje cestu a vše pod ní. Disallow: / zakazuje celý web, prázdné Disallow: nezakazuje nic.
• `Allow` povoluje výjimku uvnitř zakázané cesty.
• `Sitemap` odkazuje na mapu webu a platí bez ohledu na skupiny.
• Cesty rozlišují velká a malá písmena. Google a velcí AI provozovatelé podporují zástupné znaky * (cokoli) a $ (konec adresy).
• Při konfliktu vyhrává delší, tedy konkrétnější pravidlo. Při shodě délky Google upřednostní Allow.

Kde robots.txt upravit

WordPress vytváří robots.txt automaticky jako virtuální soubor, který na disku neuvidíte. Upravit ho jde přes SEO pluginy (Yoast SEO i Rank Math mají editor robots.txt) nebo tak, že do kořene webu nahrajete vlastní soubor robots.txt. Fyzický soubor má přednost a virtuální verzi úplně nahradí, proto pak úpravy v pluginu nemají žádný účinek.

Shoptet a další pronajaté platformy soubor generují samy. Jestli a kde ho můžete upravit, najdete v jejich nápovědě. U Cloudflare pozor na funkci spravovaného robots.txt, která do souboru přidává vlastní řádky pro AI boty. Výsledný soubor tak může vypadat jinak než ten, který máte na serveru.

Přehled AI botů: kdo chodí na váš web

Názvy a role botů se mění. Jednou za pár měsíců se podívejte do dokumentace provozovatelů, jestli nepřibyl nový. A nezapomeňte na SeznamBot: kdo ho omylem zablokuje, zmizí z vyhledávání na Seznamu.

Povolit, nebo blokovat? Trénink vs. vyhledávání

Rozhodujte zvlášť o dvou věcech, protože mají úplně jiné důsledky.

Vyhledávání. Když se někdo zeptá ChatGPT „Kde v Liberci rychle opraví klimatizaci v autě?“, asistent prohledá web a cituje stránky, které jeho bot smí načíst. Pokud OAI-SearchBot zablokujete, sami se z té odpovědi vyřadíte. Pro firmu, která chce zákazníky, je blokace vyhledávacích botů skoro vždy chyba. Doporučujeme je povolit.

Trénink. Obsah se stane součástí znalostí budoucích modelů. Výhoda: model o vaší značce ví, i když zrovna nehledá na webu. Nevýhoda: váš text se použije bez odkazu a bez odměny. Tady je rozhodnutí na vás:

• Služby, řemesla, e-shopy, místní firmy: trénink obvykle nevadí, spíš pomáhá, aby AI znala vaši značku. Povolte vše.
• Média, autorský obsah, placené kurzy a návody: dává smysl zakázat trénink a vyhledávání nechat povolené.
• Neveřejný obsah: robots.txt nestačí. Patří za přihlášení.

Jedno upozornění k tréninku: zákaz platí jen do budoucna. Co už roboti stáhli dřív, z hotových modelů nezmizí. A zákaz pro GPTBot nebo ClaudeBot neznamená, že AI o vaší firmě nebude nic vědět; informace může čerpat z jiných webů, které o vás píšou.

Jak dál zvýšit šanci, že vás ChatGPT doporučí, rozebírá článek jak se dostat do odpovědí ChatGPT.

Tři hotové příklady robots.txt

1. Povolit vše (doporučeno pro většinu firem)

E-shop s kávou zakazuje jen košík, interní vyhledávání a administraci, které nemají ve výsledcích co dělat. Všichni roboti včetně AI mají přístup k ostatnímu obsahu.

User-agent: *
Disallow: /kosik/
Disallow: /hledani/
Disallow: /admin/

Sitemap: https://www.priklad-kava.cz/sitemap.xml

2. Vyhledávání ano, trénink ne

Víc robotů může sdílet jednu skupinu, stačí napsat několik řádků User-agent pod sebe. Všimněte si, že /admin/ je zopakované v každé skupině, protože pojmenovaní roboti skupinu * nečtou.

# Vyhledávací boti AI: povoleno
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /admin/

# Trénink modelů: zakázáno
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Ostatní včetně Googlebota, Bingbota a SeznamBota
User-agent: *
Disallow: /admin/

Sitemap: https://www.priklad-kava.cz/sitemap.xml

3. Zablokovat všechny AI boty

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.priklad-kava.cz/sitemap.xml

Tuhle variantu zvažte jen s vědomím důsledků. ChatGPT, Claude ani Perplexity váš web nebudou citovat, ale o vaší firmě budou dál mluvit podle srovnávačů, recenzí a článků jiných webů, které už nemáte pod kontrolou. AI přehledy v Googlu a Copilot to neovlivní, protože čerpají z indexů Googlebota a Bingbota.

Časté chyby v robots.txt

• `Disallow: /` zapomenuté z vývoje. Testovací verze webu má zákaz všeho, web se spustí a zákaz zůstane. Vyhledávače i AI pak web postupně přestanou vidět.
• Blokace přes Cloudflare. Cloudflare a další firewally nabízejí nastavení pro blokování AI botů. To funguje na úrovni sítě a robots.txt vůbec nečte: v souboru máte vše povoleno, a bot přesto dostane chybu 403. Zkontrolujte v administraci Cloudflare sekci pro AI crawlery a boty, u některých účtů může být blokace zapnutá už ve výchozím stavu. Totéž platí pro bezpečnostní pluginy WordPressu.
• robots.txt jako zabezpečení. Soubor je veřejný, takže výčet „tajných“ adres v něm naopak ukazuje, kde hledat. Neveřejný obsah chraňte heslem.
• Záměna Disallow a noindex. Zakázaná adresa se může v Googlu objevit i tak, jen bez popisku. Pokud stránku chcete z výsledků odstranit, použijte meta značku noindex a procházení nechte povolené.
• Samostatná skupina bez zopakovaných pravidel, viz past popsaná výše.
• Chyba serveru. Když robots.txt vrací chybu 5xx, Google může procházení webu dočasně zastavit. Chybějící soubor (404) naopak znamená, že je povoleno vše.
• Zablokované CSS a JavaScript. Vyhledávač pak nevidí stránku tak jako návštěvník.
• Překlep ve jménu robota nebo soubor ve špatné složce, třeba /web/robots.txt.

Jak ověřit nastavení

1. Otevřete https://www.vasweb.cz/robots.txt v prohlížeči a přečtěte si ho celý, včetně řádků, které mohl přidat plugin nebo hosting.
2. V Google Search Console otevřete Nastavení a přehled robots.txt. Uvidíte, kdy si Google soubor naposledy stáhl a jestli v něm našel chyby.
3. Bing Webmaster Tools nabízí nástroj pro testování robots.txt, Seznam Webmaster ukáže stav procházení SeznamBotem.
4. Vyzkoušejte, jak server odpoví robotovi. Příkaz níže pošle požadavek se jménem GPTBot. Kód 403 znamená blokaci na úrovni serveru nebo firewallu. Firewally ale ověřují boty i podle IP adresy, takže výsledek berte jako orientační.
5. Podívejte se do přístupových logů serveru, jestli na web chodí OAI-SearchBot, Claude-SearchBot nebo PerplexityBot.

curl -I -A "GPTBot" https://www.vasweb.cz/

HTTP/2 200

Rychlejší cesta: bezplatný sken webu ukáže, kterým AI crawlerům váš robots.txt přístup povoluje a kterým ne. Pokud chcete AI botům web ještě víc usnadnit, přidejte llms.txt a projděte si SEO audit checklist.