Claude a vyhledávání na webu: jak Claude hledá zdroje a jak ho nezablokovat

Jak Claude hledá na webu

Claude odpovídá ze dvou zdrojů. Prvním jsou znalosti z tréninku, které mají datum uzávěrky a o malých firmách v nich bývá málo. Druhým je vyhledávání na webu: když otázka vyžaduje aktuální nebo konkrétní informace, Claude vyhledá relevantní stránky, přečte je a odpověď na ně odkáže. Citace jsou vidět přímo u vět, které z daného zdroje vycházejí. Uživatel tak vidí, odkud informace pochází, a na zdroj může přejít. Pro firmu je citace dvojí přínos: asistent ji zmíní a zároveň přivede návštěvníka, který už ví, co hledá.

Vyhledávání je v aplikaci Claude funkce, kterou lze zapnout nebo vypnout, a její dostupnost se může lišit podle tarifu. Kromě běžného hledání nabízí Claude i důkladnější režim výzkumu (Research), ve kterém projde víc zdrojů a sestaví delší přehled. Uživatel také může do konverzace vložit konkrétní odkaz a požádat Clauda, aby stránku přečetl.

Anthropic veřejně podrobně nepopisuje, jak přesně výsledky vyhledávání vybírá a odkud všude je bere. Proto v tomto článku nebudeme spekulovat o vnitřním fungování. Pro firmu z toho plyne praktický závěr: neoptimalizujte na jeden konkrétní vyhledávač, ale postarejte se, aby byl web dostupný pro roboty Anthropicu, dobře zaindexovaný v klasických vyhledávačích a srozumitelný pro jakéhokoli čtenáře, člověka i stroj.

Claude navíc nefunguje jen ve vlastní aplikaci. Vývojáři ho přes rozhraní API zapojují do svých produktů, včetně nástroje pro vyhledávání na webu. Váš web tak může číst i aplikace jiné firmy, která na Claudovi stojí.

ClaudeBot, Claude-SearchBot a Claude-User

Anthropic provozuje tři roboty s odlišným účelem. Každý se v robots.txt nastavuje zvlášť a podle provozovatele se pravidly robots.txt řídí.

Pro většinu firem je doporučení jednoduché: Claude-SearchBot a Claude-User povolte. O ClaudeBot rozhodněte podle toho, jestli vám vadí, že se váš text použije k tréninku. Pro služby, řemesla a e-shopy trénink obvykle nevadí a spíš pomáhá, aby model vaši značku znal. Autoři placeného obsahu ho zakázat mohou, aniž by přišli o vyhledávání.

# Vyhledávání a načítání na pokyn uživatele: povoleno
User-agent: Claude-SearchBot
User-agent: Claude-User
Disallow: /admin/

# Trénink: zakázáno (volitelné)
User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.vasweb.cz/sitemap.xml

Všimněte si zopakovaného řádku Disallow: /admin/. Robot, který má v robots.txt vlastní skupinu, pravidla ze skupiny * nečte. Další příklady a přehled robotů ostatních AI asistentů najdete v článku robots.txt a AI boti.

Jak Clauda omylem nezablokovat

Většina webů, které Claude nevidí, ho nezablokovala vědomě. Blokace přišla s šablonou, pluginem nebo nastavením hostingu. Projděte tato místa:

• robots.txt. Hledejte řádky s Claude, anthropic nebo obecné User-agent: * s Disallow: /. Starší návody doporučovaly blokovat robota anthropic-ai, který už Anthropic neuvádí. Takový řádek neškodí, ale může svádět k dojmu, že je nastavení aktuální.
• Cloudflare. Nastavení pro blokování AI robotů funguje na úrovni sítě a robots.txt vůbec nečte. U některých účtů může být blokace zapnutá už ve výchozím stavu. Zkontrolujte sekci pro AI crawlery a boty.
• Bezpečnostní pluginy a hosting. Pluginy jako ochrana proti spamu nebo firewall WordPressu mohou neznámé roboty odmítat chybou 403. Totéž dělají některé hostingy.
• Obsah za přihlášením. Roboti Anthropicu neprocházejí stránky chráněné heslem. Ceník nebo katalog dostupný jen po registraci Claude nepřečte.

Co zvyšuje šanci, že vás Claude bude citovat

Když Claude vyhledává, vybírá pasáže, které na otázku přímo odpovídají a dají se ověřit. Platí pro něj stejné principy jako pro ostatní asistenty, které shrnuje článek jak AI vybírá firmy. V praxi pomáhá:

1. Stránka pro každou hlavní službu nebo produkt. Zubní ordinace v Plzni potřebuje samostatnou stránku pro dentální hygienu, ne jen řádek v seznamu služeb.
2. Přímá odpověď na začátku sekce. Dvě až tři věty, které by šlo ocitovat samostatně, a pak podrobnosti.
3. Konkrétní a ověřitelné údaje. Cena nebo cenové rozpětí, adresa, otevírací doba, termíny, parametry. Obecné fráze o kvalitě a individuálním přístupu nic neříkají.
4. Jasná identita firmy. Název, sídlo, IČO, kontakt a obor uvedené jednotně na webu i ve strukturovaných datech Organization nebo LocalBusiness.
5. Zmínky na jiných webech. Katalogy, recenze, oborové články. Claude při hledání často narazí nejdřív na ně a váš web potvrdí, co o vás píšou jiní.
6. Aktuálnost. Datum aktualizace u článků a ceníků a odstranění zastaralých stránek.

Technické minimum, aby Claude stránku přečetl

• Text v HTML od serveru. Hlavní obsah stránky musí být vidět i ve zdrojovém kódu, ne až po spuštění skriptů.
• Rychlá odpověď serveru. Robot, který čeká příliš dlouho, může načítání vzdát.
• Správné stavové kódy. Existující stránka vrací 200, smazaná 404 nebo 410, přesunutá trvalé přesměrování 301.
• Jasné nadpisy. Jeden nadpis H1 a logicky řazené H2 pomáhají najít pasáž, která na otázku odpovídá.
• Cookie lišta, která nepřekrývá obsah v HTML. Lišta sama nevadí, pokud text stránky zůstává v kódu dostupný.

Podrobné rady k psaní textů, které AI ráda cituje, najdete v článku obsah, který AI cituje. Jako levný doplněk můžete přidat i soubor llms.txt se stručným přehledem webu. Potvrzení, že by ho Claude při vyhledávání používal, ale nemáme, takže ho berte jako bonus, ne jako základ.

Co o vás Claude ví bez vyhledávání

Když má uživatel vyhledávání vypnuté nebo když Claude usoudí, že hledat nepotřebuje, odpovídá jen ze znalostí z tréninku. O velkých značkách toho ví hodně, o kavárně v Brně nebo autoservisu v Liberci často nic, případně jen útržky. Pak se může stát, že vaši firmu nezná vůbec, nebo uvede zastaralý údaj.

Přímo to ovlivnit nejde. Do znalostí budoucích modelů se ale dostává to, co je o vás na veřejném webu dlouhodobě a na více místech: váš web, pokud ClaudeBot nezakážete, a weby, které o vás píšou. Proto mají smysl dvě věci zároveň. Pro vyhledávání potřebujete dostupný a srozumitelný web dnes. Pro znalosti modelů potřebujete konzistentní stopu na internetu, která se buduje měsíce. O tom, jak získávat zmínky na jiných webech, píšeme v článku zmínky o firmě.

Příklad: kavárna v Brně

Majitelka kavárny v Brně se Clauda se zapnutým vyhledáváním zeptá: „Kde v Brně najdu kavárnu, kde se dá v klidu pracovat s notebookem?“ Claude doporučí tři jiné podniky a jako zdroj cituje místní blog a katalog. Její web mezi zdroji není.

Kontrola ukáže dvě příčiny. Hosting měl ve firewallu zapnutou ochranu proti robotům, která odmítala neznámé user-agenty chybou 403. A web nikde neuvádí to, na co se zákazník ptal: že kavárna má zásuvky u stolů, rychlou wifi a klidnou zadní místnost. Majitelka požádá hosting o povolení robotů Anthropicu a dalších AI asistentů a na úvodní stránku přidá krátkou sekci „Práce s notebookem“ s konkrétními údaji. Do odpovědí se tím automaticky nedostane, ale odstranila dvě překážky, kvůli kterým neměla šanci vůbec.

Jak otestovat, jestli vás Claude najde

Testování má dvě části. Technická část ověří, že se Claude k vašemu webu vůbec dostane. Obsahová část ukáže, jestli vás při skutečných otázkách zákazníků najde a doporučí. Začněte technickou, protože bez ní obsahová nemá smysl: pokud robot dostává chybu 403, žádná úprava textů nepomůže.

1. Zkontrolujte přístup. Otevřete vasweb.cz/robots.txt a ověřte, že Claude-SearchBot a Claude-User nejsou zakázaní. Pak vyzkoušejte odpověď serveru příkazem níže. Kód 403 znamená blokaci na serveru nebo ve firewallu. Firewally ověřují roboty i podle IP adresy, výsledek je proto orientační.
2. Požádejte Clauda o přečtení stránky. Se zapnutým vyhledáváním vložte odkaz na svou stránku služby a zeptejte se, co na ní je. Pokud ji Claude nedokáže načíst, něco ho blokuje.
3. Položte otázky zákazníků. Bez názvu vaší firmy, třeba „Kde v Brně najdu kavárnu, kde se dá v klidu pracovat s notebookem?“. Zapište si, jestli vás Claude zmínil, citoval a koho doporučil.
4. Porovnejte odpovědi s vyhledáváním a bez něj. Bez vyhledávání uvidíte, co o vás Claude ví z tréninku. S vyhledáváním uvidíte, co najde na webu dnes.
5. Podívejte se do logů serveru, jestli na web chodí Claude-SearchBot a Claude-User.
6. Sledujte návštěvy z claude.ai v Google Analytics 4. Část návštěv z aplikací se může ukázat jako přímá. Nastavení popisuje článek měření návštěv z AI.

curl -I -A "Claude-SearchBot" https://www.vasweb.cz/

HTTP/2 200

Odpovědi se mění podle formulace, dne i nastavení uživatele, proto testujte opakovaně v čase. Zmínka v AI reportu klade otázky zákazníků Claudovi, ChatGPT, Perplexity i Gemini a ukáže, kde vás zmiňují a koho doporučují místo vás. Jak měření probíhá, popisuje metodika.