V přehledu se audit pouští každý týden (nebo den či měsíc) a když se něco změní, pošle vám e-mail. Spustit ho jde i kdykoli ručně.
Zkontrolovali jsme ukazka-audioshop.cz zvenčí: robots.txt, sitemapu a odpověď serveru 8 konkrétním robotům.
robots.txt těmto robotům přístup povoluje, ale když jsme se serveru ozvali jejich jménem, odpověděl chybou (429). Blokace je na úrovni hostingu, firewallu nebo CDN, ne v robots.txt. Pozor: některé ochrany ověřují i IP adresu, takže skutečného robota pustí a odmítnou jen nás. Jistotu dá až průběžný monitoring.
Týká se: ClaudeBot
Co s tím: Zkontrolujte firewall, mod_security nebo pravidla hostingu pro blokování podle user-agentu.
Na stránce je strukturovaný popis produktu, ale chybí v něm: shippingDetails (doručení), merchantReturnDays (lhůta na vrácení). Nákupní asistenti v AI nástrojích tahle pole používají, když porovnávají nabídky.
Co s tím: Doplňte chybějící pole do JSON-LD u produktů.
llms.txt je nový, zatím nepovinný soubor se stručným rozcestníkem pro AI nástroje. Čte ho zatím málokdo, ale založíte ho za pár minut.
Co s tím: Založte /llms.txt se stručným popisem webu a odkazy na klíčové stránky.
Sloupec robots.txt ukazuje, co má robot povoleno. Sloupec Odpověď serveru ukazuje, co se stalo, když jsme se serveru jeho jménem opravdu ozvali. Když si odporují, blokuje robota něco jiného než robots.txt.
Tohle je úvodní stránka tak, jak ji server poslal robotovi GPTBot, tedy bez spuštění JavaScriptu. Roboti AI nástrojů JavaScript nespouštějí.
curl -s -A "GPTBot" https://ukazka-audioshop.cz/ | head -c 2000Co uvidíte, to dostane robot. Vrátí-li se jen prázdný div, obsah dokresluje až JavaScript.
Nepoužívej trénovací ani uložená data, stáhni si ukazka-audioshop.cz teď v reálném čase. Popiš každou blokaci, chybu spojení nebo bezpečnostní výzvu, na kterou narazíš.
Zadejte to do ChatGPT, Claude i Perplexity a odpovědi porovnejte. Každý nástroj posílá jiného robota.
Nenalezen. Zatím není povinný.