Wählen Sie ein Profil, das zur Frage passt
Standard ist die normale Grundlage. Fast eignet sich für die schnelle Prüfung eines Releases. Deep erschließt mehr Klickebenen in ruhigerem Tempo. Der Launcher steuert außerdem URL-Limit, Parallelität, Sitemap-Seed, Subdomains und die Parameter-Bereinigung.
Beobachten Sie die Phasen
Discovery und Crawling erhöhen die Zähler für abgerufene und wartende URLs. Die Speicherung schreibt die gesammelten Belege als konsistenten Snapshot. Große Sites bleiben mitunter mehrere Minuten in der Speicherung, auch wenn der sichtbare Abrufzähler stehen bleibt. Der Lauf endet entweder vollständig oder zeigt einen Fehlerzustand.
Lesen Sie das Crawl-Log vor den Berichten
Das Crawl-Log hält Dauer, Verteilung der Statuscodes und die Frage fest, ob das URL-Kontingent die Discovery gestoppt hat. So verwechseln Sie eine Teilstichprobe der Site nicht mit vollständiger Abdeckung.
Beachten Sie Inhaberschaft und Crawl-Richtlinie
Reguläre Audits folgen der robots.txt. Eine bestätigte Inhaberschaft schaltet die bewusste Steuerung frei, die ein vom Inhaber autorisierter Test ohne robots-Regeln braucht. Große Plattformen und andere unsichere Crawl-Ziele lassen sich nicht als Projekte anlegen.