Der SiteOne Crawler macht es Ihnen sehr einfach, Internetseiten komplett mit Bildern, CSS, JavaScript und Schriftarten auf Ihre Festplatte zu kopieren. Dadurch, dass er die Dateistruktur der ausgewählten Website beibehält, können Sie offline so in den Seiten navigieren, als ob Sie online wären. Sinnvoll sind Website-Backups bspw. für rechtliche oder archivarische Zwecke, dem Vorbereiten von Demos, die ohne Internet funktionieren sollen, das Einrichten von Disaster-Recovery-Systemen (DR-Systeme) sowie das Erstellen statischer Versionen dynamischer Websites. Oben geben Sie die Internetadresse der Website ein und starten mit einem Klick auf "Run". Je nach Größe des Projekts kann es etwas dauern, bis die Ergebnisse (Result) erscheinen. Danach können Sie den Report als HTML-, Text- oder JSON-Datei anzeigen lassen. Unter "Manually browsing the output" wird der Ordner angezeigt, in dem alle Ergebnisse gespeichert wurden. Dort finden Sie auch die sitemap.xml, die der Crawler automatisch erstellt (Generate sitemap).

Die Prüfberichte stützen sich auf eine Vielzahl von Analysen der Website und geben Optimierungs-Empfehlungen, decken sehr langsame Seiten sowie 404-Fehler auf und vieles mehr. Bei Bedarf können Sie die zahlreichen Einstellungen anpassen. Erläuterungen dazu holen Sie sich, wenn Sie in den "Basic settings" mit dem Mauszeiger auf den i-Button bzw. in den "Full settings" auf ein Feld zeigen. Ein weiteres Highlight ist der Markdown-Konverter. Er konvertiert eine Website in durchsuchbares Markdown mit allen Unterseiten, um bspw. Dokumentationen zu erstellen, die Inhalte in ein neues CMS zu integrieren oder an KI-Modelle zu übergeben. Der Markdown-Konverter wird über die Datei crawler.bat mit oder ohne Parameter gestartet. Mit dem Zusatz --markdown-export-dir=mysite wird bspw. der Unterordner festgelegt, in den die Markdowns kopiert werden. Nach der Installation vom SiteOne Crawler starten Sie den Startmenüeintrag Markdown Konverter mit der Möglichkeit, die Websiteadresse und den Markdown-Ordner vorzugeben. Weitere Parameter finden Sie hier.