Wer bereits eine etwas größere Website betreibt, kennt das Problem sicher. Man hat viele interessante Webseiten erstellt, aber nur die Hälfte davon landet im Index von Google. Der Grund dafür ist, dass der Crawler von Google in vielen Fällen nur Seiten findet, die maximal 2 Klicks von der Startseite entfernt sind. Um Google dabei zu helfen, alle Seiten auf der eigenen Website zu finden, ist es sinnvoll, eine Sitemap zu erstellen. Ein sehr gutes Programm für diesen Zweck ist meiner Meinung nach GSiteCrawler von SOFTplus.
Sitemap erstellen mit GSiteCrawler
Mit dem GSiteCrawler lassen sich für beliebig viele Websites Sitemaps erstellen. Im Gegensatz zu den meisten Online-Sitemap-Generatoren ist dabei die Anzahl der Seiten, die gecrawlt (durchsucht) werden können, unbeschränkt. GSiteCrawler bietet eine Unzahl von Einstellungsmöglichkeiten zur Erstellung einer eigenen Sitemap. Das macht das Tool natürlich sehr gut konfigurierbar, hat aber auch andererseits den Nachteil, dass man eine gewisse Zeit braucht, bis man sich richtig in das Programm eingearbeitet hat. Deshalb gebe ich hier einige Tipps, die den Einstieg etwas erleichtern sollen.
Der wichtigste Tipp gleich mal vornweg. Wer Windows Vista oder Windows 7 als Betriebssystem verwendet, sollte GSiteCrawler im Administratormodus starten, da sonst nicht alle Websites gecrawlt werden können. Dazu geht man in das Programmverzeichnis, klickt die Datei GSiteCrawler.exe mit der rechten Maustaste an und wählt im erscheinenden Kontextmenü den Menüpunkt „Eigenschaften“ an. Im Tab „Kompatibilität“ klickt man dann bei Berechtigungsstufe „Programm als ein Administrator ausführen“ an. Den gleichen Vorgang wiederholt man noch für die Dateien „DbCompress.exe“ und „Unwise.exe“.
Ein neues Projekt erstellen
Nach dem Start erstellt man ein neues Projekt, indem man links unten auf den Neu-Button klickt. Dann startet der GSiteCrawler-Wizard für neue Websites. Auf der ersten Seite braucht man nur seine Domain und einen beliebigen Projektnamen einzugeben. Die vorgegebenen Einstellungen auf der zweiten Seite sind im Normalfall sinnvoll und sollten daher so belassen werden. Die dritte Wizard-Seite bietet die Möglichkeit seine FTP-Dateien einzugeben, damit die Sitemap automatisch auf den eigenen Webspace hochgeladen werden kann. Auch die vorgegebenen Einstellungen auf der vierten Seite sind sinnvoll und sollten nicht geändert werden. Wer allerdings noch einige Feineinstellungen vornehmen möchte, sollte den Haken bei „Diese Website jetzt lesen und crawlen“ entfernen.
Der Automatik-Modus von GSiteCrawler
Meiner Ansicht nach die interessanteste Funktion, die GSiteCrawler bietet, ist der Automatik-Modus, den man unter Einstellungen/Automation findet. Wenn man dort „Vereinfachte Automation aktivieren“ anwählt, wird sofort nach dem Programmstart ohne weiteres Zutun die Sitemaperstellung gestartet. Wenn die Sitemap erzeugt wurde, lädt sie GSiteCrawler automatisch auf den Webspace hoch und meldet Google, dass eine neue Sitemap erstellt wurde.
Ich habe es bei mir so gemacht, dass ich mir 2 Verknüpfungen angelegt habe. Eine um das Tool ganz normal zu starten und eine für den Auto-Modus. Um diesen zu starten, klickt man die Verknüpfung mit der rechten Maustaste an und wählt Eigenschaften. Im Register „Verknüpfung“ gibt man dann hinter dem Programmaufruf den Parameter /auto an, also z. B. so „C:\Programme\SOFTplus\GSiteCrawler\GSiteCrawler.exe“ /auto“. So kann man das Tool wahlweise im Normal-Modus starten, um z. B. Veränderungen vorzunehmen oder im Auto-Modus, wenn man nur aktuelle Sitemaps erstellen möchte.
Umfangreiche Filterfunktionen
Sehr umfangreich sind auch die Filterfunktionen, die GSiteCrawler bietet. Es können komplette Verzeichnisse, aber auch einzelne Dateien angegeben werden, die nicht gecrawlt werden sollen. Auch Session-Ids kann man entfernen. Außerdem wird in einem Fenster die URL-Liste angezeigt. Dort kann man dann einzelne URLs von Hand löschen, bevor man eine Sitemap-Datei erzeugt.
Einfache HTML-Sitemaps
Neben XML-Sitemaps, die für Google verwendet werden, können mit GSiteCrawler auch HTML-Sitemaps erstellt werden, die als Orientierungshilfe für die Besucher auf der eigenen Website eingebunden werden können. Diese sind allerdings sehr einfach gehalten, so dass ein Einbau nur auf kleinen Websites sinnvoll ist.
Nachtrag: Auf Grund einer Nachfrage im Homepage-Forum erkläre ich noch kurz, wie man eine solche HTML-Sitemap erstellt. Leider ist diese Funktion ziemlich gut versteckt, so dass man sie nicht auf Anhieb findet.
Wenn man ein Projekt gecrawlt hat, wählt man im Menü „Erstellen“ den Menüpunkt „URL-Liste in div. Formaten“ an. Dort wählt man dann „Simple site map.htm“ an und kann die erstellte Liste als HTML-Sitemap auf der Festplatte speichern.
Fazit: GSiteCrawler bietet alles, was das Herz begehrt, wenn es um das Erstellen von Sitemaps geht. Durch die Komplexität des Programms braucht man zwar eine etwas längere Einarbeitungszeit. Hat man diese aber hinter sich gebracht braucht man für die regelmäßige Verwendung dank des hervorragenden Automatik-Modus nur noch einen Mausklick. Den Rest erledigt das Tool dann von selbst. Offene Fragen werden in der GSite-Crawler-Google-Group (englisch) sehr zügig beantwortet.
Hallo, auch ich finde das Programm absolut super. Nur manchmal habe ich das Gefühl, werden Aufgaben nicht richtig ausgeführt. Wenn ich dann zwischen den Projekten wechsle, fehlen dort die einst angegebenen Parameter. Programm beenden und neu starten und alles funktioniert wieder wie gehabt. Auch mit diesem kleinen Hinkefuss ist das Produkt absolute Spitzenklasse.
Das Programm ist klasse, allerdings im Detail nicht ganz trivial. Viele Punkte kann ich nicht richtig in ihrer Bedeutung verstehen. Suche eine Anleitung (am besten in Deutsch), die z.B. die Bedeutung von z.B. „manuell“ oder „Frequenz“ erläutert.
Eine deutschsprachige Anleitung gibt es, soweit ich weiß, nicht. Du kannst deine Fragen in der im Artikel genannten Google-Group auch auf Deutsch stellen. Allerdings wird die Antwort darauf wahrscheinlich in Englisch erfolgen.
Also hiermit möchte ich erstmal einen großen DANK aussprechen. Das Tool ist genau das was ich für die Sitemap erstellung gesucht hatte.
Und die HTML Datei ist ein klasse feature, was aber wie bereits im Blog erwähnt, ziemlich schwer zu finden ist.
Ich werde jetzt erstmal noch nen bissl mit dem Prog rumspielen und sehen was sich noch damit machen lässt.
Na Endlich, dieser ewige Timeout bei großen Seiten vom Server hat hiermit ausgedient. Hab kein besseres Tool finden können, was derart gut arbeitet.
Leider spuckt die Server Prüfung direkt am Anfang immer eine Fehlermeldung aus, egal welche Website ich eingeben oder teste…
@Stefan Du kannst mal versuchen, GSiteCrawler mit Adminrechten neu zu installieren. Ich hatte mal ein ähnliches Problem (einige WordPress-Blogs wurden nicht gecrawlt), da hat das geholfen. Ansonsten kann ich dir nur empfehlen, deine Frage in der GSite-Crawler-Google-Group zu stellen. Da erhältst du in der Regel auf eine Frage eine schnelle und kompetente Antwort.
Diese Berechtigungsstufe kann ich gar nicht einstellen, dieses Feld fehlt bei mir komplett…ich mache mich mal weiter auf die Suche, dennoch danke für die Antwort!
@Stefan Versuch mal folgendes: Geh auf das Icon oder den Startmenüeintrag, mit dem du GSiteCrawler startest, drücke die rechte Maustaste und wähle im Kontextmenü den Menüpunkt „Eigenschaften“.
Im darauf erscheinenden Fenster wählst du den TAB „Kompatibilität“ an und wählst dort „Programm als Administrator ausführen“ an.
So funktioniert es jedenfalls bei Windows 7. Bei XP und Vista müsste es eine ähnliche Einstellungsmöglichkeit geben.
Diese Einstellungsmöglichkeit „als Administrator ausführen“ ist wirklich nicht vorhanden. Habe selbst schon an mir gezweifelt, aber es ist nicht da. Verwende hier aktuell XP, da gibt es bei mir auch keine ähnlichen Einstellungsmöglichkeiten. Kann es mir auch nicht erklären…
Habe aber sowieso feststellen müssen, dass ich wohl zunächst noch paar Fehler an der URL Struktur beheben sollte, bevor ich das mit der Sitemap raushaue. Von daher hat das Thema gerade nicht mehr die höchste Prio.
Trotzdem danke!
Gut, ein CMS oder WordPress bringt diese Funktionalität in der Regel mit und automatisiert diesen ganzen Ablauf. Trotzdem habe ich immer mal wieder den Anwendungsfall, dass eine Kunde eine sitemap.xml möchte, das aber sein System bzw. die über Jahre aufgebaute statische Lösung nicht her gibt.
Oft halfen Online-Generatoren weiter, jedoch war immer Handarbeit im Anschluss nötig.
Ich werde GSiteCrawler sicher bei nächsten mal probieren. Werden die in der robots.txt für Crawler ausgeschlossenen Bereiche beachtet sowie ggf. hier hinterlegte Joker für Parameter, z.B. „disallow /*fontsize*“? Hierfür habe ich bisher noch nichts finden können…
Hallo Danke an den programiere der das ermöglicht hat!
Leider habe ich ein Problem beim Craweln legt mir das Programm den Server lahm!
nun bin ich auf der Suche nach einer lösung wie man das Problem beheben kann
Danke für eure Hilfe
Georg Heindl
Danke, an diesen Beitrag. Mir wurde auch schon empfohlen eine Sitemap zu erstellen. Jedoch finde ich es nicht gerade einfach, wenn man sich mit dem Thema nicht so super auskennt. Ich werde diesen Tipp auf jeden Fall beherzigen. GSiteCrawler wird gleich installiert und ausgeführt. Werde versuchen dieser Anleitung zu folgen. Vielen Dank nochmal!
Sehr schickes Tool und es funzt wirklich wunderbar 🙂 Habe auch schon länger nach so einer Lösung gesucht gehabt^^
Ich habe einen Blog und dort verschieden Artiekel geschrieben mit word press die haben aber kein html format zum Beispiel papiergeld-zu-gold.de/frankreich-in-der-gefahrenzone/ wie kann ich nun dies in meiner Sitemap einarbeiten das google diese Artiekel auch besser findet hat jemand da eine Idee oder muss ich jeden Artikel jetzt als html datei neu machen das wäre sehr viel arbeit bei 158 Artikeln.
sehr gutes Tool – ich benutze es nun schon 3 Wochen und funzt super!
Hallo Cujo,
vielen Dank für die einfache, gute Anleitung.
Hat mir wirklich sehr geholfen!
DANKE!!!
Andreas01
Schöne Hilfe, Danke…
Da ich auch ein kleiner Blog betreiber bin und eine Sitemap gesucht hatte, ist dieses Programm doch sehr hilfreich ….
LG Robert
Hallo,
wie kann ich mit dem Programm eine Sitemap mit über
500 Seiten erstellen?
Die Seite hat ca. 1100 Seiten.
Oder weiß jemand eine gute alternative dafür
Bei GSiteCrawler gibt es kein Limit. Ich erstelle damit regelmäßig eine Sitemap für eine Website mit mehr als 1.000 Seiten.
Wo hast du dann die Einstellung geändert?
Bei mir hört er genau nach 500 Seiten auf
Bei mir versagt das Teil den Dienst, seit ich von Windows XP auf Windows 7 umgestellt habe. Die Datenbank GSiteCrawler-Queue.mdb kann weder erstellt noch die vorhandene ausgelesen werden.
Egal, GSiteCrawler wird eh seit ewigen Zeiten, genauer gesagt: seit 2007, nicht mehr weiter entwickelt, und es gibt andere Programme, die ungefähr das gleiche können, zum Beispiel Hello Engines! oder WonderWebWare SiteMap Generator.