Welcher Webmaster träumt nicht manchmal davon, dass Google ihm seine Wünsche erfüllt? Nun, dieser Traum kann zumindest teilweise in Erfüllung gehen. Nämlich mit Hilfe einer robots.txt.
Eine robots.txt ist eine Textdatei, in der Anweisungen für Google und andere Suchmaschinen stehen. Leider halten sich nicht alle Suchmaschinen an diese Vorgaben, aber zumindest die wichtigsten wie Google, Yahoo, Bing & Co. folgen den vom Webmaster vorgegebenen Anweisungen. Mit einer robots.txt Google steuern weiterlesen