You are viewing an old version of this page. Return to the latest version.
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperren.
Further information about the structure of For further information about this file, please refer to the Wikipedia.
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperren. <br data-attributes="%20/" data-mce-fragment="1" />Further For further information about the structure of about this file, please refer to the [http://dehttps://en.wikipedia.org/wiki/Robots_Exclusion_Standardexclusion_standard Wikipedia]..] [[de:Robotskonfiguration]][[en:{{FULLPAGENAME}}]] [[Category:Extension]] [[Category:Spam]]
Line 1: | Line 1: | ||
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperren. | Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperren. | ||
− | <br data-attributes="%20/" data-mce-fragment="1" /> | + | <br data-attributes="%20/" data-mce-fragment="1" />For further information about this file, please refer to the [https://en.wikipedia.org/wiki/Robots_exclusion_standard Wikipedia.] |