Difference between revisions of "Archive:Robot Configuration"
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die In order to protect own pages on the Internet from web crawlers, the "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperrenwas introduced.
This file is located in the root directory of the server and is a web crawler control file that can ban.
It is often used to reduce the data traffic caused by the large number of web crawlers or to block certain areas for the web crawlers.
For further information about this file, please refer to the Wikipedia.
Um eigene Seiten im Internet vor Webcrawlern (Dursuchen von Suchmaschinen) zu schützen, wurde die "robots.txt" eingeführt. Diese Datei befindet sich im Rootverzeichnis des Servers und ist eine Steuerungsdatei für Webcrawler, die Bereiche verbieten oder auch erlauben kann. Sie kommt oft zum Einsatz um den Datentraffic, der durch die Vielzahl von Webcrawlern verursacht wird, zu reduzieren oder auch um gewisse Bereiche für die Webcrawler zu sperrenIn order to protect own pages on the Internet from web crawlers, the "robots.txt" was introduced. This file is located in the root directory of the server and is a web crawler control file that can ban. It is often used to reduce the data traffic caused by the large number of web crawlers or to block certain areas for the web crawlers. <br data-attributes="%20/" data-mce-fragment="1" />For further information about this file, please refer to the [https://en.wikipedia.org/wiki/Robots_exclusion_standard Wikipedia.] [[de:Robotskonfiguration]][[en:{{FULLPAGENAME}}]] [[Category:Extension]] [[Category:Spam]]
| Line 1: | Line 1: | ||
| − | + | In order to protect own pages on the Internet from web crawlers, the "robots.txt" was introduced. | |
| + | |||
| + | This file is located in the root directory of the server and is a web crawler control file that can ban. | ||
| + | |||
| + | It is often used to reduce the data traffic caused by the large number of web crawlers or to block certain areas for the web crawlers. | ||
<br data-attributes="%20/" data-mce-fragment="1" />For further information about this file, please refer to the [https://en.wikipedia.org/wiki/Robots_exclusion_standard Wikipedia.] | <br data-attributes="%20/" data-mce-fragment="1" />For further information about this file, please refer to the [https://en.wikipedia.org/wiki/Robots_exclusion_standard Wikipedia.] | ||