emefgebot ist der Name des Crawlers (Spider) für emefge.

emefgebot besucht täglich Millionen von Internetseiten und analysiert deren Inhalte und Erreichbarkeit um diese so aktuell wie möglich den Anwendern präsentieren zu können.

emefgebot gehorcht dem robots.txt Standard und den metatags.

Die robots.txt sollte im Anfangsverzeichnis (Rootverzeichnis) ihrer Webpräsenz stehen.

Mögliche Inhalte für eine robots.txt:

User-agent: *
Disallow: /Bilder
Disallow: /Privat
Allow: /Internet

Hier werden die Verzeichnisse /Bilder und /Privat für alle Crawler gesperrt, das Verzeichnis /Internet darf durchsucht werden. Beachten Sie, dass Groß- und Kleinschreibung unterscheiden wird.

User-agent: *
Disallow: /private
Disallow: /Private
Disallow: /PRIVATE

 

User-agent: emefgebot
Disallow: /

Diese Angabe sperrt die komplette Internetpräsenz für den emefgebot.

Wollen Sie nur einzelne Internetseiten vor dem Analysieren durch emefgebot sperren, reicht ein Metatag im <head>-Bereich dieser Seite. emefgebot analysiert folgende Metatags:

	<meta name="robots" content="noindex">
	// Diese Seite wird von emefgebot nicht indiziert

	<meta name="emefgebot" content="noindex">
	// Diese Seite wird von emefgebot nicht indiziert

Bei einem Erreichbarkeitstest der Internetseite werden die robots.txt und die Metatags nicht beachtet.

 

Sollten Sie noch Fragen zu emefgebot haben, können Sie uns diese unter emefgebot@cececo.de stellen.