Eintragung bei Google Einstellungen

[Conny]

Hallo,
Zitat aus Dieters Link:

Der Glaube an die regulierende Wirkung der "robots.txt"-Datei kann fatale Folgen haben...

Zitat aus meinem Posting weiter oben:

..bin ich da doch ein Wenig skeptisch..

Ergo: war mein *Bauchgefühl* so schlecht noch nicht!

@Waltari:

...Und solltest du auf deinen Seiten wirklich robot.txt benutzen, funktioniert es sowieso nicht, weil die Suchmaschinen nur robots.txt kennen. ...

Ja, ich weiß: ROBOTS!
Hab' etwas nachläßig in die Tasten gehauen...
excuse me!

cu
Conny

[waltari]

Letztlich ist allles, was Suchmaschinen betrifft theoretisch. Das habe ich schon in meinen diversen anderen Postings zum Thema Suchmaschinen betont. Absolute Fakten zum Verhalten der Suchmaschinen gibt es nicht. Der Betreiber der Suchmaschine wäre auch schön blöd, wenn sie die genauen Kriterien, nach denen ihre Suchmaschine arbeitet, veröffentlichen würden. Alles Web-Wissen über Suchmaschinen und deren Verhalten beruht also auf Beobachtungen. Es gibt diverse Quellen zum Thema, die alle dasselbe behaupten. Natürlich kann da auch einer vom anderen abschreiben. Und selbstverständlich können diese, wenn sie bekannt sind, schon längst wieder veraltet sein. Zumal gerade Google seinen Index und die Indizierungskriterien fast wöchentlich ändert. Heute kann sich Google für robots.txt interessieren, morgen schon wieder nicht. Aber dass die Steuerung von Google mit der robots.txt funktioniert, weiß ich aus persönlicher Erfahrung. Ich habe es bereits mehrfach ausprobiert.

Timo

[Gast_Dakar_*]

Wenn Google mich schon kassiert hat... eh egal...oder was?! Oder machen die robotsdings doch noch Sinn?!

Naja, ich füg` sie mal ein... schaden kann`s ja offensichtlich nicht!

Wäre das dann so o.k.?

<!-- <meta name="robots" content="noindex,nofollow"> ???-->
<!-- <meta name="robots" content="noarchive,index,nofollow"> ???-->
<!-- <meta name="robots" content="noindex,follow"> ???-->

[waltari]

Wenn Google mich schon kassiert hat... eh egal...oder was?! Oder machen die robotsdings doch noch Sinn?!

Naja, ich füg` sie mal ein... schaden kann`s ja offensichtlich nicht!

Wäre das dann so o.k.?

<!-- <meta name="robots" content="noindex,nofollow"> ???-->
<!-- <meta name="robots" content="noarchive,index,nofollow"> ???-->
<!-- <meta name="robots" content="noindex,follow"> ???-->

Kommentier sie nicht aus, denn sonst ignoriert die Suchmaschine sie wohlmöglich.
Außerdem widersprechen sich deine Angaben. In dem einen benutzt du "follow", im anderen Tag "nofollow". Sollen die Suchmaschinen nun auf Unterseiten folgen oder nicht?
Einmal "noindex,nofollow" reicht aus, wenn keine Seite indiziert werden soll. Die korrekte Taganangabe für noarchive ist wie folgt:
<META NAME="ROBOTS="NOARCHIVE">
Geht es dir nur um Google, kannst du Google auch direkt ansprechen:
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

[Gast_Dakar_*]

<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

Ok, das würde mir reichen... spielt sich ja eh fast alles über Google ab... und was hat es nun mit der robots.txt auf sich?! Verbietet man damit quasi dem Suchroboter die "Durchsicht" der Unterseiten? oder sperrt man die für die Suchmaschine?

# robots.txt for http://www.domain.de/
User-agent: *
Disallow: /Unterseite/
Disallow: /oder Ftp-Ordner/

[waltari]

Ok, das würde mir reichen... spielt sich ja eh fast alles über Google ab...

Betonung liegt hier wohl auf fast. Die am häufigsten benutzte Suchmaschine ist immer noch MSN.

und was hat es nun mit der robots.txt auf sich?! Verbietet man damit quasi dem Suchroboter die "Durchsicht" der Unterseiten? oder sperrt man die für die Suchmaschine?

# robots.txt for http://www.domain.de/
User-agent: *
Disallow: /Unterseite/
Disallow: /oder Ftp-Ordner/

Mit dem <meta name="robots" content="noindex,nofollow"> verbietest du der Suchmaschine genauso auf allen Unterseiten zu finden. Eigentlich dient die robots.txt dazu die Seiten, die gefunden werden sollen genauer zu spezifizieren. Da du also eh keine finden lassen willst, reicht dieser aus und robots.txt ist unnötig.
robots.txt ist zum Beispiel dann notwendig, wenn du eigene Fehlerseiten hast. Natürlich willst du nicht, dass die Suchmaschine eine Seite in ihren Index aufnimmt, auf der nur steht "Diese Seite konnte nicht gefunden werden".
Wenn du übe robots.txt, alle Seiten verbieten willst, machst du das so:
User-agent: *
Disallow: /

Damit ist sowohl der Index als auch alle Unterseiten ignoriert.

Timo

[Gast_Dakar_*]

Hallo Timo,

ich hab mal bei Dir geguckt:

<META NAME="allow-search" content="YES">
<META NAME="ROBOTS" CONTENT="index, nofollow">

...heisst das, dass nur auf der index nach den Suchbegriffen gesucht werden darf?

Ich möchte, dass Leute die wirklich gezielt eine Seite mit meinem Inhalt suchen, diese auch angezeigt bekommen; nur die Robots sollen sie nicht finden - Das ginge dann so, oder...

<meta name="description" content="private homepage">
<meta name="author" content="Dakar">
<meta name="keywords" content="forum, galerie, ...">
<meta name="generator" content="HTML Editor phase5">
<meta name="robots" content="noindex,nofollow">

...und wozu ist das gut:

<META NAME="revisit-after" CONTENT="14 days">

[waltari]

Hi Tom

ich hab mal bei Dir geguckt:

Also wenn du auf timogockel.de geschaut hast, kann ich nur eines sagen. Nimm dir an den den Meta-Tags dort kein Beispiel! Zuminest nicht, wenn du einfach rechts klickst "Seitenquelltext betrachten wählst". Dann siehst du nämlich ein Frameset, dass nicht von mir erstellt wurde, sondern von Freecity, dem Sponsor der Gratis-Domain timogockel.de. Dass die absolut sinnlos sind, sollte spätestens dann auffallen, wenn man sich den Meta-Tag Keywords anschaut: "table width=750 cellpadding=0 cellspacing=0 ....." Das sind definitiv keine Keywords.

<META NAME="allow-search" content="YES">
<META NAME="ROBOTS" CONTENT="index, nofollow">

...heisst das, dass nur auf der index nach den Suchbegriffen gesucht werden darf?

Genau, nur die datei index.* wird durchsucht, alle weiteren werden ignoriert. Den ersteren Tag. Den ersteren Tag sehe ich zum ersten Mal. Ich habe noch nie von einem Meta-Tag namens "allow-search" gehört. Wenn unter "ROBOTS" "index,nofollow" steht, erlaubst du die Suche ja quasi. Lass ersteren also weg.

Ich möchte, dass Leute die wirklich gezielt eine Seite mit meinem Inhalt suchen, diese auch angezeigt bekommen; nur die Robots sollen sie nicht finden - Das ginge dann so, oder...

<meta name="description" content="private homepage">
<meta name="author" content="Dakar">
<meta name="keywords" content="forum, galerie, ...">

<meta name="generator" content="HTML Editor phase5">
<meta name="robots" content="noindex,nofollow">

Ja, so finden die Robots sie nicht, aber die Leute finden sie auch nicht, weil sie überhaupt nicht indiziert wird. Der Robot muss sie zuerst finden, damit sie in die Suchmaschine aufgenommen wird, aber du sagst ihm ja, dass er weder die Indexseite, noch irgendwelche Unterseiten aufnehmen soll. So wird der Robot sie zwar finden, dann aber ignorieren. Und so bist du nicht in Suchmaschinen vertreten.

...und wozu ist das gut:

<META NAME="revisit-after" CONTENT="14 days">

Das heißt, dass der Robot alle 14 Tage auf deiner Seite vorbei schauen soll, ob sich etwas geändert hat. 14 Tage ist hier bei der empfohlene Wert! Alles, was niedriger ist, kann dazu führen, dass Seiten ausgeschlossen werden. Angeblich (Betonung liegt auf angeblich) indiziert Google keine Seiten (zumindest nicht über einen längeren Zeitraum), die hier einen geringeren Wert als 5 haben.

Timo

[Andreas]

Ich habe diese Werte gar nicht angegeben und Google schaut fast täglich vorbei. Bevor ich die robots.txt entsprechend angepasst habe, sogar auf meinem per DSL im Netz hängenden WebServer ... Halten die sich denn selbst nicht an ihre eigenen Vorgaben?

Andreas

[edit] Nur die fürchterliche Rechtschreibung korrigiert [/edit]

[waltari]

Ich diese Werte gar nicht angegeben und Google schuat fast täglich vorbei. Bevor ich die robs.txt entsprechend angepasst habe, sogar auf meinem per DSL im Netz hängenden WebServer ... Halten die sich denn selbst nicht an ihre eigenen Vorgaben?

Google interessiert sich sehr wenig für Meta-Tags. Die Anweisungen zu "robots" werden noch befolgt, wie du ja wohl selbst festgestellt hast durch Anpassung des robots.txt. Das einzige, was Google an dem Wert "revisit-after" interessiert, ist der Wert selbst. Eine Zahl geringer als 5 wird nun mal als Spam eingestuft. Aber Google hält sich nicht daran, wann es die Seite besuchen soll. Wenn dort 6 oder mehr steht, ist es okay, aber das heißt nur, das Google die Seite nicht negativ bewertet.
Meine Seiten werden auch täglich von Google besucht. Der Googlebot erzeugt eigentlich den meisten Traffic.
Die Meta-Tags sind also eher für andere Seiten gedacht. Fireball hält sich sehr genau an die Anweisung. Ich habe bei "revisit-after" 14 Tage angegeben. Und genau alle 14 Tage schaut der Fireball-Bot und der Altavista-Bot vorbei. Auch ansonsten setzt Fireball sehr auf meta-Tags. Zum Beispiel wird der Tag "abstract" bei den Suchergebnissen als Seitenbeschreibung angegeben.
Auch die Tags "keywords" und "description" werden von Google ignoriert. Eine gute Übersicht über Ranking-Kriterien und damit auch zur Befolgung von Meta-Tags gibt Dr.Web

Timo

[Google Bot]