Immer wenn ich Robots.txt, die von Google bevorzugte Rechtesprache, kritisiere, hagelt es Vorwürfe der Lüge und Dummheit. Manche meinen, ich sei dumm und verlogen zugleich. Zahlreiche Blogger, Twitterer und Kommentatoren schicken mir Hinweise, wie man einzelnen Seiten vor Bots schützen und einzelne Bots von Seiten fern halten kann. Danke für die Tipps, aber die Fakten sind mir durchaus bekannt. Trotzdem bleibt es dabei, dass Robots.txt wie ein Lichtschalter nach dem An-Aus-Prinzip funktioniert. Kay Oberbeck von Google hat Robots.txt bei der UdLDigital-Diskussion einen „Dimmer“ genannt. Die Metapher ist nicht schlecht. Auch ein Dimmer ist ein Lichtschalter, auch wenn er graduelles Abdunkeln ermöglicht. Eine taugliche Rechtesprache ist Robots.txt damit aber noch lange nicht. Hier eine Liste der Informationen, die man in gute maschinenlesbare Rechtesprache eintragen können sollte, und die von anderen Marktteilnehmern zu berücksichtigen wären:

Weiterlesen →