ブログアーカイブ

robots.txtファイル


robots.txtファイルはGoogle,MSNなどロボット検索型エンジン(サーチエンジン、クローラとも)に対する挙動を命令として記述するファイルです。ほとんどのエンジンが従いますが、記述した内容に従わないものも存在します。

(example1)

User-Agent:*
Disallow:/cgi-bin/

この設定ではすべてのサーチエンジンに対して/cgi-bin/に存在するファイルの登録を禁止します。

詳しくはW3C[http://www.w3.org/TR/REC-html40/appendix/notes.html]のサイト[en]へ