robots.txtファイル


robots.txtファイルはGoogle,MSNなどロボット検索型エンジン(サーチエンジン、クローラとも)に対する挙動を命令として記述するファイルです。ほとんどのエンジンが従いますが、記述した内容に従わないものも存在します。

(example1)

User-Agent:*
Disallow:/cgi-bin/

この設定ではすべてのサーチエンジンに対して/cgi-bin/に存在するファイルの登録を禁止します。

詳しくはW3C[http://www.w3.org/TR/REC-html40/appendix/notes.html]のサイト[en]へ

投稿日: 2011年6月3日 カテゴリー: IT タグ: , , | パーマリンク コメントする.

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中

%d人のブロガーが「いいね」をつけました。