FC2ブログ

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

robots.txt を作成&送信

サイトを構築しながらアクセス向上とSEO対策の勉強と検証を行っている【アクセス向上対策と検索エンジン最適化(SEO)はこれで委員会?!】では,検索エンジン用のサイトマップを作成し送信しました。

次の作業としてクローラーに「サイトマップはここにありますよ」と通知する【robots.txt】に挑戦です。【robots.txt】はクローラーのアクセスを制御する役割があるようですが,今回やる作業は『オートディスカバリー機能』を利用するために【robots.txt】が新しく仰せつかった機能のようですね。

参考資料:Webmasters Can Now Auto-Discover With Sitemaps

早速,やってみました。全ての検索ロボット(クローラー)に通知するのが前提です。

*******************************************
User-Agent : *
Sitemap: http://seo.sakuraweb.com/sitemap.xml

*******************************************

ネット上の情報を基にしてこのように記述してみました。

1行目は「全てのクローラーを受け入れます」という意味。(*はすべてのクローラを表します)
2行目が「サイトマップはここにありますよ」という意味。

ここでちょっと疑問が出てきました。

サイトマップの場所だけを教えるのに,「User-Agent : *」は必要なのでしょうか

次のパターンではどうでしょうか。

*****************************************
User-Agent : *
Disallow : /images/
Disallow : /css/
Sitemap: http://seo.sakuraweb.com/sitemap.xml

*****************************************

1行目は「全てのクローラーを受け入れます」という意味。(*はすべてのクローラを表します)
2行目は「[images]フォルダは登録して欲しいファイルはないから見なくていいですよ」という意味
3行目は「[css]フォルダは登録して欲しいファイルはないから見なくていいですよ」という意味
4行目が「サイトマップはここにありますよ」という意味

この場合はどうなのでしょうか。

記述しても問題ないと思い,上記のようにしましたが,ネット上で検索しても明瞭な情報は得られませんでした。みなさん付記した書式で解説されていますので,付けた方がよい,もしくは付けるべきなのでしょうか。

明確なルールがあれば教えていただけると有り難いです。

SEO初心者による初心者のための情報&疑問でした。


2009年10月02日

東雲の星@SEO初心者




にほんブログ村 IT技術ブログ SEO・SEMへ
にほんブログ村 ★応援よろしく!



テーマ : webサイト作成
ジャンル : コンピュータ

コメントの投稿

非公開コメント

カレンダー
10 | 2018/11 | 12
- - - - 1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 -
プロフィール

東雲の星

Author:東雲の星
サイトを構築しながら,同時進行でSEOを勉強している趣味レベルのウェブデザイナーです。ここはそのブログ編という位置づけです。

にほんブログ村 IT技術ブログ SEO・SEMへ
にほんブログ村

最新記事
カテゴリ
リンク
最新コメント
最新トラックバック
月別アーカイブ
アクセスランキング
[ジャンルランキング]
コンピュータ
10163位
アクセスランキングを見る>>

[サブジャンルランキング]
Webサイト作成
467位
アクセスランキングを見る>>
検索フォーム
メールフォーム

名前:
メール:
件名:
本文:

RSSリンクの表示
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。