[対象: 初〜中級]

robots.txtについてのちょっとしたトピックをこの記事では取り扱います。

HTTPで通信する一般的なウェブサイトと同様に、ファイルのダウンロードとアップロードに使用するFTPのサイトもGoogleにおいてはrobots.txtでクロールをブロックできます。

Googlebotくん

設定方法は通常のrobots.txtと同じです。

    1. クロールを拒否/許可するディレクトリやファイルを disallow/allow で指定する
    2. 対象となるFTPサイトのルートディレクトリにrobots.txtをアップする

User-Agent: Googlebot
Disallow: /

上記のように記述したrobots.txtをルートディレクトリに設置 (ftp://example.com/robots.txt) しておけば example.com サイトへのFTPによるGooglebotのクロールをすべて拒否できます(example.comがHTTPによる通常のウェブサイトを公開していても、そちらのクロールには影響を与えません)。

注意点は、匿名ユーザー (anonymous) がアクセス可能な状態で意味をなすということです。
認証が必要ならクローラはもともとアクセスできませんね。

またGooglebotに限った話になります(他の検索エンジンがFTPのrobots.txtによる制御をサポートしているかは調べていません)。

普通は、サイトで公開しているファイルのダウンロードにもHTTPを利用してしまうことが多く、FTPを利用することは特に今では少なくなってきているように思います。

それでもFTPサイトを公開していてGooglebotにクロールさせたくない状況が出てきたら、robots.txtでブロックできたことを思い出すといいでしょう。

Reference

このエントリーが役に立ったらシェアしてください

[Ads & Featured Contrents]

海外SEO情報ブログTOPGoogle SEO › FTPサイトでも、Googlebotのクロールをrobots.txtでブロックできる

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA


▲ページの一番上に戻る