あなたのロボットです.ファイルの脆弱性?ここでどのようにチェックし、それを確保する

悪い構成ロボットtxtファイルは、ハッカーのためのあなたのウェブサイトへの歓迎サインのようです.
効率的で安全なロボットをセットアップする方法を見ましょう.txt.
ロボットはできますか?txtファイルが脆弱ですか?はい、安全なものを作成する方法です.
あなたのロボットです.ファイルの脆弱性?ここでどのようにチェックし、それを確保する
ロボット注意.txt!ロボットにすべてを明らかにすべきではない.

ロボットとはtxt

実際には、ロボット.txtファイル自体は脆弱ではありません.
ロボットtxtはウェブロボット用のファイルです.WebロボットやWebクモやクローラは、コンテンツを収集するためのWebを検索するプログラムです.検索エンジンロボットのようなGoogleのWebページのコンテンツを収集し、スパマーロボットlook for email addresses あなたのウェブサイト上の他のもの.
ロボットがロボットを探す任意のウェブサイトのメインディレクトリ(一般的にルートドメインやホームページ)でtxtファイル.

ロボットの解剖学txt

ロボットで.TXTは、ウェブロボットのためのあなたのウェブサイトについての指示を置くことができますこれらの指示をロボット排除プロトコルと呼ぶ.
ロボットの各ライン.txtファイルはフィールド、コロン、および値から成ります.コメントが先行する# 文字と空白はオプションです.したがって、一般的な構文は次のようになります.

<field>:<value><#optional-comment>

以下に共通の分野を示す.

user-agent : ルールを適用するクローラを識別します.

allow : クロールされるURLパス.

disallow : クロールされないURLパス.

noindex : ページをインデクシングするのを防ぐための非公式の指示

sitemap : サイトマップの完全なURL.

デフォルトでは、ロボットのすべてのウェブサイトや少なくとも多くのページを選択してクロールしようとします.しかし、上記のディレクティブを使用すると、あなたのウェブサイトのクロールについてのガイドをすることができます.
The allow and disallow 彼らはクロールすることができますどのようなページについてロボットを教えるための最も使用されるディレクティブです.
使用user-agent 特定のユーザーエージェントとルールを関連付けることができます.
例えば、以下のサンプルロボットを考える.txt.

user-agent: *
allow: /*

user-agent: googlebot*
disallow: /oldui/

sitemap: https://example.com/sitemap.xml

このロボットtxtは、任意のロボットを意味しますuser-agent: * ) 任意のURLをクロールすることができます.allow: /* ). しかし、Googleボットuser-agent: googlebot* ) をクロールすることはできません/oldui/ URL.このサンプルは、サイトマップへのリンクも含みます.

悪の巣

The disallow and noindex 通常誤解される.Googleとロボットからページを隠すためにこれらの2つの指示を使用することは良い考えのようです.しかし、真実はこれらの指令がすべてのウェブロボットによって尊重されないということです.そのロボットは心に留めておくべきだ.TXTは、Googleボットと攻撃者の両方にアクセスできるパブリックファイルです.
閉じるこの動画はお気に入りから削除されていますdisallow: /admin/ あなたのロボットで.txtファイルを実際にあなたのウェブサイト管理セクションのURLを明らかにしている.
あなたのウェブサイトのウェブページをロボットに加えるならば.txtファイルは、そのファイルは、あなたのウェブサイトのホームページのようなインターネット全体でアクセスされます.ロボット.TXTはあなたができるロッカーではありませんhide your secrets .
パブリックWebページを持っているが、インデックスを付けられて検索結果に表示されないようにするには、Displayディレクティブを使用できます.

結論

ロボットTXTはあなたのウェブサイトのロボットの訪問者の経験を最適化するための良いツールです.しかし、ロボットのためだけではなく、すべてのロボットが友好的ではない.ロボットに機密情報を入れないでください.txtファイル.あなたのロボットをテストすることができます.任意の機密情報漏えいのためのtxtSmartScanner, the web vulnerability scanner . それは無料で簡単です.ちょうどあなたのウェブサイトのアドレスを入力し、スキャンヒット.