検索エンジンに収録されない

ROBOTSに取り込まれて公開されたくないサイトがある場合があります.この問題を解決するために、ROBOTS開発界は2つの方法を提供した:1つはrobotsである.txt,

User-agent: *
   Disallow: /

もう一つはThe Robots METAラベルです.
デフォルトはall
プロパティの説明は次のとおりです.
allに設定:ファイルが取得され、ページ上のリンクがクエリーされます.
noneに設定:ファイルは取得されず、ページ上のリンクはクエリーされません.
indexに設定:ファイルが取得されます.
followに設定:ページ上のリンクはクエリーできます.
noindexに設定:ファイルは取得されませんが、ページ上のリンクはクエリーできます.
nofollowに設定:ファイルは検索できますが、ページ上のリンクはクエリーできません.