爬虫類の中txt

robots.txt                      。Robots.txt                        。robots.txt         ，                      robots     ，                。  
        robots（           ）       ，                 robots.txt，    ，                         ；        ，               。

robots.txt                        。            ，              ，                    robots.txt   。（                      robots.txt       ，                    。  ，robots.txt        ，                       。  ，               。）  
                          ，      robots.txt   。                      ，     robots.txt   （      robots.txt       ）。 
      robots.txt   ，                  （             ，           ）。                 ，    robots        。