PHP爬虫類

昨日面接して萌宝のphp実習をして、私に1つの爬虫類のテーマをあげて、瞬間的に愚かで、私の天、爬虫類に接触したことがありません.そこで簡単に理解し、html-parseでhtml_を解析することにした.domは、本当に正規表現に恐怖を感じているからです.しかし最后にpassされて、小さい会社と言って、私の能力は达しません...大きな会社に行くことをお勧めします...やはり大手の方が入りやすいですよね?

    public function start(){
      //      
      $this->setLinksArray();
      $movies = [];
      foreach($this->linksArray as $link){
                $html_dom = $this->getContentByFilegetContent($link);
              //   items
              $ol = $html_dom->find('ol.grid_view',0);
              $items = $ol->find('li');
              //       
              foreach ($items as $item){
                  $em = $item->find('em',0)->getPlainText();
                  $title = $item->find('span.title',0)->getPlainText();
                  $img = $item->find('img',0)->getAttr('src');
                  $inq = $item->find('span.inq',0);
                  if($inq == false){
                    $inq = '';
                  }else{
                    $inq=$inq->getPlainText();
                  }
                  $rating_num = $item->find('span.rating_num',0)->getPlainText();
                  $ob = [$em => [
                    'title'=>$title,
                    'img'=>$img,
                    'inq'=>$inq,
                    'rateing_num'=>$rating_num
                  ]];
                  array_push($movies,$ob);
                  //       
                  // $moreUrl = $item->find('div.hd',0)->find('a',0)->getAttr('href');
                  // if($this->isUrlValid($moreUrl)){
                  //   echo $moreUrl;
                  //     $moreInfo_dom = $this->getContentByFilegetContent($item->find('div.hd',0)->find('a',0)->getAttr('href'));
                  //     $info_dom = $moreInfo_dom->find('info',0);
                  //     $director = $info_dom->find('span',0)->find('a',0)->getPlainText();
                  //     $bianju = $info_dom->find('span',1)->find('a',0)->getPlainText();
                  //     //   moreInfo（  ，  ，  ）        
                  // }
              }
      }
      // json    
      file_put_contents("/Users/z/Code/test.txt",json_encode($movies));
    }
    //   linksArray
    public function setLinksArray(){
      $html_dom = $this->getContentByFilegetContent(self:::URL);
      //    div
      $div_paginator =  $html_dom->find('div.paginator',0);
      $linksuffixs = $div_paginator->find('a');
      //250        
      $this->linksArray = array_map(function ($linksuffix){
          return self::URL.$linksuffix->getAttr('href');
      },$linksuffixs);

      array_pop($this->linksArray);
      array_unshift($this->linksArray,self::URL);
    }
    //  url，  dom  
    public function getContentByFilegetContent($url){
      $content = file_get_contents($url);
      $html_dom = new \HtmlParser\ParserDom($content);
      return $html_dom;
    }
    //curl   
    header("Content-type:text/html;charset=utf-8");
    function GetCurl($url){
        $ch = curl_init();
        curl_setopt($ch,CURLOPT_URL,$url);
        curl_setopt($ch, CURLOPT_HEADER, true);
        curl_setopt($ch, CURLOPT_NOBODY,true);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION,true);
        curl_setopt($ch, CURLOPT_AUTOREFERER,true);
        curl_setopt($ch, CURLOPT_TIMEOUT,30);
        $rtn = curl_exec($ch);
        curl_exec($ch);
        return $rtn;
    }//   url    
    public function isUrlValid($url){
        $resp = $this->GetCurl($url);
        if(strpos($resp,'404 Not Found')==true) {
          return false;
        }else{
          return true;
        }
    }


}
` ` `