PHP實(shí)現(xiàn)抓取百度搜索結(jié)果，并分析數(shù)據(jù)結(jié)構(gòu)

推薦：《PHP視頻教程》

PHP網(wǎng)絡(luò)爬蟲(chóng)實(shí)踐：抓取百度搜索結(jié)果，并分析數(shù)據(jù)結(jié)構(gòu)

百度的搜索引擎有反爬蟲(chóng)機(jī)制，我先直接用guzzle試試水。代碼如下：

<?php /**  * Created by Benjiemin  * Date: 2020/3/5  * Time: 14:58  */ require ('./vendor/autoload.php'); use QLQueryList; //進(jìn)入網(wǎng)頁(yè) $jar = new GuzzleHttpCookieCookieJar; $client = new GuzzleHttpClient(['cookies' => true]); $ql = $client->request('GET', 'https://www.baidu.com', [     'cookies' => $jar ]); if($ql->getStatusCode()!=200){     echo '網(wǎng)站狀態(tài)不正常';die; } echo  $ql->getBody();

百度直接攔截了，進(jìn)了跳轉(zhuǎn)頁(yè)面，我試試加個(gè)瀏覽器頭文件，再試試。

修改后的header如下：

$ql = $client->request('GET', 'https://www.baidu.com', [     'cookies' => $jar,     'headers' => [     'Accept-Encoding' => 'gzip, deflate, br',     'Accept'     => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',     'Accept-Language'      => 'zh-CN,zh;q=0.9,en;q=0.8',     'Cache-Control'      => 'no-cache',     'Connection'      => 'keep-alive',     'User-Agent'      => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', ] ]);

我測(cè)試了下，網(wǎng)站打開(kāi)了。

我們繼續(xù)，輸入關(guān)鍵詞，并搜索,結(jié)果發(fā)現(xiàn)被安全攔截了，所以我感覺(jué)直接用GuzzleHttp搞不動(dòng)，于是我繼續(xù)我的神器：jaeger/querylist和jaeger/querylist-puppeteer。

安裝步驟：

1.安裝依賴

在這之前，要先啟用php的proc_open函數(shù)，否則無(wú)法安裝完整

composer install jaeger/querylist composer install jaeger/querylist-puppeteer

2.安裝nodejs

yum install nodejs

3.安裝npm

4.安裝@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP啟用proc_open

代碼如下：

<?php /**  * Created by Benjiemin  * Date: 2020/3/5  * Time: 14:58  */ require ('./vendor/autoload.php'); use QLQueryList; use QLExtChrome; $ql = QueryList::getInstance(); // 注冊(cè)插件，默認(rèn)注冊(cè)的方法名為: chrome $ql->use(Chrome::class);  $ql->chrome(function ($page,$browser) {     $page->goto('https://www.baidu.com');     // 這里故意設(shè)置一個(gè)很長(zhǎng)的延長(zhǎng)時(shí)間，讓你可以看到chrome瀏覽器的啟動(dòng)     sleep(3);     //輸入關(guān)鍵詞     $wd = '簡(jiǎn)慶旺博客';     $page->type("input[id='kw']",$wd);     sleep(1);     //點(diǎn)擊搜索     $page->click("input[type='submit']");     //等待搜索結(jié)果     sleep(3);     //獲取結(jié)果     $html = $page->content();     //用jquery選擇器抽取結(jié)果     $rules = array(         'title'=>['#content_left h3 a','text'],//標(biāo)題         'url'=>['#content_left h3 a','href'],//跳轉(zhuǎn)網(wǎng)址         'description'=>['div .c-abstract','text'],//描述     );     $ql = QueryList::html($html);     $rt = $ql->rules($rules)->query()->getData();     //如果有需要，可以把$rt入庫(kù)，以及做其他操作     sleep(10);     $browser->close();     // 返回值一定要是頁(yè)面的HTML內(nèi)容     return $html; },[     'headless' => false, // 啟動(dòng)可視化Chrome瀏覽器,方便調(diào)試     'devtools' => false, // 打開(kāi)瀏覽器的開(kāi)發(fā)者工具 ])->find('title')->text();

$rt是我的結(jié)果集合，打印下，如下