php -- thinkphp框架抓取网站内容保存到本地的方法
2018-02-20 16:23:21
•
阅读
打赏
这篇文章主要介绍了php -- thinkphp框架抓取网站内容保存到本地的实例详解的相关资料,需要的朋友参考下
批量下载网站上的图片
php代码部分:
public function download()
{
$http = new \Org\Net\Http();
$url_pref = "http://www.dzkbw.com/books/rjb/dili/xc7s/";
$localUrl = "upload/bookcover/";
$reg = "|showImg/('(.+)'/);|";
$i = 1;
do {
$filename = substr("000" . $i, -3) . ".htm";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url_pref . $filename);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$html = curl_exec($ch);
curl_close($ch);
$result = preg_match_all($reg, $html, $out, PREG_PATTERN_ORDER);
if ($result == 1) {
$picUrl = $out[1][0];
$picFilename = substr("000" . $i, -3) . ".jpg";
$http->curlDownload($picUrl, $localUrl . $picFilename);
}
$i = $i + 1;
} while ($result == 1);
echo "下载完成";
}
代码写了一个循环,从第一页开始抓,一直抓到找不到网页里的图片为止
抓到网页的内容后,把网页里面的图片用正则表达式匹配出来,存储到本地服务器
以上就是本文php -- thinkphp框架抓取网站内容保存到本地的方法的全部内容,如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
相关推荐
深度学习 -- 损失函数
深度残差网络(Deep Residual Networks (ResNets))
深度学习 -- 激活函数
神经网络训练 -- 调整学习速率
生成对抗网络(GAN)改进与发展
生成对抗网络(GAN)优点与缺点
生成对抗网络(GAN)的训练
生成对抗网络(GAN)基本原理
生成模型与判别模型