PHP CURL获取cookies模拟登录
利用PHP的curl函数实现模拟登录的方法
有的网站需要登录才能抓取,因此,需要先提交用户名密码登陆提取 cookies 并保存,然后利用保存下来的这个cookies再次抓取页面即可正常抓数据了。这其实和论坛的模拟登录一个道理,先POST登录,获取cookies并保存,然后利用这个cookies访问就可以了。
PHP 代码如下:
<?php
header('Content-Type: text/html; charset=utf-8');
$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");
//先获取cookies并保存
$url ="http://www.a.com";
$ch = curl_init($url);//初始化
curl_setopt($ch, CURLOPT_HEADER,0);//不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);//返回字符串,而非直接输出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);//存储cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次访问
$url ="http://www.a.com/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);//使用上面获取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
相关推荐
深度学习 -- 损失函数
深度残差网络(Deep Residual Networks (ResNets))
深度学习 -- 激活函数
神经网络训练 -- 调整学习速率
生成对抗网络(GAN)改进与发展
生成对抗网络(GAN)优点与缺点
生成对抗网络(GAN)的训练
生成对抗网络(GAN)基本原理
生成模型与判别模型