首页
导航
博客
电子书
算法
众创
代码
随贴
关于我们
您好,欢迎来到码863代码分享网! 请
[登录]
/
[注册]
搜 索
利用PHP从淘宝采集评论和成交数据
编辑
代码正文
双击正文可选择全部
1[代码][php]
尝试一下
如果不想通过淘宝开放平台API获取数据,那么另外一个很好的办法就是采集了。一般来说,采集一个网页上的内容,只需要用CURL获取源代码,然后用正则表达式取出需要的内容就可以,不过如果这样载入一个淘宝的页面,会发现根本没有评论和成交数据,直接查看源代码可以看到评论的是空的。分析页面后发现,淘宝的评论并不是直接输出在页面中,而是在点击评论和成交的时候,才会跨域获取数据,并用脚本解析显示。 这样的处理方式使得CURL页面的方式不好使用了,但是实际上获得数据反而更容易:使用CURL还必须考虑装修模板的问题,通用性并不好,而跨域获取的数据多数情况下是一个标准的格式,通过抓取数据包最后发现淘宝的评论数据是从http://rate.taobao.com/feedRateList.htm?使用URL直接GET方式过来的,并且是标准的JSON格式。 数据地址: http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list&userNumId=【掌柜的账号数字ID】&auctionNumId=【商品ID】¤tPageNum=【评论分页页码】 其他还有些参数可以不用。【掌柜的账号数字ID】抓包时可获取,商品ID在宝贝页面链接中的id值就是。 第二步:解析数值。因为淘宝的页面编码是GBK的,而PHP在处理GBK编码的JSON文件时,对其中的中文处理是有问题的,会替换成空值,所以最后JSON数据decode出来的是一个NULL,解决办法是将GBK编码转换为UTF-8。如果你的网站是UTF-8的,那么把从淘宝抓来的JSON直接转成UTF-8然后decode就可用了,如果是GBK的,则转好后再转回GBK就可以。下面以http://item.taobao.com/item.htm?id=20972699241为例,UTF-8页面的处理方法: $ch = curl_init();//初始化,创建句柄 curl_setopt($ch, CURLOPT_URL, "http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list&userNumId=1048567622&auctionNumId=20972699241¤tPageNum=1");//设置细节参数 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HEADER, 0); $str = curl_exec($ch);//获取内容 $str = mb_convert_encoding($str,'UTF-8','GBK');//转换编码 $str = str_replace('jsonp_reviews_list(','',$str);//去掉多余的字符串 $str = str_replace(')','',$str); $data = json_decode($str,TRUE);//得到数据了,第二个参数是转化为数组 print_r($data)//输出页面查看 注意几个细节: 1、从淘宝抓来的JSON是GBK编码的; 2、PHP的json_decode()函数处理GBK编码的中文数据是有问题的,需要转换UTF-8后处理; 3、iconv()和mb_convert_encoding()函数也各有优劣和BUG,注意处理。 4、curl函数的使用; 5、如果要采集不止一页评论,总的页面数可以在返回值中的maxpage获取。 购买记录数据的获取方法大同小异,天猫的评论获取地址也有所不同,不过方法都是一样的。
文明上网理性发言,请遵守新闻评论服务协议
0 条评论
发布评论
全部评论
最新
/
最热
暂无评论
加载更多
CopyRight 2002~2023 精通2100网 联系邮箱:qqtxt@163.com
版权所有:精通2100网
湘ICP备2023018646号-1
MYSQl共执行 3 个查询,用时 0.0019271373748779 秒,PHP脚本用时 0.004000 秒,占用内存 0.507 MB,Gzip 已启用