python数据分析需要学python web吗
python数据分析需要学python web。
因为python web 是网页方面的开发的,做数据分析一般都是需要将数据从网站上面获取下来然后再解析获取到自己想要的数据的,而这个时候获取的数据是网页的形式存在的,所以需要懂web方面的技术知识才能够将网页解析出来。
如何用python抓取网页特定内容
用urllib2读取通过httpserver传递request,获取html文件。
用正则表达式规定那个价格附近的格式内容,查找整个html,找到价格。关键在于网站html文件并不规范,可能经常有变化导致失败。定时运行脚本发现价格变化就报告。Python如何爬取网页文本内容
用python爬取网页信息的话,需要学习几个模块,urllib,urllib2,urllib3,requests,httplib等等模块,还要学习re模块(也就是正则表达式)。根据不同的场景使用不同的模块来高效快速的解决问题。
最开始我建议你还是从最简单的urllib模块学起,比如爬新浪首页(声明:本代码只做学术研究,绝无攻击用意):
这样就把新浪首页的源代码爬取到了,这是整个网页信息,如果你要提取你觉得有用的信息得学会使用字符串方法或者正则表达式了。
平时多看看网上的文章和教程,很快就能学会的。
补充一点:以上使用的环境是python2,在python3中,已经把urllib,urllib2,urllib3整合为一个包,而不再有这几个单词为名字的模块。