有哪些免费好用的爬虫软件值得>保举/h2>
之前用过八爪鱼，也用过爬虫界老大哥火车头，但是他们两个都不太适合，由于业务原因，公司需要爬的数据比较杂，再后来一直用的是前嗅，还算顺手，主要是大部分东西都能够爬下来，确实遇到过两个比较难搞的网站，后来是让他们技术帮忙爬下来的，整体还是比较高效的。
废话不多说，直接上干货！
1. 后羿采集器
神射手云旗下产品，有免费版和收费版【又分个人版和企业版】。这款软件制作良心，windows、mac、linux三个版本都有，新手可轻松入门。
免费版不用登录，打开后直接粘贴想要采集数据的url地址，等它自动识别，需要深入采集的，点击“深入采集”，之后在浏览器里找到需要深入的入口，进入之后，关联上需要的采集的数据字段即可。
之后点击开始采集，安安静静的等着采集数据完成导出即可。
当然，遇上有些网站有反爬机制，可能会出现采集不全，采集失效，重复采集等等问问。这时候免费版就不成了，需要的话，可以升级成收费版。
后羿采集器虽然智能好用，但网站各有不同，如果遇到有反爬机制的，小白就放弃或者找高手吧。
提到后羿采集器，就不得不提神箭手云平台。神箭手云平台有些偏重技术，对小白用户不大友好，懂技术的小伙伴倒是可以去哪里愉快的玩耍。
不过神箭手云里有很多写好的爬虫，基本都是大家喜欢的，想要获取数据的网站，有些有免费的，登录账户，拿过来用就好了。
有些比较特殊的数据采集，没有别人写过，那就需要自己动手丰衣足食了。
2. 八爪鱼采集器
八爪鱼也是业内口碑比较好的一款采集器，缺点是只有windows版本，有时候还需要安装.NET3.5 SP1。
优点是对小白友好，可以实现自动采集，数据导出。同样的，八爪鱼有免费版和收费版，功能上肯定是收费版好用。
3. Excel
对，没看错，就是大家办公室常用的、属于微软office的那款软件。Excel真是款神器，能做表，能做流程图，能作画，还能采集数据。
不过大家不要抱太大的预期，excel只能实现简单的数据采集。一般2013及以上版本可实现该功能。
数据-从HTML，之后输入url地址，就可以采集简单数据了。
如果喜欢纳兰写的内容，请收藏或关注！
作者简介：纳兰说数码，工科毕业，爱玩爱搞机，也深爱写作。关注我，咱们一起聊点有趣的数码产品或者超酷有用的APP或小程序。
这里介绍2个好用免费的爬虫软件—后羿采集器和八爪鱼采集器，这2个软件采集网页数据都非常简单，不用写任何代码，只需要用鼠标点击需要采集的网页信息，就会自动开始采集，非常方便，下面我简单介绍一下这2个软件的安装和使用：
后羿采集器
1.首先，下载安装后羿采集器，这个直接到官网上下载就行，完全免费的，各个平台的版本都有，选择适合自己平台的版本即可，如下：
2.安装完成后，打开这个软件，直接输入需要采集的网页地址，就会自动打开网页并识别需要采集的信息，这里以采集58同城租房信息为例，如下，非常简单，不需要自己动手，这里你也可以对自动采集的信息进行编辑，删除或修改等：
3.最后点击右下角的“开始>收罗/span>”，设置好“定时启动”，如下，软件就会自动开始采集数据，并自动翻页，不需要人为设置：
4.采集的数据如下，就是刚才识别需要采集的网页信息，运行速度非常快，你也可以随时暂停或停止，非常方便：
5.最后，点击“导出数据”按钮，可以数据导出为你需要的文件格式，如Excel、CSV、HTML、数据库等，也可以导出到网站，如下：
八爪鱼采集器
1.首先，下载安装八爪鱼采集器，这个也直接到官网上下载就行，如下，也是免费的，目前只有Windows平台的：
2.安装完成后，打开这个软件，进入主界面，这里我们选择“自定义采集”，如下：
3.接着输入我们需要采集的网页地址信息，就会自动跳转到对应页面，这里以采集大众点评上的评论信息为例，如下：
4.这时你就可以直接鼠标点击需要采集的网页信息，按照操作提示步骤一步一步往下走就行，非常简单容易，如下：
5.最后点击采集数据，启动本地采集，就会自动开始采集数据，如下，已经成功采集到我们需要的网页信息：
这里你也可以点击“导出数据”，将采集的数据保存为你需要的数据格式，如下：
至此，这里就介绍完了后羿采集器和八爪鱼采集器这2个爬虫软件。总的来说，这2个软件使用起来都非常简单，只要你熟悉一下操作环境，很快就能掌握使用的，当然，你也可以使用其他爬虫软件，像火车头采集器等也都可以，网上也有相关教程和资料，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。
Python自动化测试和爬虫哪个方向比较好呢？很纠结以后是做自动化测试还是爬虫
这两个岗位我都比较了解，就斗胆说几句。
1.自动化测试和爬虫是两个截然不同方向，虽然看起来很多技术栈都一样（Selenium和appnium，抓包工具等等），但是爬虫的核心是反爬，测试的核心是业务。
2.爬虫岗位的核心能力：爬虫是反爬，也就是对抗能力，很多目标网站可以通过自定义字体库，识别浏览器指纹达到反反爬。仅仅通过selenium等渲染工具是无法达到一个合格的爬虫工程师的技术需求的。我说一下爬虫最需要的是对抗能力，如果不具备较强的自学能力，和抗压能力最好做测试这种业务类型的工作，不然过几年可能就要下岗了。
3.测试岗位：测试大部分是纯业务的，不同于爬虫这种对抗性的岗位，工作中未知的场景是比较少的，所以相对来说更多的压力在于业务场景。这部分我不过多评判。
4.就业和市场：测试的岗位需求远远大于爬虫，而且升级曲线相对平滑，如果对自己的能力不是很自信更推荐测试。爬虫相对来说是一个较为复杂的工种，开始找工作可能会比较难，但是高中级以后的待遇还是不错的，后期技术发展前景比较好，但是估计没几个人能撑下去（撑下去的基本都是大牛，其实很多人都去做全栈或者后端了，毕竟爬虫真的是个很苦逼的岗位，而且能力强的爬虫基本前后端都比较熟悉了）。
最后：其实还是看个人的职业规划，如果对自己能力比较自信，可以做爬虫，如果求稳定，还是做自动化测试吧，毕竟爬虫还是太苦逼了。
