使用Python开发的同学一定听说过Requsts库,它是一个用于发送HTTP请求获取网页内容的库。我们用Python做基于HTTP协议的接口测试,那么一定会首选Requsts,简单又强大。现在作者Kenneth Reitz 又开发了requests-html 用于做爬虫。HTML Parsing for Humans, 这句话是库作者(kennethreitz)原话, 体现出了这个库的人性化。
requests-html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装,作者将Requests设计的简单强大的优点带到了该项目中。
该项目从3月上线到现在已经8K+的star了!