猿人学

【前情回顾】如何灵活的解析网页，提取我们想要的数据，是猿人们写爬虫时非常关心和需要解决的问题。从Python众多的可利用工具中，...

狭义上讲，爬虫只负责抓取，也就是下载网页。而实际上，爬虫还要负责从下载的网页中提取我们想要的数据，即对非结构化的数据（网页...

上一篇写了个利用爬虫挣钱的框架，这篇写细一点，我曾经做过的一个简单数据整合挣网盟收入的案例。上一篇讲述了企查查/天眼查这类...

我们在上一章中讲到的新闻爬虫，是基本不受目标服务器限制的爬虫，技术上的挑战主要在抓取任务的管理、分配，并发的使用，提高效率...

Selenium, 大名鼎鼎的Web自动化测试工具，可以跨越Linux、Windows、macOS等平台使用，支持Java、Python、C#、Ruby等多种语言编程，...

上一节，我们使用Charles记录微博的登录过程，并从中解析出了微博的登录细节，还用Python模拟实现了整个过程。只要微博登录不改变，...

上一节，我们讲了如何配置Charles代理，这一节我们通过模拟微博登录这个例子来看看如何使用Charles分析网站加载流程，顺便把微博模...

“工欲善其事，必先利其器”。前面我们提到分析登录过程的工具，今天，我们就来介绍其中一款工具——Charles的使用。1. Charles 简介...

“等了好久终于等到今天，梦里好久终于把梦实现”，脑海里不禁响起来刘德华这首歌。是啊，终于可以写我最喜欢的异步爬虫了。前面那么...

前面我们实现的新闻爬虫，运行起来后很快就可以抓取大量新闻网页，存到数据库里面的都是网页的html代码，并不是我们想要的最终结果...

前面，我们先写了一个简单的百度新闻爬虫，可是它槽点满满。接着，我们实现了一些模块，来为我们的爬虫提供基础功能，包括：网络请...

小猿们还记得最开始我们实现的那个槽点多多的百度新闻爬虫吗？那里的逻辑最后是把下载的网页和网址存储到数据库，但是我们只是简单...

对于比较大型的爬虫来说，URL管理的管理是个核心问题，管理不好，就可能重复下载，也可能遗漏下载。这里，我们设计一个URL Pool来...

上一节我们实现了一个简单的再也不能简单的新闻爬虫，这个爬虫有很多槽点，估计小猿们也会鄙视这个爬虫。上一节最后我们讨论了这些...

前面老猿我唠叨了很多内容，都是为今天的实战做铺垫。小猿们可能已经等得有些不耐烦了，那么我们就废话不多说，马上干起来！这个实...

写爬虫，是一个非常考验综合实力的活儿。有时候，你轻而易举地就抓取到了想要的数据；有时候，你费尽心思却毫无所获。好多Python爬...

关于这个问题，老猿就先从自己的经历讲起吧。很多年前，大约11年前，老猿我接手了一个搜索引擎的网络爬虫，那是一个用C++写的通用搜...

浏览器打开网页的过程就是爬虫获取数据的过程，两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合，而爬虫得到的是网页的源...

通过前面的介绍，小猿们已经弄清楚了爬虫是什么，它是干什么的。接下来我们就开始在技术层面上探究一下它是如何工作的。互联网上...

互联网诞生之初，是为了让人们更容易的分享数据、交流通讯。互联网是桥梁，连接了世界各地的人们。网站的点击、浏览都是人为的，与...