王平
从技术开发到产品运营两手抓，两手都不硬的互联网从业者...
-
我工作的前三年
之前写过我的工作学习经历，大致分为大学，工作前三年，创业六年多，当下。今天想写下我大学毕业工作前三年的经历和感悟，作为程序...6年前 (2019-07-23) 阅读(55263) 评论(5) -
写爬虫，免不了要研究JavaScript设置cookies的问题
网页端抓数据免不了要跟JavaScript打交道，尤其是JS代码有混淆，对cookie做了手脚。找到cookie生成的地方要费一点时间。那天碰到这...6年前 (2019-07-11) 阅读(14087) 评论(1) -
Python文本处理NLP：分词与词云图
昨晚我们又做了一次技术分享，继续上次技术分享的话题“文本数据的处理”。上次，我们分享了文本处理的方方面面的知识点，比较宏观，...6年前 (2019-07-08) 阅读(10671) 评论(0) -
离开了工作六年的地方
上周五离开了工作六年的地方，更准确的是六年零七个月。我一手从零搭建团队做起来的项目。五味杂陈，难过，不甘，纠结，失望，遗憾...6年前 (2019-07-04) 阅读(11070) 评论(7) -
写爬虫时常见的五种字符串编码特征
今天偷个懒写篇总结性的文章，我们在写爬虫，对网络抓包或逆向一些token参数时常常遇到一长串的字符，看到一长串不知其意义的字符串...6年前 (2019-07-02) 阅读(9023) 评论(0) -
爬虫抓了那么多的数据，该如何处理呢？
上周星期天做了第一次B站直播，有点激动，分享的主题是网页正文抽取和NLP基本知识普及。晒一下直播画面：今天把昨天的直播视频内...6年前 (2019-06-24) 阅读(6313) 评论(0) -
大规模爬虫为什么要管理DNS缓存
10年前学爬虫看的第一个开源爬虫叫Larbin ，一个法国程序员用c++开发的，那时用Larbin简单配置一下，因为它能自动遍历抓取，一天几...6年前 (2019-06-20) 阅读(8276) 评论(0) -
不用写代码的爬虫
今天说一个不用写代码，怎么来抓取数据的方式，这种方式能满足相当部分人群的需求。爬数据通常要用程序写一段网络请求代码来获取网...6年前 (2019-06-17) 阅读(5724) 评论(0) -
技术社区的挣钱之道
有一阵没写挣钱系列文章了，之前一直在写个人利用爬虫和Web技术每个月挣几千块零花钱的方法。今天写个稍微大点的，可以当成一个小事...6年前 (2019-06-13) 阅读(11655) 评论(2) -
大规模异步新闻爬虫的分布式实现
前面我们讲了《大规模异步新闻爬虫的实现思路》，在文章最后提到了把它升级为分布式的思路。今天，我们就来详细实现一下，把它真正...6年前 (2019-06-10) 阅读(10245) 评论(2) -
用Python写了个检测抄袭/文章去重算法
中国人有句话叫“天下文章一大抄”，但是在正规场合下“抄”是要付出代价的，比如考试、写论文是不能抄的，一旦被发现后果相当严重。在...6年前 (2019-06-03) 阅读(12660) 评论(8) -
薅当当图书羊毛的时候来了
每年都盼着各种电商节的到来，盼着图书疯狂打折，好趁此囤积要看的书籍。每年我在纸质书籍和电子书籍上大概要花费1000多元，所以对...6年前 (2019-05-24) 阅读(3668) 评论(0) -
如何把C/C++程序编译成Python模块-超实用
在Python遇到性能瓶颈时怎么办？答案是找对应功能的C/C++程序，把它编译成CPython模块，供Python调用来提高性能。比如Python中做...6年前 (2019-05-23) 阅读(7580) 评论(0) -
大规模异步新闻爬虫的实现思路
我们知道，异步IO（asyncio）非常适合使用在网络请求的场景，也就是说它很适合在爬虫中应用。但是，如果我们只是特定抓取某一个网...6年前 (2019-05-20) 阅读(7321) 评论(0) -
让爬虫无障碍抓取上千万APP数据
爬虫论抓取难度，一是抓取对内容有加密的，难度很大，尤其是在app端的内容加密。有的可能需要逆向app。二是抓取必须要登陆后才能看...6年前 (2019-05-16) 阅读(12194) 评论(0) -
如何让Python爬虫一天抓取100万张网页
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和...6年前 (2019-05-08) 阅读(91079) 评论(14) -
Python核心技术与实战-景霄-极客时间-返现24元
极客时间出品的《Python核心技术与实战》由景霄所作，景霄是Facebook资深工程师，本门课能系统提升你的Python能力。订阅价格：订...6年前 (2019-05-08) 阅读(6536) 评论(0) -
我的卖枇杷记
又到了吃枇杷的季节，记录一次我给家里卖枇杷的事，微信朋友圈熟人之间的卖货能力确实很强，家里的两千斤枇杷通过朋友圈三周时间可...6年前 (2019-05-06) 阅读(3654) 评论(0) -
Web协议详解与抓包实战-陶辉-极客时间-返现24元
极客时间出品的《Web协议详解与抓包实战》由陶辉所作，陶辉是智链达CTO，前阿里云高级技术专家，本门课让你系统掌握Web协议，高效解...6年前 (2019-05-05) 阅读(5259) 评论(0) -
做百度联盟也能年挣10万被动收入
之前写了一系列利用Python爬虫挣钱的文章，也介绍了做一个技术博客如何做内容和流量运营。其中主要的挣钱手段是靠网盟收入，而在国...6年前 (2019-05-05) 阅读(18312) 评论(2)
