王平
从技术开发到产品运营两手抓，两手都不硬的互联网从业者...
-
理解Python asyncio原理和简洁使用方式
异步IO是个好东西，在网络读写场景中可以大大提高程序的并发能力，比如爬虫、web服务等。这样的好东西自然也要在Python中可以使用。...6年前 (2019-10-29) 阅读(31500) 评论(2) -
把猿人学商标注册下来了
其实大几个月前就向商标局提交注册申请了，只是最近商标才给批准颁发了注册证。大部分人都是花1000多元找中介帮忙注册以提高通过率...6年前 (2019-10-23) 阅读(26818) 评论(4) -
聊下近况-下岗待就业三个月
离开上一段6年多时间的创业不知不觉已经三个多月，写写我的近况，给大家汇报一下。嗯，离开后这三个月我没有去上班，天天窝在家里...7年前 (2019-10-15) 阅读(21984) 评论(10) -
如何利用人脸识别自动切分视频
前些天被问到这样一个问题，能不能做视频分镜头，更确切的是自动切分视频片段。拿央视的新闻联播来说，30分钟的新闻联播，可能包含...7年前 (2019-09-23) 阅读(12899) 评论(0) -
用python实现基于凝固度和自由度的新词发现程序
今天写篇技术硬文，看看大家喜不喜欢。互联网每年甚至每时刻都会催生很多新词（在新华词典里找不到的词语），比如”双一流R...7年前 (2019-09-09) 阅读(13726) 评论(0) -
基于OpenCV+dlib开发一个人脸识别应用
最近在做一个人脸识别的应用，Android系统的摄像头检测到人脸并识别出是谁。这样一个系统看似简单，但架构比较复杂，移动设备本身...7年前 (2019-09-05) 阅读(13412) 评论(0) -
反爬虫的四种常见方式-JS逆向方法论
现在的网页代码搞得越来越复杂，除了使用vue等前端框架让开发变得容易外，主要就是为了防爬虫，所以写爬虫下的功夫就越来越多。攻和...7年前 (2019-08-19) 阅读(23216) 评论(1) -
学会Lambda，让程序Pythonic一点
Lambda是Python里的高阶用法，要把代码写得Pythonic，就需要了解这些高阶用法，想说自己是一名真正的Python程序员，先要把代码写得...7年前 (2019-08-15) 阅读(19261) 评论(2) -
Python挣钱系列：数据整合之-结构化企业数据
之前写了一系列利用Python技术和爬虫技术挣钱的文章，老读者会发现我钟情于写数据整合方面的。没错，每个人都有自己开窍的一面，我...7年前 (2019-08-10) 阅读(12930) 评论(0) -
为什么你还是学不会编程
常有小伙伴问我，怎么学Python，学了语法为什么还是写不出代码。这个问题其实有点难回答，敷衍的回答就是：多看书、多练习、灵活运...7年前 (2019-07-29) 阅读(12886) 评论(2) -
我工作的前三年
之前写过我的工作学习经历，大致分为大学，工作前三年，创业六年多，当下。今天想写下我大学毕业工作前三年的经历和感悟，作为程序...7年前 (2019-07-23) 阅读(59845) 评论(5) -
写爬虫，免不了要研究JavaScript设置cookies的问题
网页端抓数据免不了要跟JavaScript打交道，尤其是JS代码有混淆，对cookie做了手脚。找到cookie生成的地方要费一点时间。那天碰到这...7年前 (2019-07-11) 阅读(14447) 评论(1) -
Python文本处理NLP：分词与词云图
昨晚我们又做了一次技术分享，继续上次技术分享的话题“文本数据的处理”。上次，我们分享了文本处理的方方面面的知识点，比较宏观，...7年前 (2019-07-08) 阅读(10907) 评论(0) -
离开了工作六年的地方
上周五离开了工作六年的地方，更准确的是六年零七个月。我一手从零搭建团队做起来的项目。五味杂陈，难过，不甘，纠结，失望，遗憾...7年前 (2019-07-04) 阅读(11584) 评论(7) -
写爬虫时常见的五种字符串编码特征
今天偷个懒写篇总结性的文章，我们在写爬虫，对网络抓包或逆向一些token参数时常常遇到一长串的字符，看到一长串不知其意义的字符串...7年前 (2019-07-02) 阅读(9304) 评论(0) -
爬虫抓了那么多的数据，该如何处理呢？
上周星期天做了第一次B站直播，有点激动，分享的主题是网页正文抽取和NLP基本知识普及。晒一下直播画面：今天把昨天的直播视频内...7年前 (2019-06-24) 阅读(6531) 评论(0) -
大规模爬虫为什么要管理DNS缓存
10年前学爬虫看的第一个开源爬虫叫Larbin ，一个法国程序员用c++开发的，那时用Larbin简单配置一下，因为它能自动遍历抓取，一天几...7年前 (2019-06-20) 阅读(8566) 评论(0) -
不用写代码的爬虫
今天说一个不用写代码，怎么来抓取数据的方式，这种方式能满足相当部分人群的需求。爬数据通常要用程序写一段网络请求代码来获取网...7年前 (2019-06-17) 阅读(5957) 评论(0) -
技术社区的挣钱之道
有一阵没写挣钱系列文章了，之前一直在写个人利用爬虫和Web技术每个月挣几千块零花钱的方法。今天写个稍微大点的，可以当成一个小事...7年前 (2019-06-13) 阅读(11989) 评论(2) -
大规模异步新闻爬虫的分布式实现
前面我们讲了《大规模异步新闻爬虫的实现思路》，在文章最后提到了把它升级为分布式的思路。今天，我们就来详细实现一下，把它真正...7年前 (2019-06-10) 阅读(10589) 评论(2)
