邵珠庆の博客 生命只有一次,你可以用它来做些更多伟大的事情–Make the world a little better and easier


2110月/210

全国大数据交易所及数据交易平台汇总

发布在 邵珠庆

政府类:
贵阳大数据交易
gbdex.com/website/
我国乃至全球第一家大数据交易所, 贵阳大数据交易所发展会员数目突破2000家,已接入225家优质数据源,经过脱敏脱密,可交易的数据总量超150PB,可交易数据产品4000余个,涵盖三十多个领域,成为综合类、全品类数据交易平台
西咸新区大数据交易
chinabdbank.com/index.h
西咸新区沣西大数据产业发展平台,通过构建有效的市场机制,聚合政府、企业、社会[......]阅读全文

149月/170

如何构建垂直网络爬虫平台

发布在 邵珠庆

写一个爬虫很简单,写一个可持续稳定运行的爬虫也不难,但如何构建一个通用化的垂直网络爬虫平台

这篇文章主要介绍垂直网络爬虫平台构建思路。

爬虫简介

首先介绍一下什么是爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取网页信息的程序或者脚本。

很简单,爬虫就是指定规则自动采集数据的程序脚本,目的在于拿到想要的数据。

爬虫主要分两类:

由于第一类的开发成本较高,故只有搜索引[......]阅读全文

95月/160

微信公众平台开发 OAuth2.0网页授权认证

发布在 邵珠庆

一、什么是OAuth2.0

官方网站:http://oauth.net/   http://oauth.net/2/

权威定义:OAuth is An open protocol to allow secure authorization in a simple and standard method from web, mobile and desktop applications. 

OAuth是一个开放协议,允许用户让第三方应用以安全且标准的方式[......]阅读全文