邵珠庆の博客 生命只有一次，你可以用它来做些更多伟大的事情–Make the world a little better and easier

149月/170

如何构建垂直网络爬虫平台

发布在 邵珠庆

写一个爬虫很简单，写一个可持续稳定运行的爬虫也不难，但如何构建一个通用化的垂直网络爬虫平台？

这篇文章主要介绍垂直网络爬虫平台的构建思路。

爬虫简介

首先介绍一下什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取网页信息的程序或者脚本。

很简单，爬虫就是指定规则自动采集数据的程序脚本，目的在于拿到想要的数据。

爬虫主要分两类：

  • 通用网络爬虫（搜索引擎）
  • 垂直网络爬虫（特定领域）

由于第一类的开发成本较高，故只有搜索引[......]阅读全文

标签: , , , , 没有评论
95月/160

微信公众平台开发 OAuth2.0网页授权认证

发布在 邵珠庆

一、什么是OAuth2.0

官方网站：http://oauth.net/   http://oauth.net/2/

权威定义：OAuth is An open protocol to allow secure authorization in a simple and standard method from web, mobile and desktop applications. 

OAuth是一个开放协议，允许用户让第三方应用以安全且标准的方式[......]阅读全文

标签: , , , , , , , 没有评论
   

支持博主

如果我文章对你有帮助
欢迎加入我的捐助计划
点我了解慈善捐款计划

关于邵珠庆博客

文章标签

GA Git Google Analytics HTML5 jquery JS Linux MySQL PHP web 中国 互联网 亲子 代码 使用 分析 创业 命令 如何 工具 常用 开发 总结 技巧 技术 推荐 插件 数据 数据分析 文件 方法 时间 框架 汇总 浏览器 百度 管理 系统 网站 网站分析 腾讯 解析 设计 详解 问题

最近文章

最近评论

记事邵珠庆博客

1、邵珠庆极客筛站
2、识别移动设备访问代码


2011年07月 邵珠庆博客建立
2011年11月 邵珠庆博客PR5

博客日历

2017年九月
一 二 三 四 五 六 日
« 8月    
 123
45678910
11121314151617
18192021222324
252627282930  

目录分类

文章归档

博客功能