竹磬网-邵珠庆の日记 生命只有一次，你可以用它来做些更多伟大的事情–Make the world a little better and easier


2110月/210

全国大数据交易所及数据交易平台汇总

发布在 邵珠庆

政府类：
贵阳大数据交易所
gbdex.com/website/
我国乃至全球第一家大数据交易所， 贵阳大数据交易所发展会员数目突破2000家，已接入225家优质数据源，经过脱敏脱密，可交易的数据总量超150PB，可交易数据产品4000余个，涵盖三十多个领域，成为综合类、全品类数据交易平台。
西咸新区大数据交易所
chinabdbank.com/index.h
西咸新区沣西大数据产业发展平台，通过构建有效的市场机制，聚合政府、企业、社会等多类数据资源，整合大数据服务能力，全面运营大秦大数据银行线上服务平台和陕西省社会数据服务大厅线下服务平台。
东湖大数据交易中心
chinadatatrading.com/
武汉东湖大数据交易中心股份有限公司的业务涵盖数据交易与流通、数据分析、数据应用和数据产品开发等，聚焦“大数据+”产业链，提供有价值的产品和解决方案，帮助用户提升核心竞争力。
华东江苏大数据交易平台
bigdatahd.com/
华东江苏大数据交易中心（简称BDEX）是在实施“国家大数据战略”大背景下，经国家批准的华东地区首个领先的跨区域、标准化、权威性省级国有大数据资产交易与流通平台，2015年11月成立于国家级大数据产业基地——江苏盐城大数据产业园，承担助推江苏省国有数据增值开放流通、大数据产业发展之重任。
哈尔滨数据交易中心
hrbdataex.com/
哈尔滨数据交易中心由黑龙江省政府办公厅组织发起并协调省金融办、省发改委、省工信委等部门批准设立。结合政府数据资源、企业数据资源，打造成为立足东三省，辐射全国的大数据交易市场，构建围绕数据的生态系统支撑平台。
上海数据交易中心
chinadep.com/index.html
上海数据交易中心有限公司（简称“上海数据交易中心”），是经上海市人民政府批准，上海市经济和信息化委、上海市商务委联合批复成立的国有控股混合所有制企业，上海数据交易中心承担着促进商业数据流通、跨区域的机构合作和数据互联、政府数据与商业数据融合应用等工作职能。
中国工信数据
miit.gov.cn/n1146312/in

平台类：
京东万象
wx.jdcloud.com/
以数据开放、数据共享、数据分析为核心的综合性数据开放平台，拥有的数据类型主要包括金融、征信、电商、质检、海关、运营商数据
聚合数据
juhe.cn/
互联网专业数据科技服务商。主要提供两种核心服务：以API数据接口的形式，提供数据服务；以大数据技术，提供数据应用服务。
数据宝
chinadatapay.com/
中国领先的国有数据资产增值运营服务商，提供 公安、运营商、银联、交通、车辆、企业、税务、气象大数据。
百度智能云云市场
cloud.baidu.com/market/
由百度智能云建立的云计算软件或商品的交易与交付平台，下设多个商品品类，包括镜像环境、建站推广、企业应用、人工智能、数据智能、区块链、泛机器人、软件工具、安全服务、上云服务、API服务等，商品数量数千种。
数粮
datasl.com/
大数据领域的流通平台，供数据资源和大数据技术应用产品进行交易，支持API接口、数据包下载、定制等交易模式。
阿凡达数据
avatardata.cn/Docs
API数据接口云服务，专注于数据的采集与分析处理工作，拥有106个数据种类。
HaoService
haoservice.com/
数据互联服务平台。提供30大类以上基础数据API服务、热门源码交易服务。
发源地
finndy.com/
大数据应用平台和大数据解决方案提供商。提供数据交易服务，目前总共拥有20246个数据源。
iDataAPI
idataapi.com/
数据服务提供商，已推出1300多种数据产品和50多种数据分析产品，涵盖30000个网站平台和全球移动APP平台。
天元数据
tdata.cn/
中国领先的云计算、大数据服务商。数据商品涵盖了线上零售、生活服务、企业数据、农业、资源能化等10大类。提供17个API接口、165个数据集、56个数据报告、278个政府开放数据。
中原大数据交易
zybigdatae.cn/
数据资源提供商、数据资产运营商和数据交易服务商，向客户提供大数据全产业链平台与技术服务。提供223个API接口、177个数据集、89个数据报告、2个数据应用。
环境云
envicloud.cn/home?
环境大数据开放平台。拥有3702家注册用户、收录1,041，098，354条环境数据，以积分兑换和免费下载两种方式提供数据服务。
天眼查
tianyancha.com/vipintro
天眼查收录了1.8亿+家社会实体信息（含企业、事业单位、基金会、学校、律所等），90多种维度信息全量实时更新。
企查查
qichacha.com/
提供企业工商信息、法院判决信息、关联企业信息、法律诉讼、失信信息、被执行人信息、知识产权信息、公司新闻、企业年报等企业数据交易服务，覆盖全国1.8亿家企业信息。
杭州钱塘大数据交易中心
qtbigdata.com/index.htm
杭州钱塘大数据交易中心有限公司（简称“钱塘数据”）成立于2015年底，是国内一家工业大数据应用和交易平台。
中关村数海大数据交易平台
shuhaidata.com/
全国第一家数据交易平台，推动数据的流通，发挥数据的商品属性，促成数据交换、整合，将真正带动大数据产业繁荣。
大数据挖掘模型交易平台
mx.tipdm.org/
模型算法交易平台，配套完整建模数据，模型实现过程说明及源代码。
APIX
apix.cn/services/catego
APIX是黑格科技旗下的一款SaaS云服务产品，专注为机构提供实时在线用户数据分析，信用评估，第三方数据接入服务。
抓手数据
zhuashou.net/
运用区块链底层技术，以生产数据产品、建立数据交易生态圈为主要目标，促进数据的开放共享和数据价值的释放
千教堂
d.askci.com/
全球大数据众享平台
中国数据商城
chinadatastore.cn/index
中国领先的大数据交易平台
中国管理大数据
chn-source.com/
管理大数据RBD=平台运营商+数据供应商
数据星河
bdgstore.cn/
是全球首款大数据产业链生态平台，基于国际主流的大数据生态技术研发，结合先进的大数据资产运营理念，汇聚全球近千家大数据公司 。

相关阅读：
最全的中国开放数据（Open Data）及政府数据开放平台汇总
国外最全的开放数据(Open Data)及政府数据开放平台汇总

标签: , , , , , 没有评论
2110月/210

大数据数据开放平台

发布在 邵珠庆

2015年国务院印发的《促进大数据发展行动纲要》，要求“2018年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放”，截止2019年，已经有50多个地市开放了平台，开放了约15个领域数据，包括教育科技、民生服务、道路交通、健康卫生、资源环境、文化休闲、机构团体、公共安全、经济发展、农业农村、社会保障、劳动就业、企业服务、城市建设、地图服务。 同时，研究显示，中国开放政府数据实践存在六个方面的主 要问题：数据量少、价值低、可机读比例低，开放的多为静态数据，数据授权协议条款含糊，缺乏便捷的数据获取 渠道，缺乏高质量的数据应用，缺乏便捷、及时、有效、公开的互动交流。最后基于研究的评估结果，为中国开放政府数据的发展提出了政策建议。

参考论文：

关键词：

电子政务；开放政府；政府数据；政府数据开放；大数据数据开放平台。

四川省

成都市公共数据开放平台

http://www.cddata.gov.cn/

已开放：602个数据集，60个部门，27301171条数据，39个API，12个应用

数据开放--四川省人民政府网站

http://www.scdata.net.cn/odweb/index.htm

达州市政府数据开放平台

http://data.dazhou.gov.cn/

雅安市人民政府数据开放栏目

http://www.yaan.gov.cn/shuju.html

北京市

北京市政务数据资源网

http://www.bjdata.gov.cn/jkfb/index.htm

56家单位、1147类数据集、7653万余条数据记录

上海市

上海市政府数据服务网

http://www.data.sh.gov.cn/home!toHomePage.action

https://data.sh.gov.cn/

开放数据项总量32312条 开放数据资源1958个 开放数据部门45个

天津市

天津市信息资源统一开放平台

https://data.tj.gov.cn/

21 个主题、39 个部门、384 个数据集、116 个数据接口

福建省

福建省公共信息资源统一开放平台

https://data.fujian.gov.cn/odweb/

697346300条数据； 698个数据资源； 37个部门；1318个API；3个应用

厦门市大数据开放平台

http://data.xm.gov.cn/

8896790条数据 、789个资源、327个API、39个部门

广东省

开放广东

http://gddata.gd.gov.cn/

2369个政府数据集，58个数据应用，超过1.39亿条政府数据

广东省金融数据开放平台

http://210.76.74.192/

佛山市政府数据开放平台

http://www.foshan-data.cn/

提供部门(个)：49主题分类(个)：25数据集(个)：1071数据总量(个)：45078449

深圳市政府数据开放平台

http://opendata.sz.gov.cn/

数据目录1,260个 数据总量121,338,216条 数据接口1,002个 调用次数1,945,673次

广州市政府数据统一开放平台

http://data.gz.gov.cn/

68个部门，1307个数据集，100248678数据量，81693下载量

数据东莞

http://dataopen.dg.gov.cn/dataopen/

36797385条数据、69个部门、714类资源、12757个数据包、2100037次浏览、173422次下

惠州市政府数据开放平台

http://data.huizhou.gov.cn/

3141349条数据、348个数据集、5个部门

珠海市民生数据开放平台

http://data.zhuhai.gov.cn/

#/ 已开放：195条数据；188个数据资源；74个部门

广东省政府数据统一开放平台-潮州市

http://gddata.gd.gov.cn/index.php/data/ls/Type/0/v/344.html

广东省政府数据统一开放平台-河源市

http://gddata.gd.gov.cn/index.php/data/ls/Type/0/v/339.html

江门市数据开放平台

http://data.jiangmen.gov.cn/

提供：26个部门、12个主题分类.299个开放数据集、65.21万条数据、1994次下载量

中山市政府数据统一开放平台

http://zsdata.zs.gov.cn/web/index

数据集总数215，机构部门56，数据条数1736366，下载总数43801

肇庆市人民政府数据开放平台

http://www.zhaoqing.gov.cn/sjkf/

贵州省

贵阳市政府数据开放平台

http://www.gyopendata.gov.cn/

已开放 6180610条数据, 2841个数据集 , 310个API, 52个市级部门 , 13个区县

遵义市政府数据开放平台

http://www.zyopendata.gov.cn/

171开放数据集；219个开放文件；30个部门

铜仁市政府数据开放平台

http://gztrdata.gov.cn/

累计提供310个数据资源，其中数据类型资源69个

海南省

海南省政府数据统一开放平台

http://data.hainan.gov.cn/

14个已开放数据集； 969个已开放API；34个已开放部门

河南省

河南省公共数据开放平台

http://data.hnzwfw.gov.cn/odweb/

32个部分，20个领域，3497200数据量，709数据集，1418API，8个应用

江西省

江西省政府数据开放网站

http://data.jiangxi.gov.cn/

9个部门 , 153192条数据； 72个数据目录； 1个接口

宁夏回族自治区

宁夏回族自治区数据开放平台

http://ningxiadata.gov.cn/odweb/index.htm

22个已开放部门；128个数据集类；343175条政府数据；13个应用；12个API；545544条访问量；456个下载量

石嘴山政府数据开放平台

http://szssjkf.nxszs.gov.cn/

已开放97个数据集，107个数据资源，32个部门

银川市城市数据开放平台

http://data.yinchuan.gov.cn/

提供：32个部门数据；228个开放数据目录数量、7832个数据总条数、45个API数量

山东省

山东公共数据开放网

http://data.sd.gov.cn/

59部门，34216目录，7.35亿数据，70284API，41应用

济南市公共数据开放网

http://www.jndata.gov.cn/

71个部门 2106个数据集 4300个接口 6506个文件

青岛公共数据开放网

http://data.qingdao.gov.cn/

2818个数据集、7260个API、25个领域、12个文件集

陕西省

陕西省公共数据开放平台

http://www.sndata.gov.cn/

57个部门1300多个可开放目录，省级部门已开放121个目录1654万条数据

哈尔滨市政府数据开放平台"

http://data.harbin.gov.cn/ 54个部门; 1059个数据集; 5167696条数据; 5782个数据文件; 2284个API; 7个APP

浙江省

浙江政务服务网“数据开放”专题网站

http://data.zjzwfw.gov.cn/

68个省级单位提供的350项数据类目，包含100项可下载 的数据资源，137个数据接口和8个移动APP

宁波市政府数据服务网

http://www.datanb.gov.cn/nbdatafore/web/indexpage.action

20类主题、432个资源、3065883数据

安徽省

合肥市政府数据开放平台

http://61.133.142.137

"已开放79个部门，3个数据种类，211233条数据

蚌埠市信息资源开放平台

http://data.bengbu.gov.cn/

数据总量140条，112次下载次数、29次调用次数、2837次浏览总数

黄山市人民政府数据开放栏目

http://www.huangshan.gov.cn/DataDevelopment/showTopicContentList/8/page_1.html

湖北省

武汉市政务公开数据服务网

http://www.wuhandata.gov.cn/whData/

"开放数据部门101家，开放数据集2192类，开放数据总量118417条，4个API,54个应用

湖南省

长沙市政府门户网站数据开放平台

http://www.changsha.gov.cn/data/

40个部门，236个接口，6个app

江苏省

苏州市政府数据开放平台

http://www.suzhou.gov.cn/dataOpenWeb/data

常州市政府数据开放平台

http://opendata.changzhou.gov.cn/

390705条数据； 198个数据资源； 24个部门

黑龙江省

哈尔滨市政府数据开放平台

http://data.harbin.gov.cn/

54个部门; 1059个数据集; 5167696条数据; 5782个数据文件; 2284个API; 7个APP

嫩江市政务公开统计数据

http://www.nenjiang.gov.cn/zwgk/tjsj/

新疆维吾尔自治区

新疆维吾尔自治区政务数据开放网

http://data.xinjiang.gov.cn/index.html

内蒙古自治区数据开放

http://gzw.nmg.gov.cn/zwgk/zdlyxxgk/sjkf/

台湾省

台湾

http://data.gov.tw/

38745个资料集，18个分类，649个部门

国家相关部门统计信息网站汇总

中国人民银行

http://www.pbc.gov.cn/diaochatongjisi/116219/index.html

主要包括社会融资规模、金融统计数据、货币统计、金融机构信贷收支统计、金融市场统计、企业商品价格指数等等，数据权威且容易查找，实用性强。

中国银行业监督管理委员会

Http://Www.Cbrc.Gov.Cn/Chinese/Home/DocViewPage/110009.Html

主要包括银行业的数据统计，包括资产负债规模、主要监管数据等。

中国证券监督管理委员会

http://www.csrc.gov.cn/pub/newsite/sjtj/

主要包括证券市场、期货市场相关数据，每天更新快报，并有周报、月报等定期更新。

中国银保险监督管理委员会

http://www.cbirc.gov.cn/cn/index.html

对银行业和保险业机构的公司治理、风险管理、内部控制、资本充足状况、偿付能力、经营行为和信息披露

中国国家统计局

http://www.stats.gov.cn/tjsj/

主要包括国家经济宏观数据，社会发展、民生相关重要数据及信息，非常全面，且定期发布统计出版刊物，实用性强。

国家数据

http://data.stats.gov.cn/

数据源来自国家统计局，但排版更清晰简洁，包括国计民生各个方面的月度数据、季度数据、年度数据、各地区数据、部门数据以及国际数据。

数据-中国政府网

http://www.gov.cn/shuju/

主要包括CPI、GDP、PPI、工业生产增长指数、固定资产投资、社会消费品零售总额、粮食产量等的指数统计，只列出了主要数据，数据来源于国家统计局，点击会跳转至统计局的国家数据网站。查找起来比较简洁清晰，适合需要快速获取这些基础数据的人群。 

中国经济数据库

https://www.ceicdata.com/zh-hans/products/china-economic-database

中国互联网信息中心

http://www.cnnic.cn/

主要包括互联网发展相关基础数据，相对第三方机构的互联网数据而言，数据更宏观且权威。

香港  https://data.gov.hk/sc/

澳门 https://www.dsec.gov.mo/home_zhmo.aspx

标签: , , 没有评论
198月/150

大数据应用于企业运营

发布在 邵珠庆

大数据在企业运营的不同层次有着不同的作用，也对应了不同的应用方法论。本文抽象出大数据应用于企业运营的不同层次以及相应的应用方法——大数据企业运营应用金字塔模型。大数据企业运营金字塔分为7个层面，包括数据基础平台层、业务运营监控层、用户洞察与体验优化层、精细化运营与营销层、业务市场传播层、业务经营分析层和战略分析层。企业在考虑大数据应用时，此模型可以作为基础的参考方向。

 

大数据
数据基础平台层。数据基础平台层是大数据企业运营应用金字塔的最底层也是整个金字塔的基础层，如果基础层搭建不好，上面的应用层也很难在企业运营中发挥效果。没有数据或者没有高质量的数据，所有的分析和数据挖掘都是误导。数据基础平台层的目标是把企业的所有用户（客户）数据用唯一的用户ID串起来，包括用户（客户）的画像（如性别、年龄等）和用户行为等，以达到全面的了解用户（客户）的目的。数据基础平台层的搭建有三大关键：

（1）确定用户唯一ID。企业需要确定打通用户（客户）数据的唯一ID，可以考虑用会员注册号，或手机号或者身份证号等。企业在构建会员注册体系时，最好是使用用户手机号作为会员账号，这样方便后期整合其他外部数据源；同时使用手机号的好处在于未来可以基于手机号向会员开展相关的营销活动；

（2）有效的解决数据孤岛问题。拥有大数据的企业常常有多个业务部门，而且不同业务部门的数据往往孤立，导致同一企业的用户各种行为和兴趣爱好数据散落在不同部门，出现不同的数据孤岛，导致企业的数据资产不能很好的整合使用。解决数据孤岛的问题，需要高层重视并授权给公司级的中立数据部门，企业从上往下，有意识强有力的去整合不同业务部门的数据，解决数据孤岛，打通数据；

（3）解决数据有效管理和计算的问题。我们可以通过技术手段和规范手段把数据管理起来。重点要解决的问题是存在数据仓库里面的数据具体的含义是什么，以及如何高效的存储和计算。通过数据接入系统和元数据管理系统，我们可以有效的管理数据的定义和相关计算逻辑；通过分布式文件系统、分布式数据库等方法解决高效存储的问题；通过大数据查询分析计算、批处理计算、流式计算和内存计算等计算模式以及大数据计算任务调度系统等方法解决高效计算的问题。

业务运营监控层。业务运营监控层主要目的是帮助企业监控业务运营情况的健康度，快速发现问题并定位问题原因。我们首先要做的是搭建业务运营的关键数据体系，在此基础上开发可视化的数据产品，监控关键数据的异动，并可以定位数据异动的原因，辅助运营决策。在业务运营监控层，如果企业构建了实时计算的能力，那么很多业务运营中问题就能更快的发现。因此，业务运营监控层的工作有两大关键：

（1）梳理数据体系。数据分析师和业务负责人一起梳理业务的数据体系，尤其是对关键数据如KPI数据进行系统化的拆解和梳理。KPI数据的梳理可以以假设该数据下跌开始进行梳理。以活跃用户为例，假设某产品的活跃用户数下跌，一方面可以通过物理拆解的方式层层下钻找出影响模块，即某产品的活跃用户下跌可能是因为该产品的子模块活跃用户下跌引起，我们可以对该子模块进一步拆解分析原因，拆解的过程也是数据体系搭建的过程；另一方面，可以对活跃用户的相关因素进行数据化梳理，如新老用户的构成、用户质量、推广渠道质量的变化等多种维度进行数据化梳理；

（2）打造数据异动监控产品。企业需要构建灵活和智能的数据异动监控产品，并把梳理好的数据体系封装在数据异动监控产品中。数据异动监控产品需要有三方面的能力：一方面，数据可视化程度高易读性好，通过该产品可以清晰的看到数据体系和数据间的脉络；第二方面，通过算法实现异动原因的定位；第三方面，智能的告警功能，一旦关键数据的关键节点出问题，并可以通过短信、邮件等方式周知相关人员。

用户洞察/体验优化层。这一层主要是通过大数据来洞察用户行为和偏好以及监控和优化用户的体验问题。这一层面既运用了结构化的数据来洞察和优化，也运用非结构化的数据（如文本）来洞察和优化。前者更多的是应用各种用户行为模型来实现，后者更多的是通过监测微博、论坛和企业内部客服系统的文本来洞察和优化。具体包括以下两大方面：

（1）用户洞察。利用大数据技术抓取微博、论坛和企业客服系统等文本数据来洞察用户对产品的关注点和走势，实时掌握用户需求及动向；基于大数据的用户行为数据分析，并结合用户调研，深度掌握用户潜在需求和预期；对企业内部数据进行系统化梳理后，为企业内部数据用户搭建自助分析工具，协助企业内部数据用户（如产品经理、营销人员）灵活提取和分析数据，帮助他们进行相关研究和决策；

（2）体验优化。我们可以通过大数据构建各种用户体验监测模型来进行用户体验优化。如电商用户购买行为的漏斗模型，监控用户进入首页、查看商品产品详情、把产品放到购物车、购买以及支付等各环节之间转化率来发现用户购物过程的体验问题；通过大数据技术监测用户使用产品的评价以及时发现产品体验问题，并提交给相关产品或服务部门进行调整和优化。

业务运营监控层和用户洞察/体验优化层这两个层面终极目标是实现企业运营健康度监控的智能化，这两层面做出的工具好比是人体的体温计、血压计、B超、CT等工具，我们用这些工具就能快速透视企业运营中那一模块或者环节发生问题，以辅助相关人员进行及时的改进。

精细化运营和营销层。这一层主要的目的是通过大数据驱动企业进行精细化运营和营销。实现精细化运营和营销有六方面关键：

（1）构建基于用户的数据提取和运营工具。运营和营销人员通过简单的条件配置（如选择男性、18-24岁以及特定兴趣爱好），便可把用户信息提取出来，对相应的用户进行营销或运营活动；

（2）构建基于大数据的CRM系统。传统的CRM系统只关注企业内部数据，而大数据时代的CRM不仅仅是整合企业内部数据，还需要整合更多的外部数据，利用大数据技术获取更多实时和多元化的用户行为和偏好数据，为企业潜在用户、存留用户打标签，构建多维度及实时的用户视图，更有效掌握不同用户的价值，对不同用户实施不同的营销策略；

（3）构建基于大数据的营销活动数据挖掘体系。通过数据挖掘提升用户对营销活动的响应（如点击率），常见的数据挖掘算法有决策树、逻辑回归等，通过这些算法有效的提前识别最有可能参与活动的用户，或者发现潜客；

（4）推广渠道质量监控和防作弊。通过大数据手段建立营销推广渠道质量的监控模型，实时的监控推广渠道的效果和质量，防止渠道作弊，及时优化和挑战推广策略和预算；

（5）通过数据挖掘的手段进行客户生命周期管理，做到实时对不同生命周期的客户进行实时标记和预警，并把有效的活动当成商品一样及时的推送给不同生命周期阶段的客户；

（6）客户个性化推荐。主要是用个性化推荐算法实现根据用户不同的兴趣和需求推荐不同的商品或者产品，以实现推广资源效率和效果最大化。

业务市场传播层。这一层面要做到通过“性感”的数据分析和挖掘来辅助产品进行传播，主要有两种实现方式：

（1）制作有趣的数据信息图谱。相信大家都不喜欢看产品的公关软文，而更喜欢看好玩的有趣的内容。互联网上内容的传播更是如此。第三方数据公司CNNIC中国互联网络信息中心2014年的数据显示，10-29岁的网民占所有中国网民的55%，而这些用户偏年轻、偏“屌丝”，所以这些受众更喜欢“性感”的内容。某电商平台曾经通过统计其购买胸罩C-Cup以上的用户地区分布，发现西安的网民相对比例最多，并发布了这个数据，暗示西安女生身材好，引起不少“屌丝”网民传播。而某社交平台在则基于其8亿多活跃用户披露“逃离北上广”数据图，发现11%的用户在春节后逃离了北上广，并引起央视的深入报道；

大数据
（2）提供数据可视化产品。如某搜索引擎厂商，提供关键词搜索指数，让关注此关键词的用户可以实时掌握该关键词被网民关注的走势，在提供此服务的同时，也形成了该搜索厂商的品牌传播效应。另外一个案例是，某互联网地图服务上基于其位置定位数据，向网民展示了春节期间的全国春运出行热度图，以可视化的大数据产品形式来展现全国春运动态，网民可以在动态的出行热度图上查看某城市的人口迁入、迁出线路排行，并能进行飞机、汽车、火车等不同出行方式的热度对比，由此来知晓某地区春运的出行热度。全国春运出行热度图被央视报道，可见这样结合社会热点的数据可视化产品更被关注。

业务经营分析层和战略分析层。这两个层面更多的是运营传统的战略分析、经营分析层面的方法论，拥有大数据的企业在这两个层面的优势在于其分析的数据可以来自大数据，并且数据更新速度快，快到可以按照小时来更新甚至是分钟级的速度更新，传统的战略分析、经营分析一般是按月来统计；另外一个优势在于大数据的数据来源更多，可以对非结构化的数据进行更多的深入挖掘和洞察。但有两方面需要注意：

（1）有很多企业错误的把“业务运营监控层”和“用户洞察/体验优化层”能做的事情放在经营分析层或者战略分析层来实施。我们认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的，“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做，这样导致发现问题的效率较低。我们的建议是：能用机器做的事情尽量用机器来做好，尤其是“业务运营监控层”和“用户/客户体验优化层”，在此基础上让人来做擅长的经营分析和战略判断；

（2）在变化极快的互联网领域，在业务的战略方向选择上，数据很难预测业务的大发展方向，如果有人说微信这个大方向是通过数据挖掘和分析研究出来，估计产品经理们会笑了。我们认为，如果能利用数据通过机器、算法、或者人工的手段，把经营的现状和问题及原因洞悉的特别清楚已经很不错了，这样决策层就可以基于这些情况进行更好的“拍脑袋”决策。

从本质上来说，数据在业务运营监控、用户洞察和体验优化、精细化营销和运营、辅助经营分析中能起到比较好的作用，但在产品策划、产品创意等创意性的事情上，起到的作用较小。但一旦产品创意出来，便可以通过大数据AB测试，数据验证效果了。总之，本文只是提纲挈领的介绍了大数据在企业的落地方案。还有更多的细节和方法论未能展示出来，后面的文章将继续展开。

文：傅志华

关于作者：傅志华先生曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。在腾讯前，曾任DCCI互联网数据中心副总裁。傅志华先生现就职于某美国上市互联网公司大数据中心，同时任中国信息协会大数据分会理事和中国互联网协会数据分析研究组专家。

标签: , , 没有评论
246月/150

缔元信：用户画像技术助推大数据落地

发布在 邵珠庆

dratio-dmp-data[原文：IT专家网] 企业要如何快速地从大数据的发展中获益？日前，北京缔元信互联网数据技术有限公司(以下简称“缔元信”)产品副总裁、曾长期担任新浪网数据分析部总监的牛程先生做客IT专家网《专家会客室》，分享了他心目中的企业释放大数据潜能的最佳实践。

牛程表示，对于大多数企业而言，自建大数据平台并非明智的选择，通过第三方专业的数据服务来实现大数据的价值，可以低成本、快速、准确地获得专属的商业洞见，能够有效地跨越数据分析人才匮乏的现状。目前的阶段，要借助大数据来影响市场营销资源的投放，基于传统的贴标签功能依托IT技术进行聚类分析而成的网络用户画像是一项出色的应用，能够帮助企业实现高效运营和精准营销。

dratio-bigdata-1

网络用户画像数据成网站运营、精准营销的基础

　　企业上马大数据有两道坎

根据市场调研机构IDC的统计数据，2013年全球产生的数据大约为2.72ZB，但分析过的数据仅占其中的12%。如果我们再套用“二八定律”来分析，则能够从数据分析中受益的更是少之又少了。

要想获得新的应用，中国企业往往选择新建自己的平台，但在牛程看来，企业想要自主搭建大数据平台，从交易和互联产生的几何级增长的数据中获益，还存在两个难题：数据和人才。

从大数据的4V来说，我们需要大量、多样和快速的数据，才能真正地体现价值。牛程表示，企业除了内部CRM平台的数据，还需要用户离开这些平台以后的数据，需要各种终端产生的数据，但企业自建平台，往往只有CRM数据，即便有一些企业采集了SNS数据，也还是不够全面，不利于产生需要的结果。

IDC大数据与分析、数据管理及企业应用高级项目经理Daniel-Zoe Jimenez亦有类似观点：真正的机遇在于将客户数据等内部数据源与社交网络和站点等外部数据源加以整合。这有助于企业全面了解他们的客户业务和环境，让他们能够掌握客户的喜好、习惯和未来需求。

另一方面，数据-知识-决策的转换，需要有数据处理、数据挖掘和决策的人才的支撑。目前，尽管开源软件目前非常发达，硬件变得廉价，但若没有BAT那样的研发实力，搭建企业级大数据平台所需要的兼容性、稳定性和安全性都很困难，更不用说实时分析和决策了。一项调查显示，83% 的人认为数据分析对业务至关重要，但65% 的人表示他们无力自建数据分析系统、无力聘请数据分析师。

 

　　用户画像数据成网站运营的基础

如前所述，缺乏相关技能集和最佳工具以及流程方面的差距对中国企业构成了挑战。我国在数据的开放性、流动性和交互性以及原有大量积累数据缺乏真实性是我们的挑战。但从缔元信看来，利用互联网服务平台和用户行为数据，可以很容易规避数据的问题，则剩下的就是技能和工具。

我们知道，互联网服务平台能够汇聚海量的生产信息、交易信息与消费者信息 ，使信息这一核心生产要素广泛应用于经济生产活动。因此，平台型互联网企业更能为大数据应用做出有效探索，有的企业已经在这个领域有所建树，如阿里、百度都有相关案例。

当然，阿里、百度、京东等更多的是为自身业务的发展来利用数据，尽管百度也开放了其大数据引擎，但对于一般企业来说，它们未必是普适的平台。针对企业大数据通用的解决方案，牛程提出了一个用户分群画像的概念，通过用户画像与分群的研究，为网站运营、营销策略、广告运营、推广提供数据支持。

网站用户分群画像核心价值在于精细化的定位人群特征，挖掘潜在的用户群体，为媒体网站、广告主、企业及广告公司充分认知群体用户的差异化特征，根据族群的差异化特征，帮助客户找到营销机会、运营方向，全面提高客户的核心影响力。

dratio-bigdata-2

基于用户画像技术的数据服务原理

　　传统的对用户贴标签的功能，往往局限于静态的结果，用户画像则是动态、立体的解决方案，通过精细化人群定位，多维度交叉筛选查询，客户根据数据分析、挖掘潜在用户群。

　　缔元信的实践分享

目前，缔元信已经将牛程分享的这套理论进行产品化，发布了“网站用户分群画像”和“缔元信DMP”两款产品，前者为媒体网站、广告主、企业及广告公司提供网站营销、网站运营的数据支持服务;后者针对DSP(精准投放)平台提供数据服务，通过可视化的操作界面方便客户对目标用户人群数据的选取并将该数据输出给DSP平台，为精准投放的实施提供数据，提高转化率。

两款产品依托缔元信先前开发的缔元信数据管理平台(DDMP)，将第一方标签与第三方标签相结合，对每一个用户标签化，然后按不同的评估维度和模型算法，通过聚类方式将具有相同特征的用户划分成不同属性的族群，用特定的名称作为实际用户群的虚拟代表，并进行画像描绘，洞察其商业价值及用户价值。

用户画像技术的出现，能够帮助客户了解群体的差异化特征，根据族群的差异化特征设计并提供有针对性的产品及服务。缔元信用户分群画像系统以TGI指数(目标群体指数)和用户构成两大核心指标，分析消费者的购买行为、态度、生活形态和媒体接触习惯，以及目标用户群体在指定范围内占有的比例，多维度判别目标用户群在媒体的优、劣势及用户价值。

dratio-bigdata-3

　　缔元信网络用户分群画像的用户构成界面

　　通过TGI指数，可以为销售团队的客户定位、营销策略和方案的制定提供支撑;评估网站资源优劣态势，为内容运营、产品规划提供支撑;评估网站资源之间(频道、栏目、内容、产品等)的优势关联关系。

谈及缔元信产品的优势，牛程表示，主要来自于拥有全样本第三方标签，精细化的人群定位，具有7年的数据积累，并拥有为数据管理而生的专业的技术团队，能够为企业提供大数据时代数据化、高效精良的服务。

视频链接：《牛程：专业数据服务助推大数据落地》

标签: , , , , , 没有评论
256月/140

2014世界杯冠军预测图（基于大数据与JS）

发布在 邵珠庆

世界杯

四年一度的球迷狂欢节就要到了，32强已经准备就绪，6月13日开始将为全世界的球迷带来顶级的足坛盛宴。

自32强分组以来，关于各支球队胜负的预测从未停止过。就连《时间简史》的作者、世界著名物理学家霍金都通过科学公式预测出英格兰队要想在2014世界杯上夺冠需要具备的要素。

开发者Andrew Yuan利用大数据和前端技术制作了一个预测信息图，来看看你支持的球队夺冠几率如何吧?(足球是圆的，一切皆有可能，本文不对该数据负责)。

演示地址：http://andrewyuan.github.io/EDAV-project.html

2014世界杯冠军预测图（基于大数据与JS）

鼠标放在图中某个节点、国家名称、地图区域上，左图中即会显示该国家队在世界杯各轮比赛中获胜的几率。

该项目的实现方式：

收集数据：自1930年以来的FIFA官方比赛比分、自1993年以来215个不同国家的排名、32个国家的Google地图数据

将CSV格式数据汇总，转换为JSON格式

通过各种公式计算概率

使用D3.js将结果可视化

2014世界杯冠军预测图（基于大数据与JS）

具体实现方式：

http://andrewyuan.github.io/methodology.html   (使用方向键查看)

项目源码：

https://github.com/andrewyuan/andrewyuan.github.io/blob/master/EDAV-project.html

标签: , , , , , 没有评论
285月/140

大数据行业生态图谱3.0–信息图

发布在 邵珠庆

big-data-landscape-v3-2013

点击上图，即可打开大图

2012年，FirstMark资本的MattTurck绘制了大数据生态地图2.0版本，涵盖了大数据的38种商业模式，被业界奉为大数据创业投资的清明上河图。两年后的今天，经过漫长的等待，Turck终于推出大数据生态地图3.0版本。（期间bloomberg推出过一个2013版大数据生态地图）

在大数据生态地图3.0版中，Turck从一个风险投资者的角度对两年来大数据市场的最新发展进行了深入的研判，并对未来趋势进行解读，以下是Turck眼中大数据市场的几个最为关键的演变趋势：

竞争加剧：创业者们纷纷涌入大数据市场，尾随的VC们也是挥金如土，导致大数据创业市场目前已经非常拥挤。例如一些创业项目类别，例如数据库（无论是NoSQL还是NewSQL），或者社交媒体分析，目前正面临整合或去泡沫化（随着Twitter收购BlueFin和GNIP，社交分析领域的整合已经开始）

虽然大数据创业市场已经人山人海，但是依然有足够的空间给新的创业公司，现阶段大数据基础设施和分析工具领域的创新吸引了大量的资金，当然，这类大数据创业本来就是资金密集型项目。

大数据市场尚处于初期阶段：虽然大数据的概念已经热炒了数年，但我们依然处于市场的早期阶段，虽然过去几年类似Drawn和Scale这样的公司失败了，但是相当多的公司已经看到了胜利的曙光，例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFinLanbs、BlueKai等。

还有不少大数据创业公司已经形成规模和气候，并且获得了海量融资，例如MongoDB已经募集2.3亿美元，Plalantir9亿，Cloudera1亿。但是就成功的IPO或公司而言，市场尚处于早期阶段（虽然已经有Splunk、Tableau等成功IPO）。

此外，目前阶段一些传统IT巨头已经展开了收购大战，例如Oracle收购BlueKai和IBM收购Cloudant。在很多大数据创业领域，创业公司们依然在为市场领袖的地位展开混战。

从炒作回归现实：虽然经过几年声嘶力竭的热潮后，媒体对大数据已经有些审美疲劳，但这恰恰是大数据真正落地的重要阶段的开始。未来几年是大数据市场竞争的关键时期，企业的大数据应用从概念验证和实验走向生产环境，这意味着大数据厂商的收入将快速增长。当然，这也是一个检验大数据是否真的有“大价值”的时期。

大数据基础设施：虽然Hadoop已经确立了其作为大数据生态系统基石的地位，但市场上依然有不少Hadoop的竞争和替代产品，但这些产品还需要时间进化。基于Hadoop分布式文件系统的开源框架Spark近来成为人们讨论的热门话题，因为Spark能够弥补Hadoop的短板，例如提高互动速度和更好的编程界面。而快数据（实时）和内存计算也始终是大数据领域最热门的话题。一些新的热点也在不断涌现，例如数据转换整理工具Trifacta、Paxata和DataTamer等。

时下一个关键的争论是企业数据是否会转移到云端（公有云或者私有云），如果是，什么时候会发生？一些基于云端的Hadoop服务创业公司例如Qubole、Mortar坚信从长远看所有企业数据最终都会转移到云端。

大数据分析工具：就创业者和VC的活跃度而言，大数据分析是大数据市场最活跃的领域。从电子表格到时间线动画再到3D可视化，大数据创业公司们提供了各种各样的分析工具和界面，有的面向数据科学家，有的选择绕过数据科学家直接面向业务部门，由于不同的企业对分析工具的类型有不同的偏好，因此每个创业公司在自己的细分领域都有机会。

大数据应用：大数据应用的发展进程相对缓慢，但目前阶段大数据确实已经进入了应用层。从大数据生态地图3.0中我们可以看到，一些创业公司开发出了大数据通用应用，例如大数据营销工具、CRM工具或防欺诈解决方案等。还有一些大数据创业公司开发出了面向行业用户的垂直应用。金融和广告行业是大数据应用起步最早的行业，甚至在大数据概念出现之前就已经开始了。未来大数据还将在更多行业得到广泛应用，例如医疗、生物科技（尤其是基因组学）和教育等。

标签: , , , 没有评论
   

支持博主

了解慈善捐款计划

关于邵珠庆博客

文章标签

API GA Git Google Analytics HTML5 jquery JS Linux MySQL nginx PHP SaaS web 互联网 代码 使用 分析 创业 原理 命令 好东西 如何 工具 常用 开发 总结 技巧 技术 插件 数据 文件 方法 时间 架构 框架 汇总 百度 管理 系统 网站 网站分析 设计 详解 问题 阿里云

记事邵珠庆博客

1、Web前端网址导航
2、邵珠庆极客筛站
3、识别移动设备访问代码


最近文章

最近评论

博客日历

2024年5月
一 二 三 四 五 六 日
« 8月    
 12345
6789101112
13141516171819
20212223242526
2728293031  

目录分类

文章归档

博客功能