【Open Data】国外开放数据中心及政府数据开放平台汇总
纽约政府开放数据平台
https://opendata.cityofnewyork.us/
美国官网数据超市
新加坡政府开放数据平台
提供1700个数据集、9个数据目录
休斯顿市开放数据门户网站
247个数据集、12个数据目录
Academic Torrents
大数据数据开放平台
2015年国务院印发的《促进大数据发展行动纲要》,要求“2018年底前建成国家政府数据统一开放平台,率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放”,截止2019年,已经有50多个地市开放了平台,开放了约15个领域数据,包括教育科技、民生服务、道路交通、健康卫生、资源环境、文化休闲、机构团体、公共安全、经济发展、农业农村、社会保障、劳动就业、企业服务、城市建设、地图服
[......]阅读全文
Mysql之binlog日志说明及利用binlog日志恢复数据操作记录
众所周知,binlog日志对于mysql数据库来说是十分重要的。在数据丢失的紧急情况下,我们往往会想到用binlog日志功能进行数据恢复(定时全备份+binlog日志恢复增量数据部分),化险为夷!
一、初步了解binlog
MySQL的二进制日志binlog可以说是MySQL最重要的日志,它记录了所有的DDL和DML语句(除了数据查询语句select),以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全[......]阅读全文
阿里系列:OSS存储作为本地数据盘挂载
https://github.com/aliyun/ossfs#ossfs
简介
ossfs 能让您在Linux/Mac OS X 系统中把Aliyun OSS bucket 挂载到本地文件 系统中,您能够便捷的通过本地文件系统操作OSS 上的对象,实现数据的共享。
功能
ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:
- 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限, uid/gid,以及扩展属性(extend[......]阅读全文
D3.js 接触
1. 初识D3.js
相信大多数人对D3.js并不陌生。这是一个由纽约时报可视化编辑 Mike Bostock与他斯坦福的教授和同学合作开发的数据文件处理的JavaScript Library,全称叫做Data-Driven Documents。
D3的应用非常广泛,现在 成为了主流数据可视化工具之一,下图仅仅是给出了D3.js广泛应用的冰山一角。更多的作品可以访问这里。
纽约时报出品的一些赫赫有名的数据产品,也都使用了D3.js,比如 “512 Paths to the W
[......]阅读全文
数据论水浒:解析108名梁山好汉
梁山一百单八将都是如何落草为寇的?他们都是什么”学历”?除了大碗喝酒大块吃肉,他们真的是替天行道吗?
落草的成了”好汉”,入仕的成了”奸佞”,这之间有一个什么样的衡量标准?
他们,为什么上梁山?
纵观梁山一百单八将,他们上山的原因,大致可以分为以下五种。
第一种:被自己人陷害–以卢俊义为代表。
这里的”自己人”是指一百单八将里的人,如杨志被晁盖、吴用等劫了生辰纲。虽然那时杨志还没走上革命道路,但是日后却在一起了,所以也算是被自己人陷害的。
这种人里,有卢俊义、秦明、李[......]阅读全文
JS 循环遍历JSON数据 简单
JSON数据如:{"options":"[{/"text/":/"王家湾/",/"value/":/"9/"},{/"text/":/"李家湾/",/"value/":/"10/"},{/"text/":/"邵家湾/",/"value/":/"13/"}]"}
用js可以写成:
var data=[{name:"a",age:12},{name:"b",age:11},{name:"c",ag
[......]阅读全文
天猫淘宝公开课:卖家数据分析全攻略
几乎每个淘宝运营一提到数据营销,基本上都能说上来这些软件:量子恒道、淘宝指数、数据魔方。但是谈及具体应用方面,到底要关注哪些指标,有了这些指标后要怎么优化,自己的店铺正处于什么阶段,有什么问题,接下来要怎么改变……很多卖家就犯难了。
古有云,知己知彼,百战不殆。数据分析其实也就是在做这两件事。知己就是要对自己的店铺状况了如指掌,而知彼则要对大环境和直接竞争对手有清晰的认识。