处理 « 邵珠庆の博客

邵珠庆の博客 生命只有一次,你可以用它来做些更多伟大的事情–Make the world a little better and easier

20十/160

支付宝口碑isv开发如何正确处理签名

发布在 邵珠庆

简单的知识点

  • 本文基本分初级、进阶、高级三部
    • 初级适用群体:使用 demo 或 SDK 开发系统,对 RSA 签名规则不熟悉的同学
    • 进阶适用群体:使用 SDK 开发系统,对 RSA 签名规则熟悉的同学
    • 仅使用SDK需要对开放平台签名规则略有了解。
    • 适合遇到网关返回报文中描述签名错误
    • 高级适用群体: 不使用 demo或 SDK、完全独立开发。对RSA 签名规则熟悉的同

[......]阅读全文

28九/114

十道海量数据处理面试题与十个方法总结

发布在 邵珠庆

第一部分、十道海量数据处理面试题

1、海量日志数据,提取出某日访问百度次数最多的那个IP。

      首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法, 比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大 的几个)及相应的频率。然后再在这1000个最大的I

[......]阅读全文

24八/1110

海量数据的处理分析经验

发布在 邵珠庆

在实际工作中,有幸接触到海量数据处理问题,对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面:

一、数据量过大,数据中什么情况都可能存在。如果说有10条数据,那么大不了每条去逐一 检查,人为处理,如果有上百条数据,也可以考虑,如果数据上到千万级别,甚至过亿,那不是手工能解决的了,必须通过工具或者程序进行处理,尤其海量数据 中,什么情况都可能存在,例如,数据中某处格式出了问题,尤其在程序处理时,前面还能正常处理,突然到了某个地方问题出现了,程序终止了。
二、软硬件要求高,系统资源占用率

[......]阅读全文