邵珠庆の日记 生命只有一次，你可以用它来做很多伟大的事情–Make the world a little better and easier

如何通过数据进行网站分析

小米渣：非常荣幸邀请到您做客运营辅导在线访谈，听众朋友们都期待对您有更多的了解，请介绍一下自己及职业经历？
云统计高代鹏：
大家好，我是高代鹏，是数据平台产品经理。曾供职于国内一家第三方数据公司，主要负责大型媒体类网站统计产品的规划、网站的数据分析和行业数据的解读。
很荣幸能与大家一起交流网站的数据分析，这是一门新兴学科，05年起国内才崭露头角。希望通过本次访谈能让大家了解到一些常用的统计方法、分析思路、体会数据的魅力。

小米渣：首先，请代鹏介绍一下对于网站产品，日常监控范围内的常见数据种类及含义？
云统计高代鹏：
网站的监测指标有很多，一般的统计产品都包含大约20-30个指标。
这些指标可以分成以下五个类别：用户规模、用户粘性、用户来源、网站受众属性、网站内容属性；
用户规模主要是通过PV、UV和独立IP三个指标衡量；
用户粘性主要通过回访率、访问频率和访问深度三个指标衡量；
用户来源主要通过直接来源和站外来源两个指标衡量，其中站外来源常被分为搜索引擎和其他网站；
网站受众属性主要通过用户的性别、年龄、收入、职业以及地域分布等指标衡量；
网站内容属性主要通过最常访问内容、入口页和出口页三个指标衡量；

小米渣：感谢代鹏精彩的讲解，以上您所谈的对于互联网产品，最基础的流量指标，也就是关键数据有哪些？请结合实例谈一下这些数据的重要性。
云统计高代鹏：
其实每个数据指标都有他的实际意义，而要说最基础、最关键的流量指标那应该是PV和UV。PV和UV是反映站点的用户规模，在很多时候与收入直接相关。这两个指标的重要性就不在过多描述了，也经常有人问起对这两个指标的分析频率和如何分析。
频率可能不同的网站、站长习惯不同，之前在给新浪和搜狐提供分析时，是需要每周、每月、每季度都提供分析报告，在遇到重大事件时更需要专项的数据分析。
以月的数据为切入点，介绍三种常用的分析思路：
首先分析PV/UV的比值同最近三个月的比较。如果发现这个比值明显下降，而UV变化不大，说明PV的下将主要是每个用户单次访问的页面数减少，这种情况下网站的内容或结构急需调整，不然等用户大量流失时已晚。
其次查看PV、UV的环比变化率，分析网站最近的运营是否稳定，是否保持持续的增长。
最后还要与行业对比，才能发现自己的状况是真的好，还是表象；如某个月你的用户规模增长了10%，但行业均值确增长15%，那我们要努力的地方还有很多。

小米渣：嗯，刚才你谈到用户单次访问页面减少时可能需要进行网站内容或结构调整，那么 网站结构是否合理，具体通过什么样的数据指标去看？如何去分析用户关注的内容？
云统计高代鹏：
       网站结构是指网站中页面间的层次关系；按性质可分为逻辑结构及物理结构。网站结构对网站的搜索引擎友好性及用户体验有着非常重要的影响。
小站初期往往希望更快地找到自身定位，除了站长自身的资源和优势，还需要我们通过数据找到用户最感兴趣的内容，并且最大限度地引导他们浏览、回复这些内容。
这就需要我们对网站内容和网站结构进行分析：例如可从以下几个角度分析首页的结构是否合理：
1、查看首页作为网站入口的比例；
2、查看首页流量在全站的比例；
3、查看首页的二跳率和弹出率；
4、查看首页带给其他版块或频道的流量。
    经过几次这样的调整再分析的过程，最终找到最优的解决方法。
    通过对用户最常访问内容的分析，更能发现运营中存在的问题。如果发现TOP5版块的主题量和流量占全站比例不足50%，或者TOP20页面的回复量和流量 占全站比例不足50%，或者流量TOP20页面中有超过10个页面来自非主流版块等等，类似的数据表现都可以说明用户的关注点太过分散，网站没能有效的引 导用户，网站的定位与用户的兴趣点存在偏差。

小米渣：感谢分享，您刚才讲解的需要分析用户偏好，那么对于网站产品，一般的用户行为相关数据有哪些？怎样通过这些数据来分析用户进而分析网站产品？
云统计高代鹏：
用户在网站的每一次点击、回复乃至鼠标的每一次滑动，都是用户的访问行为；用户的访问行为是用户心理最直白的显现，更是我们网站产品设计的试金石。
从用户行为来讲，除了注册，登陆，其他数据会有访问深度、访问次数分布、访问停留时长分布、回访天数分布、每小时访问页数分布等等；通过分析网站用户各种行为的次数和人数数据，了解用户使用你的网站和产品情况，用户使用多的是哪种行为？是否符合产品原型的设计？
譬如，注册量是衡量新用户发展的一个数据；登陆是衡量用户使用网站和产品的一个主要活跃数据；评论次数反应你的网站用户互动情况，访问深度反映用户对网站内容的兴趣度等。
那 究竟这些指标数值的多少代表什么？是否有衡量的标准？因不同行业、不同类型的网站、以及网站处于不同的发展阶段衡量的标准都不同，所以对这些指标要动态的 分析；分享一下媒体型网站的相关数据，供大家参考。一个用户平均每天访问5-7次，每次访问8-10个页面，每次停留500秒左右，回访率在 33%-38%之间。

小米渣：古语有知己知彼百战百胜，网站最核心的价值是为用户提供服务，而用户属性是我们了解用户的一条渠道。那么请教代鹏一般网站产品的用户属性数据有哪些，能否结合实例数据图表等说明如何通过分析用户属性数据优化产品、协助运营？
云统计高代鹏：
用 户属性数据一般包括用户所属的地域、用户的性别、年龄、收入、职业以及学历；通过对网站注册用户属性数据的分析，可帮助网站优化产品，协助运营，提升用户 对网站的粘性；这里会用到网站数据分析的基本思想：细分；其实细分可于用户数据分析的方方面面，对发现的问题，都要层层拨开，找出事情的缘由，这就是细分 的思想。
比如通过IP定位，知道哪些省份、城市以及哪个区域的用户在访问，不同地域的用户关注的内容是否有差异，通过对这个数据的分析，可指导市场部门具体选定在哪个城市做推广或者活动效果更好。
比 如某个地方性的网站，在春节期间PV未降反而增长了20%，提供我们对这20%新用户的监测，发现IP地址都来源于本地，进而我们可以判断这20%的用户 是从外地返乡的，我们在运营时，可为这 20%的新用户有针对性的提供信息；比如提供返城火车票的信息服务，提供儿童教育类商家的信息等等。

小米渣：嗯，很赞同细分思想，数据运营要的就是针尖上跳舞的艺术，切忌烦杂，沉迷宏观的PV、IP。
经过对网站访问情况、用户属性等数据了解和分析，我们可以更真实了解自己的网站，帮助我们及时改进网站运营。当我们需要改版或者转型的情况，请问应该如何利用现有数据分析，以便使转型工作取得更有效的成果？
云统计高代鹏：如果一个网站决定改版或转型，那可能是发现用户对现有的网站结构不满意，而具体对哪些地方不满意，怎样的数据指标能反映用户的心理呢。一般地，我们会从以下角度进行分析：
首先分析网站的小时浏览趋势、热门板块、热点内容与网站的定位和用户特征是否一致。
1、首先通过整站或者频道的小时浏览趋势来掌握网站用户的访问情况。
比 如我们持续跟踪某个网站流量的小时变化趋势，发现凌晨1-2点，博客频道的流量都会大幅增长，并且平均每个用户都会访问10个页面以上；根据这个分析，编 辑可针对性在这个时段，推荐些有思想博文和深度评论，同时也可考虑推荐些其他频道的、用户可能感兴趣的内容，引导用户对其他频道的访问。

2、其次分析首页的弹出率、二跳率等指标，评估首页的引导效果；
通过访问深度来衡量网站首页内容是不是符合网站主流的用户偏好。
通过对某网站最近一周的监测发现，70%以上用户的访问深度都低于3页，访问最热的内容TOP10中，仅有3个来自于网站首页，说明我们近期编辑发布的内容与当前热点有偏差或者首页导航、热点区域的推荐内容有问题。
3、最后我们还可分析不同板块的用户重合度、不同板块的流量引导效果
如 之前我们对XX网站的监测发现，该网站新闻频道和女性频道的用户重合度达到73%，同时女性频道的流量50%是由新闻频道带来的，根据这些数据，我们会建 议广告商在新闻频道投放广告的同时，也需在女性频道投放，这样可提升目标受众对品牌的印象，同时更可节约成本（女性频道的广告相对更便宜）；
特别 地，在改版的过程中，也需时刻监测用户的访问行为，评估改版的效果；升级了 8.3的站长可以关注一下用云统计提供的页面点击热图；通过对某些特殊页面（如网站首页）部署一段监测代码，站长能获得用户在这个页面的点击轨迹，再用不 同的颜色区分用户对不同区域的点击热度，这样可直观的看出用户在这个页面的点击分布。

小米渣：感谢代鹏，我相信这方面能够帮助不少站长朋友们。另外，对于公司的领导决策层，网站的哪些数据会影响制定和修改营销策略？
云统计高代鹏：网站的营销形式有很多，这里简单粗略地分为内容营销和市场营销：
1、内容营销会更多的关注数据的时效性，如流量的小时变化趋势、帖子热门标签、意见领袖的热点话题、热点关键词等，根据这些数据指标的变化，实时调整内容营销策略：
例如通过流量的小时变化趋势发现每天在上午8-10点、下午4-6点和晚上的8-10出现三个峰值区间，可对这类用户（大部分是上班族）提供有针对性的内容；
再例如，对使用 8.3的站长可以关注云统计提供的帖子热门标签，发现当前网站的热点讨论内容，根据这个数据可让编辑对此类内容给予重点关注，如置顶、加精、首页推荐等，引导更多的用户参与到相关话题的讨论。
2、 市场营销则需持续关注投放媒体的数据延续性和效果的可持续性。比如某些网络广告投放目的是提高产品销售，首先还是选择投放媒体，投放媒体的影响力和目标用 户的吻合度同样重要；其次需对广告每次展示、点击、二跳都需要有全面的统计和分析；最后分析销售数据，购买用户究竟从哪个网站，点击了哪个位置的广告而来 的。在购买的流程过程中，在哪个步骤用户大量流失。
此外，我们也需要分析用户对什么样的内容感兴趣，分析用户的偏好；比如我们发现某一堆用户浏览的页面都是在描述5-10万元的汽车，根据这些数据，我们可将符合这个价格区间的汽车定地的投放给这一堆用户；
比 如，近期我们选择了10个合作网站推广，那么该如何评估哪个网站效果好呢，仅看带了PV\UV数据是片面的，很有可能某个网站带来了大量的用户，但这些用 户在我们网站仅访问了一页或二页，并且之后也没有回访行为。如果是这样，我们可以说这个网站带来的用户没有价值，下次也就不会考虑与这个网站在合作。所以 我们在实际的运营过程中，在掌握PV\UV等宏观指标的同时，更要仔细研究分析平均访问页数、访问次数分数等细节指标。
希望这两个例子能起到抛砖引玉的作用，让数据更多的参与到公司的决策中。

小米渣：谢谢代鹏的两个例子，我个人认为领导层的决策应该会参考网站内部的数据以及网站外部数据，内部数据更能了解一个网站的内力，外部数据能够说明这个网站在行业内的影响达到了一个什么程度。只有明确了内力和外力现状才能更好的精准营销。
小米渣：再代表站长们请教一个数据运营中比较常见的问题，就是我们时常会发现某个长尾关键词带来了不小的流量，针对这种偶发现状，站长们应该怎样面对机遇和挑战，请代鹏给予建议？
云统计高代鹏：这是一个很好的问题，我也常听一些分析师提到，经常会发现一些用户通过搜索陌生的关键词来到网站，而这些关键词初看起来和网站并没有紧密的关系。每天通过互联网会产生大量的新词，如果能及时发现这些新词并与我们每天的运营结合起来，可能会起到意想不到的效果。
先提供2个发现新词的方式：1.通过百度和谷歌的搜索风云榜能及时发现社会热点关键词和话题；2. 通过云统计提供的行业热门帖子标签和用户站内搜索热点关键词。
该如何利用这些长尾关键词我觉得可阶段性的尝试与网站内容编辑结合起来，辅以SEO，并持续的跟踪监测，评估用户对这类内容的接受程度。

电子商务网站数据分析指标、名词定义与解析

分享一篇文章:我的职业理想：成为数据分析师

很不错的文章，建议大家都看看，特别是菜鸟们！

       我小时候的理想是将来做一名数学家，可惜长大了发现自己天赋不够，理想渐行渐远，于是开始考虑现实，开始做一些人生规划，我一直在思考将来从事何种职业，专注什么样的领域，重新定义着自己的职业理想。我现在的职业理想，比较简单，就是做一名数据分析师。

为什么要做数据分析师：

在通信、互联网、金融等这些行业每天产生巨大的数据量（长期更是积累了大量丰富的数据，比如客户交易数据等等），据说到2020年，全球每年产生的数据量 达到3500万亿GB；海量的历史数据是否有价值，是否可以利用为领导决策提供参考依据？随着软件工具、数据库技术、各种硬件设备的飞快发展，使得我们分 析海量数据成为可能。

而数据分析也越来越受到领导层的重视，借助报表告诉用户什么已经发生了，借助OLAP和可视化工具等分析工具告诉用户为什么发生了，通过 dashboard监控告诉用户现在在发生什么，通过预报告诉用户什么可能会发生。数据分析会从海量数据中提取、挖掘对业务发展有价值的、潜在的知识，找 出趋势，为决策层的提供有力依据，为产品或服务发展方向起到积极作用，有力推动企业内部的科学化、信息化管理。

我们举两个通过数据分析获得成功的例子：

(1) Facebook广告与微博、SNS等网络社区的用户相联系，通过先进的数据挖掘与分析技术，为广告商提供更为精准定位的服务，该精准广告模式收到广大广 告商的热捧，根据市场调研机构eMarketer的数据，Facebook年营收额超过20亿美元，成为美国最大的在线显示广告提供商。

(2) Hitwise发布会上，亚太区负责人John举例说明: 亚马逊30%的销售是来自其系统自动的产品推荐，通过客户分类，测试统计，行为建模，投放优化四步，运营客户的行为数据带来竞争优势。

此外，还有好多好多，数据分析，在营销、金融、互联网等方面应用是非常广泛的：比如在营销领域，有数据库营销，精准营销，RFM分析，客户分群，销量预测 等等；在金融上预测股价及其波动，套利模型等等；在互联网电子商务上面，百度的精准广告，淘宝的数据魔方等等。类似成功的案例会越来越多，以至于数据分析 师也越来越受到重视。

然而，现实却是另一种情况。我们来看一个来自微博上的信息：在美国目前面临14万~19万具有数据分析和管理能力的专业人员，以及150万具有理解和决策 能力（基于对海量数据的研究）的管理人员和分析人员的人才短缺。而在中国，受过专业训练并有经验的数据分析人才，未来三年，分析能力人才供需缺口将逐渐放 大，高级分析人才难寻。也就是说，数据分析的需求在不断增长，然而合格的为企业做分析决策的数据分析师却寥寥无几。好多人想做数据分析却不知道如何入手， 要么不懂得如何清洗数据，直接把数据拿来就用；要么乱套模型，分析的头头是道，其实完全不是那么回事。按俗话说就是：见过猪跑，没吃过猪肉。

我的职业规划：

对于数据分析，有一句话说的非常好：spss/sql之类的软件、决策树、时间序列之类的方法，这些仅仅就都是个工具而已，最重要的是对业务的把握。没有 正确的业务理解，再牛的理论，再牛的工具，都是白搭。做一名合格的数据分析师，除了对数据需要有良好的敏感性之外，对相关业务的背景的深入了解，对客户或 业务部门的需求的清晰认识。根据实际的业务发展情况识别哪些数据可用，哪些不适用，而不是孤立地在“真空环境”下进行分析。

为此，我对自己的规划如下：

第一步：掌握基本的数据分析知识（比如统计，概率，数据挖掘基础理论，运筹学等），掌握基本的数据分析软件（比 如，VBA，Matlab，Spss，Sql等等），掌握基本的商业经济常识（比如宏微观经济学，营销理论，投资基础知识，战略与风险管理等等）。这些基 础知识，在学校里尽量的学习，而且我来到了和君商学院，这样我可以在商业分析、经济分析上面领悟到一些东西，增强我的数据分析能力。

第二步：参与各种实习。研一开始我当时虽然有课，不过很幸运的找到一份一周只需去一两天的兼职，内容是为三星做竞争对手分析，当然分析框架是leader 给定了，我只是做整合资料和往ppt里填充的内容的工作，不过通过兼职，我接触到了咨询行业，也向正式员工学习了很多商业分析、思考逻辑之类的东西。之后 去西门子，做和VBA的事情，虽然做的事情与数据分析无关，不过在公司经常用VBA做一些自动化处理工作，为自己的数据分析工具打好了基础。再之后去了易 车，在那里兼职了一个多月，参与了大众汽车销量数据短期预测的项目，一个小项目下来，数据分析的方法流程掌握了不少，也了解了企业是如何用一些时间序列模 型去参与预测的，如何选取某个拟合曲线作为预测值。现在，我来到新的地方实习，也非常幸运的参加了一个央企的码头堆场优化系统设计，其实也算数据分析的一 种吧，通过码头的数据实施调度，通过码头的数据进行决策，最后写成一个可操作的自动化系统。而这个项目，最重要的就是业务流程的把握，我也参与项目最初的 需求调研，和制定工作任务说明书SOW，体会颇多。

第三步：第一份工作，预计3-5年。我估计会选择咨询公司或者IT公司吧，主要是做数据分析这块比较强的公司，比如Fico，埃森哲，高沃，瑞尼 尔，IBM，AC等等。通过第一份工作去把自己的知识打得扎实些，学会在实际中应用所学，学会数据分析的流程方法，让自己成长起来。

第四步：去自己喜欢的一个行业，深入了解这个行业，并讲数据分析应用到这个行业里。比如我可以去电子商务做数据分析师。我觉得我选择电子商务，是因为未来 必将是互联网的时代，电子商务必将取代传统商务，最显著的现象就是传统零售商老大沃尔玛正在受到亚马逊的挑战。此外，电子商务比传统的零售商具有更好的数 据收集和管理能力，可以更好的跟踪用户、挖掘潜在用户、挖掘潜在商品。

第五步：未知。我暂时没有想法，不过我希望我是在一直的进步。

有一位数据分析牛人曾经总结过数据分析师的能力和目标：

能力：一定要懂点战略、才能结合商业；一定要漂亮的presentation、才能buying；一定要有global view、才能打单；一定要懂业务、才能结合市场；一定要专几种工具、才能干活；一定要学好、才能有效率；一定要有强悍理论基础、才能入门；一定要努力、才能赚钱；最重要的：一定要务实、才有reputation；不懂的话以后慢慢就明白了。

目标：1-做过多少个项目？2-业务背景有哪些，是否跨行业？3-做过多少种类型的模型？做了多少个模型？4-基于模型做过多少次完整的marketing闭环？以上四个问题，足以秒杀95%以上的忽悠和菜鸟！

我仅以此为努力之坐标，时刻提醒自己。

路在前方，漫漫前行。

海量数据的处理分析经验

在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面：