竹磬网-邵珠庆の日记 生命只有一次,你可以用它来做些更多伟大的事情–Make the world a little better and easier


107月/140

阿泡的产品管理心得

发布在 邵珠庆

A Business Is Not a Democracy(商业无民主可言)

Product Management is Inherently Political(产品管理就是内部政治)

  1. 我们为谁做产品决定了我们要做什么样的产品,我们做什么样的产品决定了我们的产品能走多远,我们的产品能走多远才最终决定了我们的企业能走多远。
  2. 在产品团队中,产品经理不是最聪明的人,最聪明的人在你的团队中,去发现这些聪明的人、聪明的想法。
  3. 产品经理想做好工作,必需要具备“五个一”:一个脑袋、一双眼睛、一对耳朵、一双手以及一双脚。
  4. 主动是要找到目标,好学是要实现目标,对产品经理这个人是如此,对产品经理的工作更是如此。
  5. 对于“产品”的认识决定了产品经理工作的广度,对于“需求”的认识决定了产品经理工作的深度。
  6. 对于产品经理来说,根本要关注的是如何提供给用户解决问题的最好方法,而不是提供给用户一个完美的产品。
  7. 一个好产品并不一定是一个能挣钱的产品,而能挣钱的产品,对于企业来说,则肯定是一个好产品。
  8. 作为一个产品经理,如果你还做不到为企业挣钱,那么就要先做到为企业省钱。
  9. 用户可以影响我们的产品方向,但不能决定我的产品方向。
  10. 教育用户这个问题的根本不是是否需要教育用户,而是教育用户的成本到底由谁来承担,这绝不能成为产品经理的一种惯性思维,一定视情况而论。
  11. 产品经理的理想且终极的目标就是:在合适的时间、合适的地点向合适的用户推出合适的产品!
  12. 产品经理,一个在跷跷板上工作的人,一边是用户的利益,一边是企业的利益,做好了是左右逢源,做不好就是左右为难
  13. 一个合格的产品经理应该是拉出去可以冲锋陷阵,拉回来可以排兵布阵,既有参谋的眼光,又有指挥官的果断!
  14. 一个产品经理需要了解的技术领域,宽度需要两英里,深度需要两英寸!
  15. 产品经理无非就做两件事情:知道做什么、知道怎么做。前者就是产品经理的战略规划,后者就是产品经理的战术指导。
  16. 产品经理,要相信自己的双腿,不要相信自己的耳朵!
  17. 作为一个产品经理,不要向别人轻易地承诺,也不要相信别人轻易的承诺。
  18. 情感是热血的,商业是冷血的,产品经理应该很多时候是一个凭热血去做冷血事情的角色。
  19. 产品经理在公司内的关系很简单,要么去和稀泥,要么去得罪人,但现在看,得罪人要比和稀泥更有前途。
  20. 都说忠言逆耳利于行,但对于产品经理来说,不但要有忠言,关键还得顺耳,才有可能利于行,这或许就是产品经理沟通能力的最高体现吧。
  21. 作为一个产品经理,在决策建议上可以允许失误,但绝对不能允许愚蠢。
  22. 成功就是不打折扣的执行,失败则是一个折扣接着又一个折扣的执行,因此,产品经理是不允许在业务执行上打折扣的。
  23. 无数的事实已经证明,一个产品的成功并不是由这个产品经理做对了多少决定的,而是由他的竞争对手做错了多少决定的。
  24. 产品经理一定是一个动脑比动腿多的职位,但要想更好地动脑,前提是腿必须先动起来。
  25. 这个世界上并不是没有需求,而是我们缺乏发现需求的眼睛。
  26. 都说产品经理的第一能力就是沟通交流的能力,怎么沟通、怎么交流,不是说你把该说的说了就可以了,而应该是把该说的说好了、说对了,说到团队成员的心窝子里才能证明你会沟通、会交流。
  27. 产品经理要面对的各类角色太多,很多时候都会形成一种对立面,在不涉及原则的情况,产品经理要学会先往后退。
  28. 产品经理一定要学会说“不”,面对的对象可能是我们的高层、伙伴以及客户,之所以这样,究其根本,是为了避免市场向我们说“不”。
  29. 对于产品经理来说,不是我们产品的机会越来越少,而是我们挖掘和发现机会的难度越来越大
  30. 对于产品经理而言,要处理好各种关系,不但要以人为本,还要以人的利益为本。
  31. 对于产品经理而言,知道不做什么要比知道做什么更有价值。
  32. 把任何想法都记录下来,如果不记录下来,这个想法将永远只是“想法”。
  33. 对于产品经理而言,应该是没事不找事,有事不怕事。
  34. 产品经理最大的智慧就是把别人的智慧变成自己的智慧。
248月/1110

海量数据的处理分析经验

发布在 邵珠庆

在实际工作中,有幸接触到海量的数据处理问题,对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面:

一、数据量过大,数据中什么情况都可能存在。如果说有10条数据,那么大不了每条去逐一 检查,人为处理,如果有上百条数据,也可以考虑,如果数据上到千万级别,甚至过亿,那不是手工能解决的了,必须通过工具或者程序进行处理,尤其海量的数据 中,什么情况都可能存在,例如,数据中某处格式出了问题,尤其在程序处理时,前面还能正常处理,突然到了某个地方问题出现了,程序终止了。
二、软硬件要求高,系统资源占用率高。对海量的数据进行处理,除了好的方法,最重要的就 是合理使用工具,合理分配系统资源。一般情况,如果处理的数据过TB级,小型机是要考虑的,普通的机子如果有好的方法可以考虑,不过也必须加大CPU和内 存,就象面对着千军万马,光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。这也是本文的写作目的所在,好的处理方法是一位工程师长期工作经验的积累,也是个人的经验的总结。没有通用的处理方法,但有通用的原理和规则。
那么处理海量数据有哪些经验和技巧呢,我把我所知道的罗列一下,以供大家参考:
一、选用优秀的数据库工具
现在的数据库工具厂家比较多,对海量数据的处理对所使用的数据库工具要求比较高,一般使 用Oracle或者DB2,微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域:数据库,数据仓库,多维数据库,数据挖掘等相关工具也要进行选择,象好的ETL工具和好的OLAP工具都十分必要, 例如Informatic,Eassbase等。笔者在实际数据分析项目中,对每天6000万条的日志数据进行处理,使用SQL Server 2000需要花费6小时,而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码,尤其在进行复杂数据处理时,必须使用程序。好的程序代码对数据的处理至关重要,这不仅仅是数据处理准确度的问题,更是数据处理效率的问题。良好的程序代码应该包含好的算法,包含好的处理流程,包含好的效率,包含好的异常处理机制等。
三、对海量数据进行分区操作
对海量数据进行分区操作十分必要,例如针对按年份存取的数据,我们可以按年进行分区,不 同的数据库有不同的分区方式,不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下,而不同的文件组存于不同的磁盘分区下,这样将数据分散开,减小磁盘I/O,减小了系统负荷, 而且还可以将日志,索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理,对大表建立索引是必行的,建立索引要考虑到具体情况,例如针对大表的 分组、排序等字段,都要建立相应索引,一般还可以建立复合索引,对经常插入的表则建立索引时要小心,笔者在处理数据时,曾经在一个ETL流程中,当插入表 时,首先删除索引,然后插入完毕,建立索引,并实施聚合操作,聚合完成后,再次插入前还是删除索引,所以索引要用到好的时机,索引的填充因子和聚集、非聚 集索引都要考虑。
五、建立缓存机制
当数据量增加时,一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败,例如,笔者在处理2亿条数据聚合操作时,缓存设置为100000条/Buffer,这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限,内存提示不足,则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇 到针对18亿条的数据进行处理,内存为1GB,1个P4 2.4G的CPU,对这么大的数据量进行聚合操作是有问题的,提示内存不足,那么采用了加大虚拟内存的方法来解决,在6块磁盘分区上分别建立了6个 4096M的磁盘分区,用于虚拟内存,这样虚拟的内存则增加为 4096*6 + 1024 = 25600 M,解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大,那么解决海量数据处理难的问题其中一个技巧是减少数据量。 可以对海量数据分批处理,然后处理后的数据再进行合并操作,这样逐个击破,有利于小数据量的处理,不至于面对大数据量带来的问题,不过这种方法也要因时因 势进行,如果不允许拆分数据,还需要另想办法。不过一般的数据按天、按月、按年等存储的,都可以采用先分后合的方法,对数据进行分开处理。
八、使用临时表和中间表
数据量增加时,处理中要考虑提前汇总。这样做的目的是化整为零,大表变小表,分块处理完 成后,再利用一定的规则进行合并,处理过程中的临时表的使用和中间结果的保存都非常重要,如果对于超海量的数据,大表处理不了,只能拆分为多个小表。如果 处理过程中需要多步汇总操作,可按汇总步骤一步步来,不要一条语句完成,一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中,查询的SQL语句的性能对查询效率的影响是非常大的, 编写高效优良的SQL脚本和存储过程是数据库工作人员的职责,也是检验数据库工作人员水平的一个标准,在对SQL语句的编写过程中,例如减少关联,少用或 不用游标,设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标,运行3个小时没有出结果,这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库,如果对复杂的数据处理,必须借助程序,那么在程序操作 数据库和程序操作文本之间选择,是一定要选择程序操作文本的,原因为:程序操作文本速度快;对文本进行处理不容易出错;文本的存储不受限制等。例如一般的 海量的网络日志都是文本格式或者csv格式(文本格式),对它进行处理牵扯到数据清洗,是要利用程序进行处理的,而不建议导入数据库再做清洗。
十一、       定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性,极有可能出现某处的瑕疵。例如,同样的数据中的时间字段,有的可能为非标准的时间,出现的原因可能为应用程序的错误,系统的错误等,这是在进行数据处理时,必须制定强大的数据清洗规则和出错处理机制。
十二、       建立视图或者物化视图
视图中的数据来源于基表,对海量数据的处理,可以将数据按一定的规则分散到各个基表中,查询或处理过程中可以基于视图进行,这样分散了磁盘I/O,正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、       避免使用32位机子(极端情况)
目前的计算机很多都是32位的,那么编写的程序对内存的需要便受限制,而很多的海量数据处理是必须大量消耗内存的,这便要求更好性能的机子,其中对位数的限制也十分重要。
十四、       考虑操作系统问题
海量数据处理过程中,除了对数据库,处理程序等要求比较高以外,对操作系统的要求也放到了重要的位置,一般是必须使用服务器的,而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制,临时空间的处理等问题都需要综合考虑。
十五、       使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的,传统的报表可能5、6个小时出来结果,而基于Cube的查询可能只需要几分钟,因此处理海量数据的利器是OLAP多维分析,即建立数据仓库,建立多维数据集,基于多维数据集进行报表展现和数据挖掘等。
十六、       使用采样数据,进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起,面对着超海量的数据,一般的挖掘软件或算法往往采 用数据抽样的方式进行处理,这样的误差不会很高,大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和,防止过大的偏差。笔者曾经对1亿2 千万行的表数据进行采样,抽取出400万行,经测试软件测试处理的误差为千分之五,客户可以接受。
还有一些方法,需要在不同的情况和场合下运用,例如使用代理键等操作,这样的好处是加快了聚合时间,因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势,对数据分析和挖掘也越来越重要,从海量数据中提取有用信息重要而紧迫,这便要求处理要准确,精度要高,而且处理时间要短,得到有价值信息要快,所以,对海量数据的研究很有前途,也很值得进行广泛深入的研究。
227月/118

网站运营实战经验解析

发布在 邵珠庆

 

 不知不觉自己从事网站运营已有几年了!因为一直都是自己创业,在期间随着自己的见解对网站运营做了不少尝试,形成自己一套独特理论和方法,也积累了不好的或者好的经验。今天趁美好心情记录下来,以便日后在经营管理以及策略运用上的借鉴!以我多年的网站运营经验给大家从网站策划、设计、编辑、优化和推广,营销分六大系列祥细解析,加上一些特殊绝招也献丑一下。

网站策划是整体流程开始之一。网站定位,域名的构思选择,俗话说得好域名选择得好就成功了一半了!不停完善对用户有帮助功能和栏目。制定可行性推广方案和销售方案。这两者可以决定网站的价值,所以要特别重视。一开始我们的网站选择域名和网名很不确实,改来改去至少改了三次域名和网名,导致搜索引擎收录反感。搜索引擎是机器人,可不像人一样灵活性;再有用户习惯突然又换,用户心中对网站大大打折扣。从中可见我们做网站之前策划工作很不到位!

设计在网站运营占位置也是很重要的。衡量一个网站好不好,内行人看综合,外行人只看设计,网站设计是给人第一印象。当时我们的网站是商业性的网站,主色是灰,头部是黄色。知识库做得比较简约,用户看文章舒服,我记得赢得不少用户喜欢和赞赏。

现在都说网站运营中内容为王,编辑对用户有帮助的数据。有数据才是硬道理,有了数据量才有流量。我们网站在统计系统试过,看到一篇文章从搜索引擎主关键词和散关键词进来加起来有1万多个IP,尝到意想不到的效果。虽然编辑工作比较轻松,简单复制和粘帖,这只是简单编辑人员。为了从搜索引擎免费带来IP,一般我们都原创的,自己常写一些用户喜欢的文章。自己写不过来时候,到网上找一些培训老师合作,让他们写的文章都发布到网站去。我们在网站上免费帮他们做个专栏,他们得到宣传,我们得到原创文章,有利于搜索引擎收录、提高排名和流量,这样子一来资源共享,对大家都有好处!

相信懂互联网的人都知道SEO优化。SEO是一种利用搜索引擎的搜索规则来提高网站在有关搜索引擎内的排名的方式,让自己的网站在搜索引擎排名靠前带来更多的自然流量。但做好SEO真的是很让人头疼的事情,其实把网站排名做上来需要的是时间、方法和技巧。技术方面得一定要注意遵守SEO的规则,如果不遵守的话,网站早晚会被搜索引擎给K掉,所以凡事都要招规矩办事。我们做优化一般站内部优化和站外部优化。内部优化主要做URL规划、关键词布局、代码精简、权重传递、内链建设、标题、关键词、描述等等,外部优化主要通过博客、论坛、栏目合作、分类信息等等渠道做锚文字外链。必须花大量的时间去做这些事情,特别是关键词定夺,严格根据用户对这类网站的搜索习惯,围绕网站的营销目的,两者结合的制定核心关键词。前期还做了网络调查,收集些用户对这类网站的需求和搜索方式,来定夺关键词。

网站做得再美若不推广,没有任何人浏览,网站就失去价值得了。网站推广任务重大,网站推广方法方式有很多,有收费和免费的!因为我们还是创业阶段没有太多资金投资,所以只采取常用免费网络推广方法,例如:搜索引擎推广,博客推广,邮件群发推广,QQ群,论坛社区发帖,攒写软文宣传等。

商务平台日IP上了3-5万IP后的赢利模式一般常见:一:收会员费,二:广告费。我们到达了这个数后,进行网络营销策略和网站使用分析。前期提倡战略是:广告投放,竞价排名,大客户合作。我们的商机是各行各业,广告投放可分首页和类别投放。竞价排名利用积分系统控制,积分越多商机信息就越靠前,积分不多又想商机排名靠前只有购买积分。大客户合作就是费用比较高,整站广告形式展示,暴光就越高。盈利模式我们以后将不断挖掘的!。

这几年技术朋友配合我,让我运营网站很轻松。他们技术扎实加上服务器安全性高,放心根据自己制定运营指标一步步完成。运营一个网站需要一个完美团队,都说:“没有完美的个人,只有完美的团队!”总结了不少自己的经验,当然,这些都只是很粗浅的一些观念与导引!相信网络公司也运用得上,其余领域也可一体适用。