竹磬网-邵珠庆の日记 生命只有一次,你可以用它来做些更多伟大的事情–Make the world a little better and easier


1610月/113

免费数据分析工具(插件)

发布在 邵珠庆

总结推荐22个免费的数据可视化和分析工具。列表如下:

数据清理(Data cleaning)

当你分析和可视化数据前,常需要“清理”工作。比如一些输入性列表“New York City”,同时其他人会说“New York, NY”。因此你需要标准化这些工作,使看到统一的样式。下面的两个工具被用来帮助使数据处于最佳的状态。

1.DataWrangler

斯坦福大学可视化组(SUVG)设计的基于web的服务,以你刚来清理和重列数据。点击一个行或列,DataWrangler会弹出建议变化。比如如果你点击了一个空行,一些建议弹出,删除或删除空行的提示。它的文本编辑很cooool。

Free data analysis

2.Google Refine

Google Refine。用户在电脑上运行这个应用程序后就可以通过浏览器访问之。这个东西的主要功能是帮用户整理数据,接下来的演示视频效果非常好:用户下载了一 个CSV文件,但是同一个栏中的同一个属性有多种写法:全称,缩写,后面加了空格的,单数复数格式不一的。。。但是这些其实都代表了同一个属 性,Google Refine 的作用就是帮你把这些不规范的写法迅速统一起来。

Free data analysis

统计分析(Statistical analysis)

有时,你需要你的数据的图形化的表达。

3.R项目

R语言是主要用于统计分析、绘图的语言和操作环境。虽然R主要用于统计分析或者开发统计相关的软体,但也有人用作矩阵计算。其分析速度可比美GNU Octave甚至商业软件MATLAB。

Free data analysis

可视化应用与服务(Visualization applications and services)

这些工具提供了不同的可视化选项,针对不同的应用场景。

4.Google Fusion Tables

Google Fusion Tables被 认为是云计算数据库的雏形。还能够方便合作者在同一个服务器上分享备份,email和上传数据,快速同步不同版本数据,Fusion Tables可以上传100MB的表格文件,同时支持CSV和XLS格式,当然也可以把Google Docs里的表格导入进来使用。对于大规模的数据,可以用Google Fusion Tables创造过滤器来显示你关心的数据,处理完毕后可以导出为csv文件。 

Google Fusion Tables的处理大数据量的强大能力,以及能够自由添加不同的空间视图的功能,也许会让Oracle,IBM, Microsoft传统数据库厂商感到担心,Google未来会强力介入数据库市场。

Free data analysis

5.Impure

Impure,允许点击、拖曳来连接模块,由西班牙分析公司Bestiario创建。 

6.Tableau Public

Free data analysis

7.Many Eyes

Free data analysis

Free data analysis

8.VIDI

Free data analysis

9.Zoho Reports

Free data analysis

10.Choosel

Free data analysis

11.Exhibit

12.Google Chart Tools

Free data analysis

13.JavaScript InfoVis Toolkit

InfoViz

14.Protovis

15.Quantum GIS (QGIS)

Free data analysis

16.OpenHeatMap

Free data analysis

17.OpenLayers

18.OpenStreetMap

19.TimeFlow

Free data analysis

20.IBM Word-Cloud Generator

21.Gephi

Free data analysis

22.NodeXL

IntroTutorial-Layout-v2_GraphImage-2.png

 

 

 

数据挖掘有什么用途?数据挖掘和数据仓库之间有什么样的联系?数据挖掘和市场调研、数据分析又有什么样的联系?…… 

   

一  扫盲篇

    研究结果表明,企业处理的数据每5年就会成倍增长,导致企业数据过度的重复和不一致,如何在这些数据中获取有利信息就促进数据挖掘技术发展。

1、数据挖掘的相关概念

   谢邦昌教授在《数据挖掘 clementine应用实物》一书中提到,数据挖掘是指寻找隐藏在数据中的信息(如趋势、特征及相关性)的过程,也就是从数据中挖掘信息或知识KDD(knowledge discovery in databases)。

   数据挖掘可以说汇合了以下六个领域:

  a 数据库系统-数据仓库和联机分析(OLAP)

  b 机器学习

  c 统计与数据分析方法

 可视化

  e 数学规划

  f 高性能计算

   

    数据挖掘和数据仓库有什么样的联系?我个人的理解是数据仓库的建立是数据挖掘的前提条件,因为数据仓库里的数据通常是整理过的数据,也就是我们通常所说的Clear Data,而从这些有用的数据中找出我们感兴趣或是有价值的信息的过程就是数据挖掘。

 

2、数据挖掘的应用领域

   数据挖掘对每个公司来说都是一个重要的策略性计划,因而将它设为高度机密,所以要调查各公司用数据挖掘到底做什么样的事相当不容易。这里简单的说说数据挖掘的几个常用领域:

   客户档案管理方面,通常公司都希望找出客户的一些共同特征,希望能借此预测哪些人可能成为他们的客户,以帮助营销人员找到正确的营销对象,以降低营销成本,提高成功率

   购物篮分析,通常用来帮助零售从业人员了解客户的消费行为,譬如哪些客户会一起购买,哪些客户会购买某种产品后隔段时间会购买另外一种产品,利用数据挖掘,零售从业人员可以更有效的决定进货量或库存量,商品如何排放等等

   客户关系管理,公司通常可以分析,原本一些属于自己的客户,后来却转变成竞争对象的客户,分析这一部分群体的特征,再根据这些特征到现有客户数据中找出有 可能转向的客户,然后设计出相应的方案来留住这一部分客户群体(毕竟找一个新客户的成本要比留住一个原有客户的成本高的多)

    除此之外,数据挖掘还运用到其他许多行业,如金融业、电信业、零售业、互联网等等,其常用情况汇总如下:

 

 

数据挖掘的应用

以客户为中心

以操作为中心

以研究为中心

终身价值

购物篮分析

档案细分

保留

目标市场

采集

知识门户

交叉销售

活动管理

电子商务

盈利能力分析

定价

欺诈检测

风险评估

投资组合管理

员工离职

现金管理

生产效率

网络性能

制造工艺

组合化学

遗传研究

流行病学

 

 

 

3、数据挖掘的进行步骤及常用分析方法

   每个人数据挖掘过程都不一样,但可以肯定的一点是他们大部分时间都花在准备数据阶段,而其他步骤也只是这样一个大致流程:

   1)理解数据与进行的工作

   2)获取相关知识和技术

   3)整合与检查数据

   4)去除错误与不一致的数据

   5)发展模型与假设

   6)实际数据挖掘工作

   7)测试与验证所挖掘的数据

   8)解释与使用数据

   数据挖掘分析方法是利用数据来建立一些模仿真实世界的模型,利用这些模型来描述数据中的模式以及关系,常用的数据挖掘分析方法主要有:

   1)用于分类聚类的分析方法,如:因子分析、判别分析、聚类分析等,除此之外还有决策树(常用分类方法为CART<classification and regression trees>及CHAID<chi-square automatic interaction detector>两种)

   2)推算预测分析方法,如回归、时间序列、神经网络等

   3)序列规则分析方法,如关联规则、序列规则等

 

4、主要数据挖掘软件

     目前市面上比较常用的数据挖掘软件有不下于30种(当然都是老外开发的,目前为止还没发现国人开发的此类软件),例如MLC++,Clementine,Darwin,Intelligent Miner,SAS data Mining,S-plus,matlab等等。下面简单的介绍几种:

1)SPSS Clementine,SPSS公司发行,此工具结合了多种图形用户接口分析技术,包含神经网络、关联规则及规则生成技术。

2)Oracle Darwin,甲骨文公司发行,其优点是支持多重算法,可在多种主从式架构上执行,服务器端可以是单处理器、同步多处理器或大量平行处理器,定位在中、大范围的执行

3)SAS Enterprise Miner,SAS公司发行,目前数据挖掘市场上的领导者,适用于企业在数据挖掘的发展及整个CRM的决策支持应用

4)IBM Intelligent Miner,IBM公司发行,是市场上最大容量及功能强大的工具,在顾客评定报告中它的整体效能是最好的,定位于企业数据挖掘解决方案的先锋。

 

二、数据挖掘与市场分析

   “统计分析给您以先机,分析报告给您后见之明,数据挖掘给您以洞察”这样一句话来形容市场分析与数据挖掘的关系再确切不过了。然而数据挖掘只是用来帮助业 务分析策划人员从数据中发现各种可能的假设,这些假设是否正确,是否有价值还有待确定,为了得到更加确定的答案,企业不得不花费一些时间和经历来验证这些 假设,从而导致企业提出调研目的,针对相关假设设计相应的调查问卷,根据调查结果,运用统计分析得出分析报告,从而推出一系列新的发展方案,发展新的客 户,回头又继续数据挖掘,形成一个数据挖掘--市场调研--统计分析的良性循环。

    除此之外,统计分析还给数据挖掘提高了许多新的分析方法,如神经网络技术应用中的---概率分析网(PLN),挖掘方法上的---贝叶斯网络,遗传算法中的---概率进化算法(PMEA)等等。

 

三、从事数据挖掘工作需掌握的相关知识

  1、数据库技术  数据挖掘是在大量数据中找出自己感兴趣或有用信息的过程,这其中涉及到数据库操作的相关功能,那么掌握一种数据库以上的知识就成了必然,这也是为什么目前国内许多企业数据挖掘从业人员是计算机专业的原因。

  2、相关行业知识  也就是前面数据挖掘步骤中有提到相关知识和技术,没有行业背景知识,纯技术做出来的分析报告就好像"无根"之水

  3、掌握一种以上的数据挖掘软件  其实许多的数据库也提供了相应的分析功能,比如前面提到的IBM、Oracle 数据挖掘软件

  4、相关统计及市场分析知识  没有这些知识做出来的报告可能犯下或多或少的错误,从而使分析结果出现严重的偏差

 

 

 

 

1610月/112

BI前端展示工具

发布在 邵珠庆

1       参评工具

参评的工具包括:MSTRBOCognosBrioSASCA

2       选择说明

对于本次选择的六类产品,除CABI产品外,其他五类都是在BI业界非常出名的公司的产品,从互联网上各类搜索引擎的搜索结果既可以看出。

其中:

² MSTR全称MicroStrategy为正在开发的电信经营分析系统,以下简称MSTR。评估数据来源于开发的经验和同系统支撑商的交流;

² BO为交流演示后,重点关注的产品,在中国有很好的市场。评估数据来源于同系统提供商的交流和互联网;

² Cognos应用于本人实施过的电信经营分析系统,评估数据来源于本人系统研发、实施经验;

² Brio应用于某电信经营分析系统,评估来源于本人对相关实施系统(电信领域)的调研、同维护人员的交流以及互联网;

² SAS属于在统计分析、数据挖掘方面全球一流的SAS公司的产品。评估数据来源于互联网;

² CA应用于某电信经营分析系统。评估数据来源于对系统的调研和互联网。

 

3       BI公司介绍

  20033月,Cognos公司并购软件公司Adaytum717Business Objects 并购Crystal, 724日,Hyperion并购Brio,世界的BI市场正在掀起并购风。

4       产品介绍

参与评估产品的介绍

1.1. MicroStrategy公司产品

1、公司简介

MicroStrategy公司由Michael J. Saylor创建于1989年,最初主要是作为一家决策支持领域的咨询公司,随后发展过程中,在1993年推出了第一个产品包:MicroStrategyAgent,随后相继推出一系列产品:MicroStrategy WebMicroStrategy BroadcasterMicroStrategy Telecaster等,现最新产品包称之为MicroStrategy 7,致力于提供面向个性化的电子商务智能解决方案。

2、产品介绍

MicroStrategy Intelligence Server——整个产品中核心产品,多层体系结构下的中间应用服务器,为各种前端应用提供中间应用层能力。

MicroStrategy Web——Web体系下的应用服务器,提供基于Web体系下的查询、电算表格和多维分析能力。

MicroStrategy Agent——数据挖掘、应用开发工具,提供API接口。

MicroStrategy InfoCenter——企业级报表,门户工具。

MicroStrategy Architect——商业对象抽象层设计工具。

MicroStrategy Desktop——MicroStrategy AgentMicroStrategy ArchitectMicroStrategy Administration Utility的集成化应用环境

 

1.2. BO产品介绍

桌面产品包括:

BusinessObjects Explorer Reporter 查看、刷新、计划、分发和打印全客户文档,创建新查询和文档,OLAP 的旋转和切片以及钻取功能。

Designer 允许universe 设计者创建、管理和分发universes. universe 用日常商业商业术语代表数据结构,属于语义层

Supervisor 允许管理员进行权限管理

BusinessQuery Excel 加载项,使用 BusinessObjects universe, 支持关系型和多维数据库(OLAP)

BusinessMiner 发现并处理数据中的隐含关系

企业级服务器产品包括:

Infoview

WebIntelligence (Reporter Explorer) BusinessObjects 基于WEB的决策支持系统。

Broadcast Agent 制定自动发布文档的定时机制。

1.3. Cognos的产品简介

Cognos公司的产品是由一系列的功能模块组合而成的套件,包括如下一些模块:

Powerplay Enterprise Server——PowerPlay企业级的服务器。由应用服务器和Web 服务器组成。可在Internet、广域网和局域网上发布Cubes并作为在线分析运行平台

Impromptu Web Report —— WEB界面的报表制作和发布的专业平台。

Scenario —— 系统提供的ETL工具。

4Thought—— 建模与预测模块,采用神经网络技术。

Impromptu—— 是企业级、交互式数据库查询和报表生成工具提供查询、报表功能,针对关系型数据。

Powerplay—— 提供OLAP分析功能,针对多维数据PowerCubeCognos的多维数据结构)。在Powerplay中可以钻取到Impromptu中。这是Cognos公司的集成平台。

Transformer——是一个OLAP服务器。主要用来创建模型,帮助你组织数据,将不同数据源的数据整合到PowerCube当中,形成多维数据源。

Cognos Upfont  —— 网络集成的门户

Upfont Access  —— 负责权限的设置与验证

1.4. Brio 产品介绍

美国Brio Technology是一家纳斯达克上市公司,其集中精力于OLAP的前端展示,不提供OLAP的数据整理和重组功能,没有OLAP分析引擎。

主要产品:

Client/Server方式的客户端

BrioQuery Designer TM ——(供开发人员、数据库管理员和系统管理员使用)查询、分析及报表制作,具有数据库管理功能、安全性、审计和共享库设置

BrioQuery Explorer TM ——(供高级用户使用)查询、分析及报表制作,直接访问数据库表和共享库

BrioQuery Navigator TM ——(供需要业务即时信息的分析人员使用)查询、分析及报表制作,访问共享库中预先定义好的数据模型和报表

Web方式的客户端

Brio.Insight TM —— 基于Web 浏览器的查询、分析及报表。根据报表信息和用户的属性而设定不同层次的报表分析功能(供活跃的分析人员和报表用户使用)。

Brio.Quickview TM  —— 基于 Web 浏览器的报表查看和数据视图更新(供报表查阅者使用)。

Brio.Enterprise的服务器产品

OnDemand 服务器  —— Web 应用服务器,用户可通过Web进行查询,实现客户端零管理,提供报表级安全性及独特的可适应性报表技术

Broadcast 服务器  —— 广播服务器,可按预定时间表进行自动查询处理,通过电子邮件、网络、打印机及 Web发送报表,其执行情况可通过电子邮件反馈给用户

 

1.5. CA公司产品

CA也提供非常齐全的产品线:

CleverPathTM Predictive Analysis Server 数据挖掘工具

CleverPathTM OLAP OLAP分析的应用工具,是一个包括C/SB/S网页的

CleverPathTM Forest & Trees 提供查询处理功能

CleverPathTM Aion Business Rules Expert数据组织及元数据管理

CleverPathTM Reporter C/A结构下的报表制作工具

CleverPathTM Portal 定时调度工具

CleverPathTM Enterprise Content Manager 信息分发共享工具

 

5       产品对比

 

项目

MSTR

BO

Brio

Cognos

产品功能

独立的应用服务层

基于组件的应用服务器Intelligence Server,功能强大,附属工具丰富

应用服务器为WebIntelligence

负责数据的交互,功能较简单,性能依赖于OLAP的性能

Brio.Enterprise OnDemand

负责数据的交互,功能较简单,性能依赖于OLAP的性能

PowerPlay Enterprise server

负责数据的交互,提供基础的服务器调优和负载平衡的调整,监控能力较弱

安装难易程度

客户端无任何安装;

服务端的安装全程自动化,没有专用的设置参数的输入,较容易安装。

安装前需要改区域设置和本地安全策略,容易安装失败,并且不支持

COGNOS类似

安装需要经过指导,安装后的配置较烦琐,容易安装失败

兼容性

Microstrategy不能连接第三方的OlapServer (它有自己的Rolap

生成的分析模型数据也不能被第三方工具共享,只能自己使用

BO5中文版不能在B/S方式下对Essbase进行自由钻取

brio 同震荡波补丁冲突(KB835732 出现Shift重复字符

Cognos连接ESSBASEUNIX下有版本限制,6.2以后的就不行了

Cognos不支持复合数据,不支持“多对多”关联

Web架构

是纯WEB架构

不过最近为了加强报表的制作,添加pdf显示功能

不是,需要下载OCX插件,

报表样式不丰富

QuickView:不能与数据库交互,类似离线分析,客户端需要下载插件。

Insight:能够与数据库进行交互,Server端为Ondemand Server,客户端需要下载插件。

不是,需要下载OCX插件,

报表样式不丰富

OLAP部分是,报表部分需要PDF插件。

现在新推出的ReportNe可以通过纯WEB方式来制作类似水晶报表一样的复杂格式报表,这样就形成全套的WEB解决方案

数据容量

100G以上

单个数据模型6070GESSBASE

单个数据模型6070GESSBASE

10G以下

应用平台的支持

操作系统:WIN2000SERVER;

WIN2003SERVER;

UNIX

数据库系统:主流的RDBMS

MSTR

MSTR

MSTR

能否钻透到详单级

可以,

由于时基于ROLAP架构的数据分析,在模型设计上就能直接支持详单的钻透,实现方便。但也要受到系统查询速度的限制。

直接在工具中创建查询列表对象,并且对象可以是详单也可以是有数据关联的表,实现起来较方便。

BO的基于桌面 cube方式先天地受到cube中包含的数据量和在有限的数据集上进行的分析的限制。

在用户的钻取操作发生后并没有提供相应的数据限制,因此在查询详单时,数据承爆炸式的增长。

需要二次开发才能做到统计报表向详单的钻透,工作量较大。

可以,但是详单的显示数据量较小(10条左右),并且需要转到PDF格式。

大数据量解决方案

特有的ROLAP引擎,针对1G以上数据模型有专项优化,支持100GB以上的数据模型分析

支持到TB级的数据分析,对大数据量的SQL提供优化。

技术人员可以通过调整VLDB属性进一步优化

根据OLAP服务器的性能决定,搭配essbass时支持10G左右数据模型,无OLAP服务器时,显示效率较低。

根据OLAP服务器的性能决定,搭配essbass时支持10G左右数据模型

对大数据量的模型无法支持,最高数据量为3GB左右

产品线的完整程度

缺乏ETL和数据挖掘工具

缺乏数据挖掘工具,ETL工具刚开发完毕,未投入使用

缺乏ETL和数据挖掘工具,

拥有全部的BI产品线,功能较丰富

产品集成情况

集成度高,提供集成的数据连接、模型制作、报表发布、权限管理的界面。

集成度中等,web功能同传统C/S模式差距较大

集成度中等,web功能同传统C/S模式差距较大

集成度低,每种应用都对应单独的使用界面

信息分发

信息分发由Narrowcast组件完成,功能强大,可发手机短信、邮件、传真,可以包含声音文件,需另外购买

报表分发需要二次开发

MicroStrategy Narrowcast组件可以实现信息的主动分发,将信息分发到邮件、手机、传真等平台;

内部支持报表订阅机制,用户主动订阅报表信息;

内部不支持报表发送,需要二次开发实现。

报表的分发的实现较为方便

也有消息分发的组件

有报表分发功能

有发邮件的接口

有报表分发功能

有发邮件的接口

SDK开放程度

开放程度很高,提供全面的sdk开发包,

较少,功能封装在OCX中,支持纬度参数的输入等二次开发函数,尤其不提供权限接口,提供数据更新、启动服务等简单操作的命令行模式

有,但较少,功能封装在OCX中,支持纬度参数的输入等二次开发函数,提供数据更新、启动服务等简单操作的命令行模式

极少,许多功能二次开发无法实现,但提供初步的用户功能权限操作的函数,提供数据更新、启动服务等简单操作的命令行模式

所提供的web API非常有限,而且没有真正的web客户化能力,也不能嵌入到现有应用系统中。

易于二次开发整合

工作量较大,但理论上可以重新开发除了服务器和部分功能权限外的任何功能。

开发量主要集中于基本功能的应用上

开发量主要集中于界面的美观程度

开发量主要集中于界面的美观程度

开发量主要集中于界面的美观程度

多数据源的支持

支持多种类型的数据源。但在一个项目中只能使用一个数据源

BUSINESSOBJECTS 允许在同一报表中合并来自不同源的数据。比如单个excle表,支持混合显示,较强大(C/S下支持)

部分支持(模型中只支持单一数据源)

部分支持(模型中只支持单一数据源)

模型快速开发(前提是经过培训并有经验)

有相应的快速开发模板,不过数量较少

有丰富的快速开发参考模型,实现一般性的需求较容易

有丰富的开发参考模型,但模型的开发和发布工作量大

有较丰富的快速开发参考模型

快速用户新建报表的能力

最终用户完全可以通过web界面新建自己需要的报表。同样在Desktop中新建的报表无需任何设置就可以在前台使用。

可以按照模版创建新的报表,在现有报表上创建适合用户自己的新报表。

由于有获得了专利的语义层 用户可以快捷地写出功能强大的财务、销售和其他含有表格、图表、超级连接和图像的报表。

可以制作基于分析的报表

可以在分析的基础上添加表头构成报表,B/S下可对分析结果作为报表保存。

良好的权限机制,易于整合、同步

提供完善的权限机制,分功能权限和数据权限,权限的二次集成度高,但开发量也大

提供完善的权限机制,分功能权限和数据权限,但只提供简单的用户权限操作的二次集成能力

提供完善的权限机制,分功能权限和数据权限,

权限的二次开发量很小,但只能实现用户管理和单一度量数据过滤功能(实现功能同BOBrio一样,但工作量小)

支持的数据库和OLAP

主流数据库

只使用自己的OLAP服务器

主流数据库和主流OLAP服务器(不支持cognosMSTR

主流数据库和主流OLAP服务器(不支持cognosMSTR

主流数据库和主流OLAP服务器

元数据管理

具有统一的元数据库。元数据通过Desktop集成界面进行管理,可以方便的实现元数据的迁移、复制等工作。

有元数据库存用户信息,但必须在C/S模式下制作unv文件和rep报表文件实现,在web方式下保存为wqy则可以编辑,但功能弱。

采用文件(bqi)方式,不易管理

采用文件方式,不易管理

操作易用性

报表展现方便,但OLAP操作感较差

由于采用OCX的插件方式,OLAP的显示方式较象excel,操作较直观,给用户的初次印象较好,但报表感较差

单一界面可以满足查询、报表和分析;通 INFOVIEW BI 接口单一进入点,BUSINESSOBJECTS 还让用户快速、简单地存取报表。

BO相同

OLAP功能很强大,操作反应速度也是最快的,然而初次上手较难,

WEB页面访问条件查询报表时操作不便。

旋转、切片、钻取操作

提供旋转、切片、钻取、自定义小计等OLAP分析。

 

都支持

都支持

都支持,WEB方式下分析功能最强大,但用户较难接受,使用熟练后可做的分析很多,支持任意角度的分析操作。

Web端的功能

分析结果就是一个初步的报表,根据SDK框架生成HTML(内嵌javascipt ),实现相关的旋转、钻取等操作,功能基本与c/s结构操作起来相当(速度较慢)

分析和报表制作功能WEB下明显弱于C/S模式

BO

分析功能同C/S模式相当,但报表制作功能WEB下明显弱于C/S模式

定时更新报表数据

提供定时更新的工具,也提供SDK函数控制更新

提供调度机制。可以按照灵活的时间设置或者事件触发报表刷新数据。

在调度的基础上,可以实现用户订阅的功能。将用户感兴趣的内容定期发送到用户的个人报表文件夹中。

命令行方式更新(用第三方调度程序调度)

命令行方式更新

提供定时更新的工具,也有相应的命令行程序更新

多种文件导出格式

常用的格式都支持

MSTR

MSTR

MSTR

报表展示的形式

支持列表、交叉表、图表(90多种)

图表样式较少

图表样式较少

图表样式较少,OLAP模式不能制作列表

多文档界面的支持

支持多文档的同时显示,提供灵活的制作界面,可以制作真正的带分析说明的综合报表,只是对文档的制作人有一定的要求

多文档的制作非常方便和快捷,不过不能添加文字描述

图表混合需要二次开发,提供专用的编辑器

OLAP方式不提供(7.X不清楚)

只支持表格同图表的同步显示

ReportNet支持多文档报表

灵活的查询参数设置

通过使用提示(Prompt) 可以让用户输入不同的查询条件,可以灵活在已有的报表中增加实体,筛选

承诺在8.0加入直接构造的入口以提高查询的效率和灵活性。

参数设置较为烦琐,属于条件过滤性质,查询界面也非常不友好,这方面是需要重要的提高方面。

在新的6.x版本下查询时可构造较复杂的SQL语句,并且能包含动态的查询函数,但6.x还未推出中文版

查询通过设置传入参数的方式的到相应的结果,brio提供专用的开发界面

只能进行简单条件的过滤,无法进行web页面的复杂查询

报表Web界面的用户订制

界面操作较烦琐,虽然声称通过web页面的拖拉拽方式生成报表,但仍然不太好用。

不支持,只能通过OCX组件生成分析结果报表,生成方式较简单

灵活格式的正式报表报表必须由熟悉数据库知识的人设计,在C/S下制作。

BO

所有Brio 报表必须由熟悉数据库知识的人设计。

在分析状态下只能生成分析结果报表,可以选择PDF和纯WEB表格两种模式。

报表的WEB制作必须切换到REPORTNET系统下定制。

计算列功能强大易用,丰富的统计函数

提供很强大的统计运算函数功能,可以用拖拉拽的方式新建计算列,也可以用写公式的方式新建计算列。用户可以开发自定义的统计函数

Cognos类似

Cognos类似

计算函数也很丰富,提供一百多个计算函数,C/S下提供拖拉拽的方式新建计算列,也可以写公式

根据条件进行数据凸现,比如红色代表异常数据

功能完善,支持异常数据自定义阀值和颜色的显示,可以以各种方式包括小图片来显示异常数据

一般只能针对异常数据的值进行文字显示格式的改变来达到突出显示的目的,在WEB方式下能通过二次开发设置异常数据的阀值,工作量较大

BO类似

BO类似,在WEB方式下不能设置异常数据的阀值

个性化定制

按虚拟的目录结构创建个人文件夹,文件夹的权限设置在BI展示工具中是最强大的:个人文件夹中的内容其他任何用户包括管理员都无法浏览。

但相应的权限操作函数公开的不完整,使得二次开发受到一些限制,并且开发量也较大。

处理模式同cognos类似

处理模式同cognos类似

有个人的工作空间,但是个人拥有的报表是复制的一个单独文件拷贝,维护较麻烦,不易维护。

是否提供建模工具(是否包含OLAP服务器)

提供Architect作为建模工具(该工具已集成到管理和报表制作工具DESKTOP中),另外在应用服务器Intelligence Server中可以提供智能立方体,提高复杂的OLAP分析操作的效率。

不过实体(制定处理逻辑的数据纬度)会生成很多,提升了管理的难度。

不提供,需要单独购买OLAP

BO

提供Transform作为建模和生成可分析立方体的工具,OLAP服务器为Enterprise server,制作的立方体效率很高,分析立方体的数据经过压缩,容量为同条件下的ESSBASE420分之一

 

 

 

 

 

产品性能

报表刷新的速度

提供报表缓存机制以提升效率。

有缓存时访问速度在1分钟以内;无缓存时,在SQL查询时间基础上增加1030秒(WEB处理和显示时间)

15秒~2分钟内

15秒~2分钟内

660秒(10万条数据以内)

负载平衡

支持多种层面的负载平衡,有Intelligence Server服务和Broad Cast的分布式负载平衡,并且提供相应的优化工具(另外付费),支持大量并发用户请求,并发数的处理效率很高高。

Cognos类似

Cognos类似

提供应用服务器的负载均衡,功能较弱

多处理器优化

支持

支持

支持

支持

OLAP分析的速度(10万条数据运算以内)

提供报表缓存机制以提升效率。

有缓存时访问速度在1分钟以内;无缓存时,在SQL查询时间基础上增加1030秒(WEB处理和显示时间)

15秒~2分钟内

15秒~2分钟内

660

多用户并发访问的支持能力

CPU可以支持50个并发操作用户

CPU最多支持25个并发操作用户(64Unix环境)

CPU支持5-15个并发操作用户

CPU最多支持20个并发操作用户

整个系统可维护性

元数据、权限集中管理。较容易管理维护,但新的实体的制作需要专门人员

 

对于报表和模型的修改需要由专人进行,界面有点象SQLPlus等开发工具

相对cognos只是权限和源数据连接及报表制作集成,但数据处理过程相似,因此也有cognos的弊端

由于涉及到多种工具,对初学者来说维护较难入手,维护的流程制定也很烦琐,模型为文件方式,较难管理

对硬件的要求

CPU支持50并发, 对内存的要求较低,1GMemory

1G

1G

6.6以前的版本,内存越高越好,起码1G6.61以后则1G以上

 

 

 

 

 

服务与支持

解决问题的时效性

解决方案较少,时效性较高,问题都能及时的解决,相关的管理层很重视,配合的工程师也很主动,解答问题很热心

BO的金牌代理有6家,对产品的支持程度参差不齐,我所联系的一家公司,人员的技术支持不够及时,厂家声称产品销售时,会有售前工程师来交流,但不提供售后的人员技术支持,打电话联系经常找不到人。

优点:由于进入国内时间较长,解决方案的积累较多

时效性一般,大多都是二次开发问题,需要多看帮助,不过提供不少解决问题的方案

网上有专用的论坛

时效性较高,问题都能及时的解决,售后工程师很热情,解答问题也很热心

数据仓库之路的专题论坛的支持程度较好

解决问题能力的评价

能够提供开发和实施的强力支持,但经验不足,有做很多探索工作

不少情况下需要通过网络上的论坛解决问题

IBM联手,解决问题的能力有保障,不过本身的权限方面有不可克服的弱点

二次开发的余地较小,但问题基本上都能解决,

支持与培训

对于合作伙伴提供免费的培训和支持

对于合作商提供初级培训,高级培训5天收费14500/

一般作为IBM实施套件之一,IBMBrio都可以提供支持,现场解决问题收费

对于合作伙伴提供免费的培训和电话支持,一年内免费上门解决问题一次,提供最终客户5个名额为期5天的免费培训,

难解决的问题

 

权限控制很严,而权限接口未完整提供,有些基于权限的开发难以达到。

内核只是用单字节编译,中文版智能通过汉化,这样会在读数据、Web页面提交等情况下出现小的问题。

66 版:左拉窗口的后门;左上角的EIS能显示所有的窗口

8.0 版:如果在EIS的控件上加入了编程方法,比如你一个下挡框里面有程序代码,那当你在WEB方式访问报表时每触发一个事件,这个报表的WEB页面都会自动刷新一下,这个是Brio8web方式(瘦客户端)我觉得最大的缺陷,因为Brio并没有把这些代码转为HTMLjavascript而是使用web表单提交的方式解决,真的好烂。

WEB方式不能提供打印功能

安全方面较差,会泄漏分析的数据内容

无法支持大数据量

 

           

 

 

1410月/1112

简单实用的.htaccess十六个技巧

发布在 邵珠庆

.htaccess 文件 (Hypertext Access file) 是Apache Web服务器的一个非常强大的配置文件,对于这个文件,Apache有一堆参数可以让你配置出几乎随心所欲的功能。.htaccess 配置文件坚持了Unix的一个文化——使用一个ASCII 的纯文本文件来配置你的网站的访问策略。

这篇文章包括了16个非常有用的小技巧。另外,因为.htaccess 是一个相当强大的配置文件,所以,一个轻微的语法错误会造成你整个网站的故障,所以,在你修改或是替换原有的文件时,一定要备份旧的文件,以便出现问题的时候可以方便的恢复。

1. 使用.htaccess 创建自定义的出错页面。对于Linux Apache来说这是一项极其简单的事情。使用下面的.htaccess语法你可以轻松的完成这一功能。(把.htaccess放在你的网站根目录下)

ErrorDocument 401 /error/401.php
ErrorDocument 403 /error/403.php
ErrorDocument 404 /error/404.php
ErrorDocument 500 /error/500.php

2. 设置网站的时区

SetEnv TZ America/Houston

3. 阻止IP列表
有些时候,你需要以IP地址的方式阻止一些访问。无论是对于一个IP地址还是一个网段,这都是一件非常简单的事情,如下所示:

allow from all
deny from 145.186.14.122
deny from 124.15

Apache对于被拒绝的IP会返回403错误。

4. 把一些老的链接转到新的链接上——搜索引擎优化SEO

Redirect 301 /d/file.html http://www.htaccesselite.com/r/file.html

5. 为服务器管理员设置电子邮件。

ServerSignature EMail
SetEnv SERVER_ADMIN default@domain.com

6. 使用.htaccess 访止盗链。如果你网站上的一个图片被别的N多的网站引用了,那么,这很有可能会导致你服务器的性能下降,使用下面的代码可以保护某些热门的链接不被过多的引用。

Options +FollowSymlinks
# Protect Hotlinking
RewriteEngine On
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www.)?domainname.com/ [nc]
RewriteRule .*.(gif|jpg|png)$ http://domainname.com/img/hotlink_f_o.png [nc]

7. 阻止 User Agent 的所有请求

## .htaccess Code :: BEGIN
## Block Bad Bots by user-Agent
SetEnvIfNoCase user-Agent ^FrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Java.* [NC,OR]
SetEnvIfNoCase user-Agent ^Microsoft.URL [NC,OR]
SetEnvIfNoCase user-Agent ^MSFrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Offline.Explorer [NC,OR]
SetEnvIfNoCase user-Agent ^[Ww]eb[Bb]andit [NC,OR]
SetEnvIfNoCase user-Agent ^Zeus [NC]

Order Allow,Deny
Allow from all
Deny from env=bad_bot

## .htaccess Code :: END

8. 把某些特殊的IP地址的请求重定向到别的站点

ErrorDocument 403 http://www.youdomain.com
Order deny,allow
Deny from all
Allow from ip
Allow from ip

9. 直接找开文件而不是下载 – 通常,我们打开网上文件的时候总是会出现一个对话框问我们是下载还是直接打开,使用下面的设置就不会出现这个问题了,直接打开

AddType application/octet-stream .pdf
AddType application/octet-stream .zip
AddType application/octet-stream .mov

10. 修改文件类型 – 下面的示例可以让任何的文件都成为PHP那么被服务器解释。比如:myphp, cgi,phtml等。

ForceType application/x-httpd-php
SetHandler application/x-httpd-php

11. 阻止存取.htaccess 文件

# secure htaccess file
order allow,deny
deny from all

12. 保护服务器上的文件被存取

# prevent access of a certain file order allow,deny
deny from all

13. 阻止目录浏览

# disable directory browsing
Options All -Indexes

14. 设置默认主页

# serve alternate default index page
DirectoryIndex about.html

15. 口令认证 – 你可以创建一个文件用于认证。下面是一个示例:

# to protect a file

AuthType Basic
AuthName “Prompt”
AuthUserFile /home/path/.htpasswd
Require valid-user

# password-protect a directory
resides
AuthType basic
AuthName “This directory is protected”
AuthUserFile /home/path/.htpasswd
AuthGroupFile /dev/null
Require valid-user

16. 把老的域名转像新的域名

# redirect from old domain to new domain
RewriteEngine On
RewriteRule ^(.*)$ http://www.yourdomain.com/$1 [R=301,L]

1310月/114

初识P3P

发布在 邵珠庆

P3P主要应用于网站跨域访问方面,全称为隐私偏好设定平台(platform for privacy preference, P3P)。而谈到P3P就不得不提cookie。目前大部分网站应用都使用cookie进行某种行为,比如用户信息收集、用户上网行为分析以及 session保持等等。但是在某些情况下,用户是不愿意使用cookie的。而禁止cookie又会妨碍用户使用某些重要的网站比如在线银行、网上购物 等。所以微软从ie6开始启用P3P并可以自定义隐私策略来使用cookie,而Netscape 公司早在2002 年5 月便发布了Netscape Navigator 7 软件的测试版,该软件包括与IE6十分相近的P3P功能。
以IE7为例,我们来看看隐私策略的设置:
image
默认情况下,ie7启用隐私策略为中。可以看到有两个阻止一个限制。
这里解释一下第一方cookie和第三方cookie。第一方cookie是指你当前访问的站点的cookie。而第三方cookie是指不是你当前访问的站点的cookie。比如你当前访问的是www.abc.com,但是在这个网站上嵌入了其他网站(比如www.xyz.com),那么属于abc.com这个域cookie就是第一方cookie,而属于xyz.com这个域的cookie就属于第三方cookie。
再来解释有两个阻止一个限制:
第一个阻止(阻止没有紧凑隐私策略的第三方cookie),即为ie7发现存在没有紧凑隐私策略的第三方cookie时就将这个cookie在http的request中删除然后进行http请求(get或者post),“没有紧凑隐私策略”是指没有被P3P声明;
第二个阻止(阻止保存...),即不保存这样的第三方cookie,因为有些cookie是有有效期的;
第一个限制(限制保存...),即不保存这样的第一方cookie。
使用“中”的隐私策略等级,可以阻止任何没有被P3P声明的第三方cookie。可以通过ie浏览器的任务栏上面的“眼睛”来查看都阻止了哪些cookie。而有些业务又必须保证这些cookie不被拦劫,那这个时候就需要使用P3P了。
P3P通过为隐私策略提供一个标准的可机读格式,以及一个能使Web浏览器自动读取和处理策略的协议解决了这个问题。正因为此,万维网联盟 (World Wide Web Consortium,W3C)制定了P3P,并把它作为Web 站点与它们的隐私策略相联系的标准方法。P3P可以启用可机读的隐私策略,而该隐私策略可以由Web浏览器和那些能显示符号、提示用户或采取其他适当行动 的用户代理工具来自动获取。其中的一些工具也可以将各个策略与用户的隐私偏好相比较,并帮助用户决定何时与Web站点交换数据。
那么P3P到底是怎样工作的呢?这里只涉及到P3P的工作原理,如何实现P3P是需要写程序的,而程序本人一窍不通,所以不做介绍,有兴趣的可以google一下,到处都是。
上面提到了第三方cookie被P3P声明。P3P声明是什么意思呢?其实就是指在某一个HTTP的response的头部插入一个P3P的头,而在同一个response中的cookie就都被此P3P声明了。这个可以通过httpwatch来查看到。
image
IE浏览器看到这个response中包含有P3P的头,默认就将后面的cookie(cookie1,cookie2等第三方cookie) 全部认为可信,后续的request中就会带下这些cookie一起下发请求。但是如果后续的某一个response中没有P3P头部,而同样设置了 cookie1,那么在此response后续的request中就不会带有这个cookie1了。所以如果需要使得每次request都带有这些 cookie,有两种方法:一是在一个response里插入P3P的同时插入所有相关的cookie,而后续的response中不要在插入这些 cookie;而是在每个response中都是插入P3P头。一般情况下使用第二种比较保险。
P3P就介绍到这里,更多请参考http://www.w3.org/P3P/。
1210月/1118

Mysql导出表结构及表数据 mysqldump用法

发布在 邵珠庆

命令行下具体用法如下:  mysqldump -u用戶名 -p密码 -d 數據库名 表名 脚本名;

    1、导出數據库為dbname的表结构(其中用戶名為root,密码為dbpasswd,生成的脚本名為db.sql)
    mysqldump -uroot -pdbpasswd -d dbname >db.sql;

    2、导出數據库為dbname某张表(test)结构
    mysqldump -uroot -pdbpasswd -d dbname test>db.sql;

    3、导出數據库為dbname所有表结构及表數據(不加-d)
    mysqldump -uroot -pdbpasswd  dbname >db.sql;

    4、导出數據库為dbname某张表(test)结构及表數據(不加-d)
    mysqldump -uroot -pdbpasswd dbname test>db.sql;

 

mysql查表大小

查整个库的状态:
select concat(truncate(sum(data_length)/1024/1024,2),'MB') as data_size,
concat(truncate(sum(max_data_length)/1024/1024,2),'MB') as max_data_size,
concat(truncate(sum(data_free)/1024/1024,2),'MB') as data_free,
concat(truncate(sum(index_length)/1024/1024,2),'MB') as index_size
from information_schema.tables where TABLE_SCHEMA = 'databasename';

查单表:
select concat(truncate(sum(data_length)/1024/1024,2),'MB') as data_size,
concat(truncate(sum(max_data_length)/1024/1024,2),'MB') as max_data_size,
concat(truncate(sum(data_free)/1024/1024,2),'MB') as data_free,
concat(truncate(sum(index_length)/1024/1024,2),'MB') as index_size
from information_schema.tables where TABLE_NAME = 'tablename';

1010月/1130

awk命令小记详解

发布在 邵珠庆

awk 用法:awk ' pattern {action} ' 

变量名 含义
ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符,默认为一个空格
RS 输入记录分隔符
NF 当前记录里域个数
NR 到目前为止记录数
OFS 输出域分隔符
ORS 输出记录分隔符

1、awk '/101/'               file 显示文件file中包含101的匹配行。
   awk '/101/,/105/'         file
   awk '$1 == 5'             file
   awk '$1 == "CT"'          file 注意必须带双引号
   awk '$1 * $2 >100 '       file 
   awk '$2 >5 && $2<=15'     file


2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。
   awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第一、二个域加10。
   awk '/101/ {print $1$2}'  file
   awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域,但显示时域中间没有分隔符。


3、df | awk '$4>1000000 '         通过管道符获得输入,如:显示第4个域满足条件的行。


4、awk -F "|" '{print $1}'   file 按照新的分隔符“|”进行操作。
   awk  'BEGIN { FS="[: \t|]" }
   {print $1,$2,$3}'       file 通过设置输入分隔符(FS="[: \t|]")修改输入分隔符。

   Sep="|"
   awk -F $Sep '{print $1}'  file 按照环境变量Sep的值做为分隔符。   
   awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符,这里代表空格、:、TAB、|同时做为分隔符。
   awk -F '[][]'    '{print $1}' file 按照正则表达式的值做为分隔符,这里代表[、]


5、awk -f awkfile       file 通过文件awkfile的内容依次进行控制。
   cat awkfile
/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。
{print $1,$2}                   --因为没有模式控制,打印每一行的前两个域。


6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行(记录)。


7、awk   'BEGIN { OFS="%"}
   {print $1,$2}'           file 通过设置输出分隔符(OFS="%")修改输出格式。


8、awk   'BEGIN { max=100 ;print "max=" max}             BEGIN 表示在处理任意行之前进行的操作。
   {max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。
   (表达式1?表达式2:表达式3 相当于:
   if (表达式1)
       表达式2
   else
       表达式3
   awk '{print ($1>4 ? "high "$1: "low "$1)}' file 


9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行(记录)。


10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行(记录)。
    awk '{$7 %= 3; print $7}'  file 将第7域被3除,并将余数赋给第7域再打印。


11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。


12、awk '/tom/ {count++;} 
         END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。


13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;
         END {print "The total is $" cost>"filename"}'    file gsub函数用空串替换$和,再将结果输出到filename中。
    1 2 3 $1,200.00
    1 2 3 $2,300.00
    1 2 3 $4,000.00

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>1000&&$4<2000) c1+=$4;
    else if ($4>2000&&$4<3000) c2+=$4;
    else if ($4>3000&&$4<4000) c3+=$4;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过if和else if完成条件语句

    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000&&$4<4000) exit;
    else c4+=$4; }
    END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file
    通过exit在某条件时退出,但是仍执行END操作。
    awk '{gsub(/\$/,"");gsub(/,/,"");
    if ($4>3000) next;
    else c4+=$4; }
    END {printf  "c4=[%d]\n",c4}"' file
    通过next在某条件时跳过该行,对下一行执行操作。

14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中,格式为
    打印文件并前置文件名。


15、awk ' $1!=previous { close(previous); previous=$1 }   
    {print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。


16、awk 'BEGIN {"date"|getline d; print d}'         通过管道把date的执行结果送给getline,并赋给变量d,然后打印。 


17、awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;print "\nYour name is",d,"\b!\n"}'
    通过getline命令交互输入name,并显示出来。
    awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}'
    打印/etc/passwd文件中用户名包含050x_的用户名。

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。
    awk '{ for(i=1;i<NF;i++) {print NF,$i}}'   file 通过for语句实现循环。    
    type file|awk -F "/" '
    { for(i=1;i<NF;i++)
    { if(i==NF-1) { printf "%s",$i }
    else { printf "%s/",$i } }}'               显示一个文件的全路径。
    用for和if显示日期
    awk  'BEGIN {
for(j=1;j<=12;j++)
{ flag=0;
  printf "\n%d月份\n",j;
        for(i=1;i<=31;i++)
        {
        if (j==2&&i>28) flag=1;
        if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;
        if (flag==0) {printf "%02d%02d ",j,i}
        }
}
}'


19、在awk中调用系统变量必须用单引号,如果是双引号,则表示字符串
Flag=abcd
awk '{print '$Flag'}'   结果为abcd
awk '{print  "$Flag"}'   结果为$Flag

总结:

求和:

    $awk 'BEGIN{total=0}{total+=$4}END{print total}' a.txt   -----对a.txt文件的第四个域进行求和!

  • $ awk '/^(no|so)/' test-----打印所有以模式no或so开头的行。

  • $ awk '/^[ns]/{print $1}' test-----如果记录以n或s开头,就打印这个记录。

  • $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一个域以两个数字结束就打印这个记录。

  • $ awk '$1 == 100 || $2 < 50' test-----如果第一个或等于100或者第二个域小于50,则打印该行。

  • $ awk '$1 != 10' test-----如果第一个域不等于10就打印该行。

  • $ awk '/test/{print $1 + 10}' test-----如果记录包含正则表达式test,则第一个域加10并打印出来。

  • $ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一个域大于5则打印问号后面的表达式值,否则打印冒号后面的表达式值。

  • $ awk '/^root/,/^mysql/' test----打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记 录,则继续打印直到下一个以正则表达式mysql开头的记录为止,或到文件末尾。

910月/110

渠道:关键词

发布在 邵珠庆

营销学中的渠道

  美国营销协会(AMA)对渠道的定义是:公司内部的组织单位和公司外部的代理商、批发商与零售商的结构。   

渠道级别 销售渠道结构
0级销售渠道 生产者→消费者
1级销售渠道 生产者→零售商→消费者
2级销售渠道 生产者→批发商→零售商→消费者
  生产者→代理商→零售商→消费者
3级销售渠道 生产者→代理商→批发商→零售商→消费者
  生产者→批发商→中间商→零售商→消费者

1、“渠道”在“4P”中的地位和应用

  “4P”是市场营销中一个很重要的概念:产品、价格、渠道、促销。   当一件产品具备了“产品”的定义之后,自然会形成期内在的价值,也就是我们通常说的价格。价格 的浮动是一个很复杂的问题,价格在一定意义上决定了产品的生命力。但是在产品从生产者下线开始,就面临着一个很重要的问题——流通。产品只有能在市场上正 常地运转和流通才是其得以生存的根本所在。所以,“渠道”和一个生产单位的“资金流”一样,都具有非凡的意义。   只有在现实的市场流通中注重产品的渠道维护,才能从根本上去杜绝产品滞销带来的诸多的问题。在4P中,渠道的维护是一个相当重要的概念。

2、“渠道”在销售过程中的维护

  我们参照上面的这个“逐级分化”的渠道图标来分析一下,渠道在正常的运转之中需要注意的问题和其实际意义所在。   “0级销售渠道”其实就是“直营”的模式,中间减少了不必要的流通环节,把更多的利益缩减。 “0级销售渠道”是时下比较潮流的渠道模式,但是并不是对所有的产品都适用。这种类似于“点对点”的渠道模式比较适用于重型机械、大规模工程设施等“非快 速消耗产品”(和“非快消品”不是一个概念)。但是并不是只有这些行业可以采取该种模式,例如目下比较畅销的XX化妆品也采用了该种销售模式。一个关键的 问题是,该种销售模式需要的整个渠道的长期系统维护,需要投注比较多的人力,难以在整个系统中进行实际有效的维护。   “3级销售渠道”,我们跳过中间的两个模式,因为只要理解了这个比较复杂的模式,前两者都是类似的。为了便于说明问题,我们举一个简单的例子来分析。我们单单从“价格”这个方面来诠释该种渠道模式,因为在产品的整个的流通过程之中,“价格”的因素是最直观的。   我们举例的产品是一箱饼干(我们拿快消品来举例是因为最直观和比较能说明问题)。我们的这箱饼 干含有10包饼干。也就是说,10包饼干构成一箱饼干。生产一箱饼干的成本是10元(以下价格均为虚构价,但是其每道流通环节的增幅可以视为实际)。成本 为10元的饼干的出厂价格我们设为20元。因为任何的企业都是以盈利为目的的。假设我们的市场为A县城,A县城的张三代理了这个品牌,张三就是该公司在A 县城的代理商。这箱饼干到了张三的手中价格成了21元,因为中间存在了一次流通环节。张三做代理的目的是“薄利多销”。他以每箱饼干23元的价格分销给各 个批发商,并且和批发商议,面对销售终端店的价格为25元。这样,一箱饼干在张三这里可以赚取4元,在批发商那里可以赚取2元。当这箱饼干到了超市之后, 它的价值“骤增”,每包饼干的零售价格成了4元,整箱全部出售的话,可以卖40元,减去进货价25元,超市净赚15元。在整个的流通环节之中,终端的盈利 是最大的,要远远超越中间的各个环节。   我们不难看出,使得整个流通环节顺畅的关键的因素是逐级让利。一个好的产品,要想在市场上正常运转是相当困难的。我们单单就价格的一个因素来分析其实是不全面的,关键还是整个市场的渠道正常。需要有人力来进行维护和拓展。良好的渠道运作是公司梦寐以求的。