社会化大数据的企业应用实践

现在看一下大数据究竟能给企业带来哪些机遇？机遇是非常多的，我就简单的举了几个例子，大数据通过分析可以给企业创造新的价值，也就是说有可能推动你原有业务的增长，但是也有可能给企业带来新的业务模式，第二点是各种模式的云计算服务问世，是可以大大的降低企业的运营成本。之前传统的是需要建机房，小一点的公司是需要托管都不同的机房里面，然后由机房提供一些基础的运维服务，成本是非常高的，云计算服务的问世，比如说亚马逊的EC2、阿里云的ECS，云计算的服务大大减少了硬件设施的投入，我们可以非常容易的部署、扩展我们的集群，这个成本是非常低的。另外一个是数据挖掘，是近两年非常火的词，当然它在传统行业里应用了很长时间，但是在互联网领域随着大数据的兴起，数据挖掘也被越来越多的企业所熟悉，数据挖掘可以做很多很多事，比如说预测、归类等各种算法做分析相关的事，比如说大娘水饺，它们是用数据挖掘的方式做统计分析每个门店哪种饺子的品种销售量高来决定每个门店的供货量。比如说某种产品的利用率非常高，如果我提高了这个产品的供货量，那我的利润率也会整体提高，我的成本保持不变，利润就会整体提高。根据每个门店的消费量、供货量、满意度等等各种维度的指标，分析数据对企业的经营做出决策。

企业具体怎么用大数据分成几块内容，数据收集、数据存储、数据处理、结果可视化。数据收集说的具体点就是对来自网络包括物联网和信息系统之类的数据要打上标签，去伪存真，尽可能收集不同来源，或者说不同结构的数据，必要的时候可以根据历史数据作比较、对照。数据存储是要达到低成本、低能耗、高可靠性的目标，需要做到容易配置、分布式，利用云计算的技术，像Hadoop里面的HDFS就是一个分布式数据存储的系统，把数据切分成块，放到不同的机器上，提供数据的冗余，保证数据的安全性和访问型。数据处理呢，有些行业涉及到上百个参数，这些数据的复杂性不仅体现在数据样本的本身，更体现在它的不同来源，不同结构，它们之间还会有交互，不同的复杂的关联，有些数据是很难用传统的方法去描述度量的，处理的复杂程度也非常大。比如说需要将高危图像、多媒体数据降维之后做度量的处理，利用上、下文关联做语义分析，从大量的动态或模棱两可的数据中导出可以理解的数据，大量的数据目前来看人类是没有办法处理的，就是只能依靠计算机通过多部分析，转化为可理解的、可阅读的数据。最后的结果可视化是让结果更直观，便于洞察，尽管计算机智能有很大的进步，但是还只能针对小规模或有半结构化或者非结构化数据作分析，还谈不上深层次的数据挖掘，现有的数据挖掘在不同的行业当中想通用是很难的，比如说我在传统制造业用到的某些分析方法拿到互联网行业有可能就不能用，它的行业特征非常强。

企业到底应该怎么做大数据的规划？其中有几点，第一是建立数据化的计划，成为大数据企业的第一步，实现大数据的录用存储，企业首先要考虑的是要保存哪种类型的数据，各个公司因为业务模式的不一样，涉及的数据也不一样，是更加关注产品还是企业运营，还人力资源的数据，这些问题需要在建立数据计划的最初就要做好思考和规划，第二点是建立数据管理和应用的平台，企业做大数据需要2个方面的基础，一个是在IT基础设施上要建立数据良好的处理结构，比如说数据的分布式存储，另一方面企业要建立自己的数据应用的平台包括数据的采集，数据库的架构，分析的模块，这些数据通过分析之后要怎么通过接口被其他的数据系统调用，做数据分享，因为我们分析完了的数据有可能给上层展现，有可能我其他的业务系统要使用分析完的这些数据，那这些数据接口要怎么建立，怎么跟其他的系统互通，这也是非常重要的一个问题。第三是要量体裁衣，建立自己的数据团队，对于传统的通信或银行业它们自己会建立数据挖掘的团队，不论是在成本控制上还是在业务响应上都相对有利，因为是自己的队伍，想做什么响应度很快的。但是对于中小型企业来说，自建团队成本非常高，因为大数据部门不是一个盈利的部门，很多企业都会考虑大数据部门的投入、产出比例，很有可能投入的过大，因为大数据部门是要持续投入的才会有潜移默化的改变，有可能还不是显而易见的改变，所以说企业在投入的时候也是一个问题。第四点是定制好外部数据的战略，有哪些数据影响企业的发展，比如说竞争品牌的销售策略，这些都要做提前搜寻、积累，建立外部数据的计划，企业可以通过公共渠道和数据交换的方法来做，相当于不光是收集企业内部的数据，也了解企业外部的数据是在怎样的，比如说我的竞争对手、行业发展趋势，有哪些地方是可以根据竞争对手、行业发展的变化做调整。

现在讲一下咱们的第三个大方面，企业面对大数据能够做些什么？我罗列了一些可以做的东西，当然还是远远不够，在智能网站方面可以做标签，相当于我收集的信息对用户做一个多个维度的描绘，这个人是怎样的，哪些东西适合，比如说在客服领域，用户打电话过来说用了我的什么产品，他遇到了什么问题，我已经帮助解决了什么问题，仓储、物流领域比如说我企业有自己的物流系统，有自己的仓储，可以根据销售量预测来决定我的存货情况，比如说某种销量好，那我可以多屯货这样可以保送达的时间是非常及时的，在搜索领域可以辨别用户的使用习惯，然后对用户的行为做分析，比如说在媒体、新闻类的网站上，会做推荐系统，相当于我根据你经常看某类新闻的一个习惯，去分析，对用户做分类，这样契合度更高，你也会看我推荐的内容，在广告领域就是分析用户的行为做精准投放，风控是可以识别恶意用户，舆情监测可以做热点跟踪、舆情预警等等，数据开发平台我觉得是大数据下一步开发的阶段，就是数据共享，就是有很多人有数据但是不懂如何分析，不知道这些数据对它能产生多大的价值，通过数据分享的平台可以让有技术能力的人来帮你做分析或者数据交换，EDM是可以广告投放，邮件的推广、精准营销，比如说我给哪些人推送哪些类型的邮件，因为传统的就是我有一个邮件列表，发送给所有人，其实可以根据不同情况筛选哪些人要投放哪一类的邮件，这都是可以通过大数据来做分析。企业究竟怎么样来挖掘大数据的价值呢？中间这个红色部分是大数据处理平台，UDH是用友自己的一个大数据平台，根据各种不同的数据源，比如说日志、文件、消息、文本等等的数据源，通过大数据处理平台，做批量处理，实时分析，上承接企业的运用，营销分析、运营分析、历史数据管理、集成开发环境、第三方系统集成等，作为一个数据存储分析的大数据处理平台，在整个流程里面是居于最核心的地位，分析的数据可以上承接不同的应用做进一步的分析和使用。这是大数据平台的一个架构图，大家可以看到这种大数据集群的管理器应该有什么东西，左侧可以看到企业管理器有针对大数据管理平台根据组建不同的安装配置，服务管理的启动、停止，配置更新等，测试，系统装完后是否可用，第三十运行监控，因为这种大数据平台涉及到多个机器，多种服务，这些机器的配置不同，服务不同，怎么保证每个机器服务都是好的，就要运行监控系统，相当于我时刻了解服务是否正常，是否出现某种资源的短缺，安全审计是你要时刻了解在整个平台里面发生了哪些事情，有哪些操作是不合规的，我在正常的业务管理上就要做规避，或者说要提前预警，最后一个是预警日志，比如说当某个系统濒临崩溃、硬盘满了或CPU已经超过了80%，这种情况说明这台机器的处理能力已经达到一个极限，要么我就给机器升级，要么我就是在这个集群里加新的机器，这种机制是非常有效的，能保证你的机器正常运行，遇到警报之后，可以根据情况扩容你的系统，右侧是Hadoop组件，大家可以看到最下面是HDFS，是一个分布式的存储系统，可以存储海量的结构化和非结构化数据，上面是YARA分布式的资源管理，MapReduce基础数据处理、HIVE统计分析，在它的左侧是HBASE海量数据的随机存取，Zookeeper分布式协调服务，最右侧是Oozie工作流程度，它可以自己定义整个工作流，最上一行有3个，Impala MPP数据架构引擎、Hue交互式工作平台、Pig数据处理工具，最右侧是数据集成，上层可以接第三方的管理系统、借口集成还有应用系统，比如说BI、数据管理系统、处理还有读取的服务。

大数据平台应该有的功能是什么呢？首先大数据平台功能之系统监控，可以看到图上有多个维度，比如说HDFS磁盘使用情况、DataNodas活动中、内存使用情况等等各种维度的数据，我作为一个企业管理者都需要了解的数据有哪些变化，我根据这些变化可以看到机器是否正常运行，有可能遇到什么问题；大数据平台功能之服务管理，一方面是管理机器，因为它是一个分布式的结构，多个节点之上的大数据平台，比如说我某台机器不想要了或需要扩容，需要把这个机器从传统的集群里面摘掉，然后坐升级、维护，升级完了之后再把它加进来，这个是在大数据平台上至少要有的，另外呢，是要管理大数据平台上的服务，这些服务也是有一定的管理操作的，现在我们看到的这个界面就是对服务的管理，可以看到服务启动了多长时间，内存使用的情况包括服务的预警；大数据平台功能之节点管理，管理机器上的组建、启动、停止重启、进入维护模式，有了大数据平台直接点击一下就都帮我做了；大数据平台功能之数据分析，比如说要查询某张表，查询里面的数据做简单的分析，直接输入搜索语句，大大的提高了工作效率和难度，有可能操作的人就不会编程或者说只会简单的操作。

企业互联网时代舆情信息的应用价值，刚才说了好多应用的不同的领域，我们现在开发了用友的舆情系统，其实用友跟其他企业一样也面临了大数据的很多问题，比如说我想了解我的竞争对手、行业有哪些信息发生，我们本身没有这种类似的系统，只能买第三方服务，一个月的成本是很高的，几万块，一年下来很高，我们就再想有了自己的大数据平台，因为做大数据平台目的，是怎么样运用，我们就在自己的管理平台之上，做用友自己的舆情管理系统，可以把各种维度的舆情信息，进行监控、收集竞争对手的情报，行业的发展趋势等数据作为自己的报告或者在网站上作为内容的展示，它的应用价值可以规避企业的风险，比如说国家的政策出台不允许做哪些事情或者行业发展趋势你的发展方向正好处在一个风口浪尖，或者说你的发展方向跟市场趋势是偏离的，那你可以很及时的了解，规避风险，可以侦察竞争对手、了解用户动态、认识自己在行业的地位、帮助你创造价值，综上所述，这些方面是可以给企业带来利益提升。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友