澳财务部CIO：与大数据抗战的十年

根据部门的CIO Peter Alexander称，澳大利亚财政部的项目是为了解决大数据，这个永无止境的事，并且需要不断的发展。

财政部的作用是通过收集不同来源的数据完成经济预测，其中包括澳大利亚统计局(ABS)和澳大利亚储备银行(RBA)。从2007年到现在它已经努力收集大型数据集(一般在Excel表格中)，该方法的缺点是很明显的。

Alexander说，一直以来财政部都采取“大数据微处理”的方式解决，但是在今年年初，政府部门开始推出其定制的数据分析平台Odysseus，来回应持久的数据问题。

这是一个为期两年的过程，它涉及建造一个新的数据库。当外部来源提供可用信息时，Odysseus已经允许财政部自动更新其数据库。

谈到在悉尼举行的CeBIT大数据会议，Alexander描述这个项目为“一个10年的希腊悲剧史”，因为在他当CIO之前 ，财政部已经花了很长一段时间试图为它的数据难题找到一个解决方案。

Alexander说， “这是一个悲剧，因为它用了10年，可能还需要更长的时间才能发展成熟。”

考虑到Odysseus是跨部门更广泛的部署方式，是否财政部的大数据悲剧就要接近它的尾声了呢?

“我不这么认为，” Alexander说。 “如果我们说，(项目)完成的十全十美，那么我们就已经失败了。”

“这需要一直学习，不断进化，不断变化的模型，并且是发展中的。”

虽然它通常是结构化的数据，但财政部收集的信息量仍在急剧增加。目前，该部门在Odysseus平台上有一批微软数据提取和分析工具来处理大数据，但还需要不断地寻找更多的技术方案来解决大数据。

“未来有一些真正梦幻的终端用户的技术是相当不错的，” Alexander说，“我们正在寻找在微软PowerPivot或者类似的，但我们认为，我们需要建立这个梦幻般的数据库以及类似的东西，但这是浪费时间吗?”

“一直在变化。”澳大利亚财政部正在考虑通过社交媒体收集数据，以此丰富其经济预测。但是，在处理非结构化数据的洪流中，这将带来更大的挑战。

Alexander说，像NoSQL和Hadoop这样的产品，对非结构化数据的处理是很有用的，财政部将仔细审查不同的方法以确保它为政府部门挑选出最合适的。

为数据管理人员创造了新的角色，作为其新的信息管理方法的一部分。数据管理人员负责检查所有流入部门的新数据。财政部仍然占据领导的职位，决定是否将数据管理人员成为一个永久性的角色。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友