美国用大数据来做些什么

2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。

美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

国家科学基金会：推进大数据科学核心技术

美国国家科学基金会和美国国家卫生研究院将对大数据进行联合招标，旨在提高提取、分析信息的能力。

美国国家科学基金会和美国国家卫生研究院将对大数据进行联合招标，旨在改进核心科学与技术手段，提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力，加速科技成果的产生，并带领国家进入一些全新的、以往不可企及的研究领域。其中，卫生研究院对于与健康与疾病相关的数据集尤其感兴趣，包括影像、分子、细胞、电生理学、化学、行为、流行病学、临床医学数据集。国家科学基金会除为大数据招标提供资金维持其关注的基础研究外，还正在实施一个全面的、长期的战略，包括：开发新的方法，以便更有效地从数据中进行知识获取;相关基础设施投资，用于大数据科研团体的管理、组织和数据提供等;研究新的教育和人才培养方法。

采取的具体举措有：鼓励研究型大学设立跨学科的研究生专业课程，以培养新一代数据科学家和工程师人才;向加利福尼亚大学伯克利分校的计算开发项目投资1000万美元，此项目计划集成3种强大的数据转信息方法，包括机器学习、云计算和众包;为“EarthCube”提供第一阶段的资金支持，该系统将允许地球学家获取、分析和共享与地球相关的信息;向一个研究培训小组发放200万美元的奖金，用于支持一项大学生培训计划，教授他们如何利用图形和可视化工具解析复杂数据;为一个由统计学家和生物学家组成的专业研究团体提供140万美元的研发资金，资助他们研究蛋白质结构和生物途径;召集各个学科和领域的研究人员，共同探讨如何利用大数据转变教育与学习模式。

国防部：利用数据支持决策

美国国防部每年将投资2.5亿美元支持研究计划，旨在创新使用海量数据的方式。

美国国防部“在大数据上压下了巨大赌注”，他们每年将投资2.5亿美元左右(其中6000万美元用于支持新的研究项目)，在各个军事部门开展一系列研究计划，旨在以创新方式使用海量数据，通过感知、认知和决策支持的结合，建立真正的、能够独立完成操控并做出决策的自治式系统;提高作战人员和分析人员的环境与状况感知能力，增强对任务和流程的支持。国防部的目标是将分析人员从任意语言文字资料中提取信息的能力提高100倍，同时希望他们观察到的目标、活动和事件的数量也获得相同幅度的提升。

开展的具体项目包括：多尺度异常检测项目，旨在解决大规模数据集的异常检测和特征化。目前多尺度异常检测应用程序能够进行内部威胁检测，以及在日常网络活动环境中检测单独的异常行动。而洞悉计划则主要解决现有情报、监视和侦察系统的不足，进行自动化和人机集成推理，使得能够提前对时间敏感的更大潜在威胁进行分析。该计划旨在开发出资源管理系统，通过分析图像和非图像的传感器信息和其他来源的信息，进行网络威胁的自动识别和非常规的战争行为等。

此外，美国国防部高级研究计划局将开展XDATA项目。该项目计划在未来4年每年投入2500万美元开发能够分析海量半结构化数据和非结构化数据的计算技术和软件工具。需要解决的核心问题包括：开发可扩展的算法，用于处理分布式数据存储库中的不规则数据;创建有效的人机交互工具，用于支持面向各种处理任务的快速可定制视觉分析。XDATA项目将支持开放源软件工具集，以帮助开发机构灵活开发软件，使用户能够尽快实现海量数据处理能力，与特定国防应用的任务数据流保持同步。

国家卫生研究院：免费开放千人基因组计划数据

免费开放由国际千人基因组计划创建的人类遗传变异研究数据集，供研究人员自由访问和使用。

美国国家卫生研究院宣布，由国际千人基因组计划创建的最大的人类遗传变异研究数据集在亚马逊网站云服务(AWS)上免费公开。截至目前，数据量已经达到大约200TB，相当于1600万个塞满文本资料的文件柜或3万多个标准DVD的容量。该数据集的规模极为庞大，几乎没有哪个研究机构具有足够的计算能力对其中进行有效利用。现在AWS将千人基因组计划数据集免费公开，供研究人员自由访问和使用，他们只需为自己使用的计算服务付费。

能源部：通过高级计算技术加速科学发现

能源部将斥资2500万美元建立可扩展数据管理与可视化研究所，帮助科学家对数据进行有效管理。

美国能源部将斥资2500万美元建立可扩展数据管理、分析与可视化(SDAV)研究所。在能源部劳伦斯伯克利国家实验室(Lawrence Berkeley National Laboratory)的组织下，SDAV研究所将汇集6大国家实验室和7所著名大学的专业知识和经验来开发新工具，帮助科学家对能源部超级计算机上的数据进行有效管理和可视化处理。此举将进一步简化和加速开发流程，使科学家们能够利用能源部的研究设施开展更加卓有成效的科学研究和发现。目前能源部的超级计算机上同时运行的数据流在规模和复杂性方面均呈现不断增长的势头，因此对这些新型工具的需求也更加迫切。开展的主要项目计划包括：

高性能存储系统能够对千万亿次的数据进行分析处理，从庞大的科学数据集提取信息，发现其主要特征并理解其间的关系。系统广泛适应于从能源部到电网，包括宇宙学和天气数据、传感器数据等。

生物和环境研究计划：大气辐射测量气候研究设施是一个多平台的科学用户设施，可提供重要的大气现象的精确观测研究。主要用于应对从数以百计的文件中迅速采集和提交解决方法的挑战，以满足用户的需求。

美国核数据计划是一个多方面努力、涉及7个国家实验室和两所大学的项目，提供跨越多个领域、核物理、编译和交叉检查、对所有原子核的重要性质的相关实验结果，维护和广泛使用的专用数据库。