ȫ������ݽ���δ��ʮ��������50��
���������ݿ��������IJ���ԭ��鹦�������豸���ռ��������װ��������ҽ���豸���Լ����ܽ����������¥�����������⣬�ǽṹ����Ϣ���������ļ��������ʼ�����Ƶ������ռ��δ��10���������ݵ�90%���ǽṹ����Ϣ����������Ӧ�鹦�ڸ߿�����ݵ�������������Ƶ��
���������ۡ������ݣ��㶮�� ��
���������ݣ��޷Ǿ��Ǵ����������Ѿ�ϰ�����ú�������ը���������ʼ��μ������ӵȴʻ�������������Ŀ���������IDCԤ�⣬δ��10����ȫ���������������44��������á������ݡ��������壬�ڡ������ݡ�����Ѱ���м�ֵ�����ݰ�����ҵ�������õ���ҵ���ߣ������ҵ��˵�Ǹ������ս�����ڴ����ݣ��㶮��
��ʶ������
����������ζ�Ű������׺ͽ������ݼ����ڵ��������ݼ������ģ���ӳ̶ȳ����˳��ü������պ���ijɱ���ʱ�޲�׽������������Щ���ݼ���������
���������ݣ���ͳ�Ĺ�ϵ�����Լ��ǽṹ���Ͱ�ṹ����Ϣ���ڼ���������
�������ݣ���Դ�� Facebook��Twitter��LinkedIn ��������Դ���罻ý�����ݹ��ɡ�
�������ݴ���������п���Դ�롢����ƷӲ��Ⱥ�����е� Apache Hadoop��
Ȩ���������еĴ�����
Gartner�����Ӧ�Դ�������ս
����

��Gartner��˾��ʾ��Ŀǰ�ܶ���ͼӦ�Դ�������ս��IT�����ǰѸ���ע��������������Ϣ�����ϣ�����������Ϣ������������棬�Ӷ����ܴ���ս����Ӧ�Ժ����ϡ���Ϣ��������ʧȥ�����ݷ��ʺ��ʸ���Ŀ���ʱ�����ܻ������ڽ���ע�������⡣

Gartner����ʦ���棬���������Ĺ۵����ʹ2��3���ڼӴ�Ͷ�����Խ��������������������⡣��Ȼ��������һ����Ҫ�����⣬��Gartner����ʦ˵��������������ʹ�����ݲ������壬������֯�������õ�ҵ����ߡ�

IDC�����ݸ��ܲã���������̽����
����

Benjamin Woo���ݽ���̸�۵��������ݽ���ս��ҵ�Ĵ洢�ܹ����������Ļ�����ʩ�ȣ�Ҳ���������ݲֿ⡢�����ھ���ҵ���ܡ��Ƽ����Ӧ�õ�������Ӧ����2020�꣬ȫ������ʹ����Ԥ�Ʊ���44�����ﵽ35.2ZB��1ZB=10��TB�������������ڳ��׸ı�IT���硣

���������ĸ��������棺Volume��Variety��Velocity��value�����ȣ������Ǻ����ģ������Ƕ����Եģ��ɴ��������ṩ�ܶ�����ݣ���Щ���ݵļ�ֵ�Ƿdz��ߵģ����һ�����ݵ��ٶ��Ƿdz����ٵġ�

ESG���ԣ������ݴ����˴����
����

�������Ǹ����µĸ��û���κ�һ����һ�������Ķ��ۣ�ֻ�Ǹ������Ƕ��г���һЩ��⡣�����ݵIJ���������ά�ȣ���һ���Ƿǽṹ�����ݣ�����˵�ڼ���һ����Ƶ�������������ѡ�����������ܴ�����һ��ά�ȡ���һ��ά�Ⱦ������ݿ⣬���ڵ����������÷dz��졣

�������ڽṹ�����ݻ������ݿ���������BI�Ĺ��������dz���Ҫ�������ݶԷǽṹ�����������������ǶԷ���ý����ҵ���������������Ч�ʽ�������IT�ɱ���һ���ȽϺõľٴ롣

�����ݣ����ͷ ���ǻ�
�������ݡ���Ϯ���ھ�Watson���Ӧս��
�����������ڵ�����ϰ���Ե������ֻ�������΢����ʱ�����DZ�һ����һ�ŵ���ͼ�����������ʱ����ʽ�����������Ŀ�æ���Ȼ����ʱ��......һ������"������(Big Data)"�����ʲ��������IT���ߺ죬"������"��ʱ�����ڳ�����������
����������Ϊ���ݴ洢ϵͳ��������ս
���������ݴ洢������˵�������в�����ս���ڣ��׵������ǣ����DZ���Ҫǿ������ʽ���ݿ��Ч�ܣ��������ݹ��������ѹ���Ĺ��ܡ� ��һ����ս���Ǵ�ͳ���������ݿ��޷������ǽṹ�����ݡ���ˣ��������з����ǽṹ�����ݵij����Լ����ݹ����̣���Ŀǰ���ݴ洢����չʵ���ķ���
������ʱ���������㣺ҵ������Ż� Molloy
������������Ѹ�������������������������ܻ�������ͨ�������豸���ɻ�ú������ݣ����߼�����Ӧ�ó���ij��콫��������ҵ�������õ�ҵ����ߡ�����һ�е�ǰ���ǣ�����Ҫʱ�ɻ����Щ��Ϣ������Щ��Ϣ�ܹ��õ���ʱ����
������������˼�������������������أ�
�������ᵽ�������ݡ������ʱ��������ֵ��˼�������⣺�����ܲ����ǹؼ�����ʱ���洢�����Թ�˾�����ж���Ҫ���������з����Ҫ������ͬһ�г�������������豸�й����������ݡ�Ӧ�ô��ڣ��������ܡ�Ӧ��ͬ�����ڣ���Щ��������׷������һ��Ŀ�ꡣ
���̶Դ����ݵ���Ϊ
�������Ƽ����ȳ����ϵĶ�������ը��ʹ��Ŀ���L��ʱ����ô���ꡰ�����ݡ�����ȴʿ�ʼ��ʼ���ϵĽ������ǵĶ��䡣��������Ҫָ������Ƶ��Ӱ����ͼƬ�ȷǽṹ�����ݣ������ļ��������޷������ݿ���й��������ٽ�������������ݲ�����ʲô�¸��������̴���������ԭ�����ڵ������ݱ�ը���Ƽ�����е��������ƣ���������Ҳ����˵��һ����Ȼ��
Informatica���������ݵ���սת��Ϊ�����
����Informatica�ɹ����Ƴ��˴��µ�Informatica 9.1 for Big Data������ȫ���һ��ר��Ϊ�����ݶ�������ͳһ���ݼ���ƽ̨�����ǽ��������ݴ�������սת��Ϊ�ش������
NetApp���еĴ����ݾ߱���Ҫ�أ�A��B��C

���Ŀ�ָ��������������������кܶ࿴��������NetApp ��˵�������Ĵ����ݰ���A��B��C����Ҫ�أ�������Analytic��, ����Bandwidth�������ݣ�Content����

Netezza�������ݵķ�������
����IBM Netezza�����ܲ�Jim Baum����̸��Netezza�����ΪIBM��������������Լ���2010��IBM�չ������ķ�չ�����
EMC����������ݵ�����
����EMC�����������������ײ��IT���ƣ���������һ�Ҵ洢�ṩ����˵������������⻯ҵ����ںϿ�ν������֮�ϣ���ʱ���ְɡ�
�����ݲ���
�����ܹ�ע�Ĵ����ݲ���

���������޷����������֮һ--�������ʣ�һЩ��Ӧ�̽�Ӳ�̴�500GB������1TB���ͻ��Ϊ�����ݡ����ڴ����ݵ�����Ҫ���ص��ǣ���ͳ�����ݴ����߻�洢���������ܳ�ִ�������

��ˣ��ھ������ҵ���ҵ�����У�������Щ���������תΪ�����õ�֪ʶ��Ȩ���ѳ�Ϊ��ҵ�쵼�ߺ�������֮��Ĺؼ����֡� [ȫ��]

һ��Watson
Karp��ʾIBM�ѳ�Ϊ��������ҵ���쵼�ߣ��ù�˾���ڽ��л����о��Լ���Ʒ�з��� ����ɭ�����ڳɹ�Ӧ��Σ����ս��������������ֻ������ʤ���ڶ�����֮һ���� [ȫ��]
����CA
Karpָ��CAҲ�ڴ���������������Щ���顣 ��CA�ڴ���������Ҳ����Щ�������������ڱ���״̬��Ҳ����һ���������ڲ�����г����š��� [ȫ��]
����Hadoop
�������������ݵĻ���������·����ѡ��������Щ�����Ƿ��ǽṹ����ǽṹ����ר�еķ������ߣ�IBM��CA��������ࣩ�Ϳ�Դ���ߡ����߸�����ζ��Hadoop--һ��Apache��Դ������Ŀ�� [ȫ��]
�ģ�GreenPlum
EMC�Ǻܿ���ʶ�������ݷ�չDZ������һ�����̡���һ�����ǰ�����չ���ר���������ij���GreenPlum��Karpָ����GreenPlum�dz���ע��������Hadoop���룬һ��...... [ȫ��]
�壺Engenio
���漰�����Ŀ��ʱ��NetApp��״���������dz��������Ѵ�LSI�չ���Engenio��Ϊ����Eϵ���Ƴ���...... [ȫ��]
����pNFS
ͨ������NFS��pNFS������������һЩ�����ݵ����Ӷ�ʵ���豸���������Ǩ�ơ������˲���I/O�ı�׼����ͬʱ...... [ȫ��]
Hadoop�ֲ�ʽ�ļ�ϵͳ
����Hadoop

Hadoop��Ҫ��HDFS��MapReduce��Hbase��ɡ� ����һ���ֲ�ʽϵͳ�����ܹ�����Apache����Ὺ�����û������ڲ��˽�ֲ�ʽ�ײ�ϸ�ڵ�����¿����ֲ�ʽ����˵����Hadoop��һ�����Ը����׿��������д�����ģ���ݵ����ƽ̨��

Hadoop������ֲ���һ����д������һ���鹹�����֡�����Ŀ�Ĵ����ߣ�Doug Cutting��˽���Hadoop�ĵ�����"����������Һ��Ӹ�һͷ�Ա��˵��ػ�ɫ���������ġ��ҵ�������׼���Ǽ�̣����׷�����ƴд��û��̫������壬���Ҳ��ᱻ���ڱ�С�������ⷽ��ĸ��֡�Googol������С�������ġ�"
Hadoop��������Ŀ�ͺ��ģ����ʹ�õ���������Ҳ���书�ܲ���أ�������һͷ�����������������(���磺"Pig")����С�ĸ�����ɲ��ָ������������(���Ҳ����)�����ơ�����һ���ܺõ�ԭ����Ϊ����ζ�ſ��Դ��´������ֲ²��书�ܣ����磬jobtracker ��������Ǹ���MapReduce��ҵ��

Hadoop����

Hadoop��һ���ֲ�ʽϵͳ�����ܹ�����Apache����Ὺ�����û������ڲ��˽�ֲ�ʽ�ײ�ϸ�ڵ�����£������ֲ�ʽ��������ü�Ⱥ��������������ʹ洢����˵����Hadoop��һ�����Ը����׿��������д�����ģ���ݵ����ƽ̨��

Hadoopʵ����һ���ֲ�ʽ�ļ�ϵͳ��Hadoop Distributed File System�������HDFS��HDFS���Ÿ��ݴ��ԣ�fault-tolerent�����ص㣬����������������ڵ����ģ�low-cost��Ӳ���ϡ��������ṩ�ߴ����ʣ�high throughput��������Ӧ�ó�������ݣ��ʺ���Щ���ų������ݼ���large data set����Ӧ�ó���

Hadoop��Ҫ����Ŀ

* Hadoop Common: ��0.20����ǰ�İ汾�У�����HDFS��MapReduce��������Ŀ�������ݣ���0.21��ʼHDFS��MapReduce������Ϊ����������Ŀ����������ΪHadoop Common

* HDFS: Hadoop �ց�ʽ�ļ�ϵ�y (Distributed File System) �� HDFS (Hadoop Distributed File System)

* MapReduce�����м����ܣ�0.20ǰʹ�� org.apache.hadoop.mapred �ɽӿڣ�0.20�汾��ʼ����org.apache.hadoop.mapreduce����API

* HBase: ����Google BigTable�ķֲ�ʽNoSQL�����ݿ⡣��HBase �� Avro �Ѿ���2010��5�³�Ϊ���� Apache ��Ŀ[1]��

* Hive�����ݲֿ⹤�ߣ���Facebook���ס�

* Zookeeper���ֲ�ʽ����ʩ���ṩ����Google Chubby�Ĺ��ܣ���Facebook���ס�

* Avro���µ��������л���ʽ�봫�乤�ߣ�����ȡ��Hadoopԭ�е�IPC���ơ�

Baidu
map