趋势网(微博)讯:
女子称卖40万手表后银行卡被冻结 14岁男孩电梯内捂嘴猥亵女童被拘 上海迪士尼疑老太带孙插队被怒吼 周雨彤发文回应近期舆论 打假博主揭良品铺子配料表黑 幕
Hadoo是大数据处理的典型代表,以至于开源数据平台实际上已经变成大组信息存储和分析这些流行术语的同义词。
虽然Hadoop并不是唯一的大数据处理软件框架,但它却有着别人无法企及的影响。那么究竟为什么Hadoop在大数据处理上如此呼风唤雨?是什么让它如此特别、如此不容小觑?
有时候成功背后的原因显而易见,对于Hadoop来说它最大的市场驱动力也很简单:在Hadoop之前,大数据存储费用十分昂贵。
Hadoop可以保存无论多少你想要的任何形式的文件,而你只需在Hadoop集群中添加更多的服务器。对于整个集群来说,每一个新的服务器(可以用相对便宜的x86机器)会增加存储空间和处理能力。这使得Hadoop数据存储成本远比以前的低。
高额的数据存储创造了人们对Hadoop的需求
我们这里谈论的数据存储不是存档,不是只把数据录入到磁带中那么简单。我们说的是,公司需要存储不断扩大的数据库并在需要的时候轻便的调出来使用以达成各种目的,这种数据存储费用在Hadoop之前是很昂贵的。
那么都有什么数据需要存储呢?企业和小型企业试图跟进大量的数据集:电子邮件、搜索结果、销售数据、库存数据、客户 数据、网站点击率...所有这些和其他以前所未有的速度涌进人们生活的数据,并试图通过关系型数据库管理系统(RDBMS)来管理数据,这是一个花销巨大的提议。
从历史惯例来看,人们通过将样本数据传到一个较小的子集来节省成本。那些被录入的数据会携带某种人为的标准,显而易见的是,这些被录下的数据比其他的更重要。例如,电子商务为主的公司会考虑到他们的信用 卡数据比产品数据更重要,产品数据又比点击率数据更重要。
标准是会改变的
如果你的业务也是基于一定的标准,这没有问题。但是如果一旦标准改变了,会发生什么呢?那么你所有新的业务都将在你存储的最初数据上执行。而原始的数据早已经不复存在,要知道要将它们全保留下来代价太昂贵了,这也就是为什么人们排在第一的数据会被优先保留下来。
费用昂贵的RDBMS基础存储也导致数据被一个个组织孤立开。销售有自己的数据、营销有自己的数据、会计都有自己的数据等等。更糟糕的是,每一个部门对数据的优先性标准可能都是主观臆断。这使得手中的数据很难(或是有误的)为全公司的决策服务。
Hadoop:打破分割线
Hadoop的存储方法使用了一个分布式文件系统,这使得它可以随地显示出它在Hadoop集群服务器的数据。这个处理数据的工具也是分布式的,它一般位于数据存储的服务器中,这使数据处理更快速。
Hadoop允许公司以低得多的成本来存储数据。有多低?2012年,Rainsto估计在三年内运行一个75 节点、300万亿字节的Hadoop集群将耗资105万美元。2008年,甲骨文公司以233万美元出售了一个168万亿字节的数据库(只比300万亿的一半多了一点点而已),而这还不包括运营成本。每年你把95000美元的薪水投入到甲骨文公司,3年也就是262万美元的运营成本——Hadoop的2.5倍,得到的却是打了对折的存储能力。
这种价格的信息存储意味着Hadoop让公司实现他们对所有数据的掌握,而不仅仅是他们优先录入的部分。人们不再需要提前划一标准。所有的数据都变的一样有价值,所以在任何时候,只要有需要,业务都可以没有限制的运行。这很了不起,因为如果没有需要丢弃的数据,那么任何数据模型公司会尝试公平游戏。
Hadoop更多的好处
Hadoop还允许公司对录入的数据进行储存操作——无论是结构化的或非结构化的——所以你不必花钱和时间来为关系数据库和僵化死板的数据表配置数据。因为Hadoop可以如此轻易的配置,它无疑是立马捕捉来自多个不同数据源所有数据的完美平台。
Hadoop最受人赞誉的好处是它存储数据的价格比RDBMS软件便宜的多。而这只是故事华丽开始的第一部分,以如此便宜的价格实现如此大规模数据储存的能力意味着公司可以掌握所有的数据来做更多有信息支撑的明智决定。