大数据:大量商业价值被浪费 | 趋势网
趋势网
趋势网 > 文章 > 正文
大数据:大量商业价值被浪费 转摘 2013-03-15 20:38:33 Monster
浙大通报家庭困难学生晒旅游照 贫困生一年旅游20多地引争议 旺旺三公子称明显有人在搞事 老人领喜糖跌倒去世家属索赔新人 恩波格斗声明 
原来你买的都有隐藏券!快查淘宝天猫内部优惠券

趋势网(微博)讯:

,大数据,大数据:大量商业价值被浪费百雀羚化妆品疑似涉嫌添加禁用原料 王宝强被举报涉嫌欺诈 恩波格斗声明 19岁孤儿被骗到郑州4天没吃没喝 胖东来宣布员工结婚不允许要或付彩礼

Ayasdi的联合创始人兼CEO Gurjeet Singht认为:从查询开始分析数据本身就是一个死胡同,并指出了当下的大数据只完成了万里长征的第一步。

许多人都会被震惊,如果他们知道研究人员只是从收集到数据中1%的数据进行分析和提取见解。而就是这1%被分析的数据支配了革新和见解,现在我们称之为“大数据”。而在每天收集的1 quintillion(百万3次方)字节的数据中,有99%的数据完全未被利用。

我们都知道使用大数据非常的有前途,然而基于当下的许多因素,数据的有效利用仍然是个瓶颈。药物研发过程中,数据的使用多于化学过程;新能源的探测中,数据的使用超过地质学;恐怖分子的追踪、预防欺骗中同样如此。

现在我们已经认识到的上述的这些问题和其它一些全局性问题,都是数据使用的瓶颈所造成的。这种情况催生了大数据上的海量投资,而数据工作同样成为了最热门的岗位 —— 数据科学家,更把私人数据分析服务提供商的估值推到数十亿美元。然而,你能想象到将分析的数据从1%提升到100%的前景吗。

对已有数据分析的见解

如果你拥有一个和人类基因一样庞大的数据集,你该如何开始?比如,奥巴马最近提倡对人类大脑进行绘制?为了突破,我们需要解决这个世界上最复杂的问题,我们需要根本上改变从数据中获取知识的途径。这里我们必须首先思考的是:

从查询开始必然是一个死胡同:查询本身并没有问题。事实上一旦你知道问什么问题,查询是至关重要的。同样这也是关键所在:从查询开始的初衷是从大量的数据中发现一个指针,然而他们并未做到。

数据是有开销的:大部分情况下,数据的储存已经不再昂贵。而且通过使用类似Hadoop或Redshift的工具,即使查询大量的数据都变得非常划算。当然,这只是从硬件的角度上讲。

见解就是金钱:我们愿意承担花销唯一理由就是数据中的见解可以释放价值。遗憾的是,我们失去了已收集数据中大部分的价值。虽然收集数据的成本可能会很高,但是无效分析带来的成本显然更高。当下并不存在什么工具可以直接从数据中提取见解,我们依赖着非常聪明的人去提出假设,然后使用我们的工具去证实(或者是否定)这些臆测。因为依赖的是臆测,这个途径存在着天生的缺陷。

你已经拥有了足够多的数据:这里经常存在的信念就是 —— “如果我们拥有了足够多的数据,我们肯定会得到我们想要的。”太多的时间和精力被浪费在新的数据收集上,其实你可以用你手中的数据做更多的事情。举个例子,Ayasdi最近在Nature Scientific Reports公布的从12岁乳腺癌患者身上获得的新见解,就已经被深入分析了10多年之久。

大数据只是起步,并不是终点

经常会听到我们在癌症研究、能源勘探、药物发现、金融欺诈检测等领域取得了关键性突破,如果因为炒作出来的“大数据泡沫”导致人们因为各种原因在数据分析投资上的失败,这与犯罪又有何不同?

所以我们需要给予数据分析更高的期望,我们更需要认识到下一代解决方案必须满足:

授权领域专家:数据科学家出现的频率已完全跟不上企业的需求。这里不妨这么做,停止继续为他们(数据科学家)开发工具;取而代之的是,给商业用户(生物学家、地质学家、安全分析师等)开发对应的工具。他们比任何人都明白问题出现的环境,但可能跟不上最新的技术或数学。

加速探索:我们需要更快的获得关键见解。事实证明大数据技术的处理速度并没有承诺的那么快。如果一直这样发展下去,可能我们永远都得不到足够快的关键见解获得速度,因为我们永远都不可能针对所有数据提出所有的问题。

人机整合:为了更快的获得见解,我们需要加大对机器智能的投资。我们需要机器能在数据点之间寻求连接和关系时担当更多的重任,让其给商业用户一个更好的起点去探索见解。事实上通过算法途径解决这些问题是完全可行的,并且人们本身永远都不可能发现大型数据集上的显著特征。例如在最近的一项研究中,通过算法查询网络搜索引擎日志发现了之前未报告过的药物副作用。

分析各种形式的数据:当然,研究人员需要分析结构化和非结构化的数据。同样我们需要认识非结构化数据的多样性:所有语言、声音、视频和面部识别文档。

当谈到大数据演变,我们只处于其初级阶段。显而易见如果我们继续分析百分之一的数据,那么我们只能挖掘其1%的价值。如果我们能够分析其它的99%,那么想象一下我们可以从各种方面推动世界进步。

更多  限时  视频 
正在看美女  









某宝是什么,为什么叫某宝?对!我就是那个某宝
更多  限时  视频 
全页海量资源!周妍希 易阳 珞可可 沈梦瑶 穆菲菲 夏茉
资讯    头条  人物   盘点  爆料  花边    囧图  段子  福利
热图    绝色妹子周妍希ALICE无遮罩图集
奇闻    浙大通报家庭困难学生晒旅游照 贫困生一年旅游20多地引争议 旺旺三公子称明显有人在搞事 老人领喜糖跌倒去世家属索赔新人 恩波格斗声明 浙大通报家庭困难学生晒旅游照 贫困生一年旅游20多地引争议 
专题    优衣库  iPhone8  苹果X
标签    互联网+  智能物联  增强现实  虚拟现实
感谢各大网址导航推荐本站
360导航
UC导航
Opera导航
毒霸网址
无限趋势·趋势网:关注互联网热点
www.mtrend.cn
@趋势网
趋势网
京ICP备09071216号-4