许多数据湖都失败了,因为它们是it主导的面子工程, 与业务目标和操作过程没有明确的联系.

The 数据湖 is Dead; Long Live the 数据湖!

马丁Willcox
马丁Willcox
2019年6月13日 3分钟阅读
你可能已经知道,领先的分析公司已经引用了85%的数据湖失败率一段时间了.
 
你可能不知道,这些领先的分析公司中的一家现在也在预测这种情况, by 2020, 30%的数据湖将建立在标准关系DBMS(数据库管理系统)技术上,“成本与Hadoop相当或更低”,因为——我引用——“应用程序性能优越”和“进入数据湖的大多数数据都是关系数据”.”
 
把这两件事放在一起,你就会开始理解为什么MapR最近走到了尽头. 以及为什么云era面临如此大的财务压力.
 
许多组织已经在数据湖上投入了数千万甚至数亿美元,而这些数据湖几乎没有任何商业价值, 科技行业早就不应该进行残酷的自我评估了.
 
许多数据湖都失败了,因为它们是it主导的面子工程, 与业务目标和操作过程没有明确的联系. 如果对于失败的数据湖的策略是将其从Hadoop中固定地转移到对象存储中, 然后,你将会有更多的数百万美元被冲走——更不用说与多浪费几年相关的机会成本了. 不幸的是, 从我的个人经验来看,这绝对是几家大公司的计划,它们确实应该做得更好.
 
失败的数据湖通常是糟糕的技术选择和数据管理和集成方法不充分的有毒组合. 如果您认为数据管理以ACID(原子性)开始和结束, 一致性, 隔离, 持久性)遵从性——至少有一个很酷的供应商经常给我发邮件——然后选择任何你喜欢的技术平台, 只要你动作快. 如果你无论如何都要失败,那就赶紧失败吧. 
 
更好的是, 开发包含分层数据架构的数据策略, 数据集成的最小可行产品方法(cq9传奇电子官方网站 - 百度百科称之为“轻集成”)——以及敏捷, 以增量的方式更健壮地集成最重要的数据. 这使您有机会优化端到端业务流程并交付真正的业务价值.
 
大部分的建筑群, 今天在基于hadoop的数据湖中不受喜爱和查询的多结构数据最终将驻留在对象存储中. 在Teradata,cq9传奇电子官方网站 - 百度百科认识到了这一点——因此cq9传奇电子官方网站 - 百度百科专注于启用健壮 对对象存储的访问. 但是您的大部分结构化和半结构化交互数据属于您现有的数据和分析平台, 它们可以与您已经管理的交易数据无缝集成. 不要只相信我的话,问问分析师.
很多结构化和半结构化交互数据都属于现有的数据和分析平台, 它们可以与您已经管理的交易数据无缝集成.
并不是所有的数据湖都是数据沼泽——就像所有的技术一样,Hadoop栈也有一个甜蜜点. 但如今,历史潮流正与伪装成集成数据存储的数据竖井背道而驰, 因为它们位于同一个硬件集群上. 同样的潮流也在反对分布式文件系统和伪装成成熟的分析型DBMS的最小公分母SQL引擎. 
 
如果你在Hadoop上加倍投资,你就是在逆潮流而动. 如果你把赌注押在一种时尚但未经验证的技术上,它能帮你摆脱数据管理的困境, 那么你就没有从最近的历史中吸取教训——你是在迫使自己重蹈覆辙. 但如果你准备好向前看, 和cq9传奇电子官方网站 - 百度百科谈谈业界领先的综合数据和分析平台, Teradata有利.
主题:

关于马丁Willcox

Martin领导cq9传奇电子官方网站 - 百度百科EMEA技术售前功能和组织,并共同负责推动Teradata解决方案和服务在整个欧洲的销售和消费, 中东和非洲. 在接受目前的任命之前, Martin负责cq9传奇电子官方网站 - 百度百科全球数据基金会实践,并领导cq9传奇电子官方网站 - 百度百科交付方法和相关工具集的现代化工作. 在这个位置, Martin还领导了cq9传奇电子官方网站 - 百度百科国际实践组织,并负责支持由Teradata consulting提供的全套咨询业务的交付——从数据集成和管理到数据科学, 通过商业智能, 认知设计与软件开发“,.

马丁此前负责领导cq9传奇电子官方网站 - 百度百科大数据卓越中心——一个数据科学家团队, 负责支持Field团队,使Teradata客户能够从他们的Analytic数据资产中实现价值的技术人员和架构顾问. 在这个职位上,马丁还负责与潜在客户沟通, Teradata大数据战略之外的分析师和媒体组织. 在他任职期间, 马丁被列为2016年dataIQ“大数据100人”,是英国数据驱动行业最具影响力的人物之一. 他的Strata (UK) 2016主题演讲可以在以下网站找到: www.oreilly.com/ideas/the-internet-of-things-its-the-sensor-data-stupid; a selection of his Teradata Voice Forbes blogs can be found online 在这里; and more recently, 马丁与人合作撰写了一系列关于数据科学和机器学习的博客, 例如, 发现、真理和效用:定义“数据科学”.

马丁拥有物理学(荣誉)理学士学位 & 在谢菲尔德大学获得天文学学位,在开放大学获得工商计算研究生证书. 他已婚,有三个孩子,是一名单人滑翔机飞行员, 他是谢菲尔德星期三足球俱乐部的支持者, 非常业余的摄影师,甚至更业余的吉他手.

浏览所有帖子 马丁Willcox

保持知情

订阅cq9传奇电子官方网站 - 百度百科博客,获取每周为您提供的见解



我同意Teradata公司, 作为本网站的提供者, 是否可以偶尔给我发送Teradata营销通信电子邮件,提供有关产品的信息, 数据分析, 以及活动和网络研讨会邀请函. 我明白我可以在任何时候通过我收到的任何电子邮件底部的退订链接退订.

你的隐私很重要. 您的个人信息将按照 Teradata全球隐私政策.

更多信息请参见Teradata