许多数据湖之所以失败,是因为它们是it主导的虚荣心项目, 与业务目标和操作过程没有明确的联系.

The 数据湖 is Dead; Long Live the 数据湖!

马丁Willcox
马丁Willcox
2019年6月13日 3分钟阅读
你可能已经知道,一些领先的分析公司一直在报告85%的数据湖失败率.
 
你可能没有意识到,这些领先的分析公司之一现在也在预测这一点, by 2020, 30%的数据湖将建立在标准的关系型DBMS(数据库管理系统)技术上,“成本与Hadoop相同或更低”,因为——我引用——“应用程序性能优越”和“进入数据湖的大多数数据是关系型的”.”
 
把这两件事放在一起,你就会开始明白为什么MapR最近陷入了困境. 以及为什么克劳德拉面临如此大的财务压力.
 
许多组织已经在数据湖上投入了数千万甚至数亿美元,但这些数据湖提供的商业价值很少或根本没有, 科技行业已经不是进行残酷的自我评估的时候了.
 
许多数据湖之所以失败,是因为它们是it主导的虚荣心项目, 与业务目标和操作过程没有明确的联系. 如果您的失败的数据湖的策略是将其从Hadoop锁定并转移到对象存储中, 然后,你将会从锅里冲掉更多的数百万美元——更不用说再浪费几年的机会成本了. 不幸的是, 我从个人经验中知道,这绝对是几个大型机构的计划,它们真的应该知道得更好.
 
失败的数据湖通常代表着糟糕的技术选择和数据管理和集成方法的不良组合. 如果您认为数据管理开始和结束于ACID(原子性, 一致性, 隔离, 持久性)兼容性——至少有一个很酷的儿童供应商经常给我发邮件,似乎是这样的——然后选择任何你喜欢的技术平台, 只要你做得快. 如果你无论如何都会失败,你最好还是快速失败. 
 
更好的是, 开发包含分层数据架构的数据策略, 数据集成的最小可行产品方法(十大电子游艺平台首选称之为“轻集成”)和敏捷, 以增量方式对最重要的数据进行更健壮的集成. 这为优化端到端业务流程和交付真正的业务价值提供了有力的机会.
 
大部分的综合体, 今天在基于hadoop的数据湖中不受喜爱和查询的多结构数据最终将存储在对象存储中. 在Teradata,十大电子游艺平台首选认识到这一点——因此十大电子游艺平台首选专注于实现健壮 访问对象存储. 但是大部分结构化和半结构化的交互数据属于现有的数据和分析平台, 在哪里它们可以与您已经管理的事务数据无缝集成. 不要只相信我的话,问问分析师吧.
大部分结构化和半结构化的交互数据都属于现有的数据和分析平台, 在哪里它们可以与您已经管理的事务数据无缝集成.
并不是每个数据湖都是数据沼泽——和所有技术一样,Hadoop堆栈有一个最佳的点. 但是,历史的潮流现在正与伪装成集成数据存储的数据竖井相抗衡, 这是因为它们位于同一个硬件集群上. 同样的潮流正在与分布式文件系统和伪装成成熟的分析型DBMS的最小公分母SQL引擎相抗衡. 
 
如果您在Hadoop上加倍投资,那么您就是在逆潮流而行. 如果你正押注于一种时尚但未经证实的技术,让你摆脱数据管理的困境, 那么你不是在从近代史中学习——你是在谴责自己重蹈覆辙. 但如果你已经准备好向前看, 和十大电子游艺平台首选谈谈业内领先的综合数据和分析平台, Teradata有利.
主题:

关于马丁Willcox

Martin领导十大电子游艺网站EMEA技术售前功能和组织,并共同负责推动Teradata解决方案和服务在整个欧洲的销售和消费, 中东和非洲. 在接受目前的任命之前, Martin负责Teradata全球数据基金会的业务,并领导了Teradata交付方法和相关工具集的现代化工作. 在这个位置, 马丁还领导了十大电子游艺网站国际实践组织,并负责支持Teradata咨询公司提供的从数据集成和管理到数据科学的全套咨询服务的交付, 通过商业智能, 认知设计与软件开发.

马丁曾负责领导十大电子游艺网站卓越大数据中心——一个由数据科学家组成的团队, 技术人员和架构顾问负责支持现场团队,使Teradata客户能够从他们的Analytic数据资产中实现价值. 在这个职位上,马丁还负责向潜在客户表达意见, Teradata大数据战略之外的美国分析师和媒体机构. 在他任职期间, 马丁在2016年被dataIQ评为“大数据100人”,是英国数据驱动行业最具影响力的人物之一. 他的Strata(英国)2016年主题演讲可以在以下网站找到: www.oreilly.com/ideas/the-internet-of-things-its-the-sensor-data-stupid; a selection of his Teradata Voice Forbes blogs can be found online 在这里; and more recently, 马丁是一系列关于数据科学和机器学习的博客作者之一, 例如, 发现、真理和效用:定义“数据科学”.

马丁拥有物理学(荣誉)理学士学位 & 谢菲尔德大学的天文学和开放大学的商业和工业计算研究生证书. 他已婚,有三个孩子,是一名单人滑翔机飞行员, 谢菲尔德星期三足球俱乐部的支持者, 非常业余的摄影师,更是业余的吉他手.

通过以下方式查看所有帖子 马丁Willcox

保持了解

订阅十大电子游艺网站博客,以获得每周的见解



我同意Teradata公司, 作为本网站的供应商, 可能会偶尔向我发送关于产品的Teradata营销通信邮件, 数据分析, 还有活动和网络会议邀请. 我明白,我可以在任何时候通过跟踪我收到的任何电子邮件底部的取消订阅链接来取消订阅.

你的隐私很重要. 您的个人信息将根据本条例收集、存储和处理 Teradata全球隐私政策.

详见Teradata