客服中心:4001-100-888

业内首次融合数据仓库与数据湖阿里云推出下一
发布时间:2020-09-22

  出处题目:业内初次调和数据货仓与数据湖 阿里云推出下一代大数据平台“湖仓一体”

  9月18日,2020云栖大会上,阿里云正式推出大数据平台的下一代架构“湖仓一体”,打通数据货仓和数据湖两套编制,让数据和筹划正在湖与仓之间自正在滚动,从而构修一个完备的有机的大数据本领生态编制。为企业供应兼具数据湖的圆活性和数据货仓的发展性的新一代大数据平台,低重企业构修大数据平台的团体本钱。

  大数据本领从本世纪初发达至今演进出了数据货仓和数据湖两种趋向,前者一样指云厂商供应的基于大数据本领的一体化办事,后者一样是由一系列云产物或开源组件合伙组成的大数据处理计划。

  当企业处正在草创阶段,圆活性就出格厉重,数据湖的架构更合用。当企业渐渐成熟,发展性成为最合节身分,数据货仓的架构就再适合可是了。那么,数据货仓和数据湖是否只可是一道单选题?能否有一种计划同时统筹数据湖的圆活性和云数据货仓的发展性?

  阿里巴巴集团副总裁、阿里云筹划平台控制人贾扬清显示,MaxCompute湖仓一体计划冲破了数据湖与数据货仓破裂的编制,正在架构大将数据湖的圆活性、生态充足与数据货仓的企业级材干举行调和,从而构修数据湖和数据货仓调和的湖仓一体的全新筹划平台。MaxCompute湖仓一体计划不只可遍及用于援手超大界限的呆板进修和深度进修,还能助助企业高效擢升自己大数据材干,告竣乖巧运营,降本增效。

  据悉,MaxCompute正在原有的数据货仓架构上,调和了存储筹划一体化数据货仓和云上存储筹划别离的数据湖,最终告竣了湖仓一体化的团体架构。正在该架构中,只管底层众套存储编制并存,但通过同一的存储拜候层和同一的元数据处理,向上层引擎供应一体的封装接口,用户能够Join数据货仓和数据湖中的两张外,同时团体架构还具备同一的数据安宁、处理妥协决等中台材干。

  正在本领调和进程中,MaxCompute不只告竣了迅疾接入、同一数据/元数据处理、同一斥地体验、主动数仓四个合节本领点,更络续擢升了主旨本能,正在2020 TPCx-BigBench中,MaxCompute基于英特尔至强可扩展执掌器正在100TB界限维系本能稳固的境况下,本钱较旧年低落了40%;30TB界限下,本能擢升50%以上,本钱低落了30%以上。

  微博是“湖仓一体”的尝鲜者。此前微博具有Hadoop数据湖和阿里云大数据及AI两套异构的大数据平台,且两套平台正在集群层面完整破裂,数据和筹划无法自正在滚动。为清楚决这些困难,微博基于阿里云构修了湖仓一体化的AI筹划中台,开脱了深重的数据乔迁,使得微博的数据工程师和算法工程师轻松无缝的借助阿里巴巴成熟的超大界限算力和算法赋能生意提效。同时,将MaxCompute云数据货仓(布局化数据)与数据湖(非布局化数据)组成闭环,极大擢升了AI类功课功效,发生庞大的生意价格。

  阿里云自研云数据货仓MaxCompute历经近10年本领重淀,不只安静维持阿里巴巴集团的数据存储和数据筹划生意,更是云上客户大数据平台的厉重构成局限。此次湖仓一体宣布,为企业供应了一种更圆活更高效更经济的数据平台处理计划,既合用于全新构修大数据平台的企业,也适合已有大数据平台的企业举行架构升级,真实以本领加快了企业的数字化重构。

  据清楚,本次云栖大会上,贾扬清还初次宣布阿里这样原生数据湖编制,基于对象存储OSS、数据湖构修Data Lake Formation和云原生开源大数据产物E-MapReduce的强强组合,供应存储与筹划别离架构下,涵盖湖存储、湖加快、湖处理和湖筹划的企业级数据湖处理计划。以及宣告MaxCompute和Hologres产物调和升级,供应离线、及时、阐发、办事一体的数据货仓。

  9月18日,2020云栖大会上,阿里云正式推出大数据平台的下一代架构“湖仓一体”,打通数据货仓和数据湖两套编制,让数据和筹划正在湖与仓之间自正在滚动,从而构修一个完备的有机的大数据本领生态编制。为企业供应兼具数据湖的圆活性和数据货仓的发展性的新一代大数据平台,低重企业构修大数据平台的团体本钱。

  大数据本领从本世纪初发达至今演进出了数据货仓和数据湖两种趋向,前者一样指云厂商供应的基于大数据本领的一体化办事,后者一样是由一系列云产物或开源组件合伙组成的大数据处理计划。

  当企业处正在草创阶段,圆活性就出格厉重,数据湖的架构更合用。当企业渐渐成熟,发展性成为最合节身分,数据货仓的架构就再适合可是了。那么,数据货仓和数据湖是否只可是一道单选题?能否有一种计划同时统筹数据湖的圆活性和云数据货仓的发展性?

  阿里巴巴集团副总裁、阿里云筹划平台控制人贾扬清显示,MaxCompute湖仓一体计划冲破了数据湖与数据货仓破裂的编制,正在架构大将数据湖的圆活性、生态充足与数据货仓的企业级材干举行调和,从而构修数据湖和数据货仓调和的湖仓一体的全新筹划平台。MaxCompute湖仓一体计划不只可遍及用于援手超大界限的呆板进修和深度进修,还能助助企业高效擢升自己大数据材干,告竣乖巧运营,降本增效。

  据悉,MaxCompute正在原有的数据货仓架构上,调和了存储筹划一体化数据货仓和云上存储筹划别离的数据湖,最终告竣了湖仓一体化的团体架构。正在该架构中,只管底层众套存储编制并存,但通过同一的存储拜候层和同一的元数据处理,向上层引擎供应一体的封装接口,用户能够Join数据货仓和数据湖中的两张外,同时团体架构还具备同一的数据安宁、处理妥协决等中台材干。

  正在本领调和进程中,MaxCompute不只告竣了迅疾接入、同一数据/元数据处理、同一斥地体验、主动数仓四个合节本领点,更络续擢升了主旨本能,正在2020 TPCx-BigBench中,MaxCompute基于英特尔至强可扩展执掌器正在100TB界限维系本能稳固的境况下,本钱较旧年低落了40%;30TB界限下,本能擢升50%以上,本钱低落了30%以上。

  微博是“湖仓一体”的尝鲜者。此前微博具有Hadoop数据湖和阿里云大数据及AI两套异构的大数据平台,且两套平台正在集群层面完整破裂,数据和筹划无法自正在滚动。为清楚决这些困难,微博基于阿里云构修了湖仓一体化的AI筹划中台,开脱了深重的数据乔迁,使得微博的数据工程师和算法工程师轻松无缝的借助阿里巴巴成熟的超大界限算力和算法赋能生意提效。同时,将MaxCompute云数据货仓(布局化数据)与数据湖(非布局化数据)组成闭环,极大擢升了AI类功课功效,发生庞大的生意价格。

  阿里云自研云数据货仓MaxCompute历经近10年本领重淀,不只安静维持阿里巴巴集团的数据存储和数据筹划生意,更是云上客户大数据平台的厉重构成局限。此次湖仓一体宣布,为企业供应了一种更圆活更高效更经济的数据平台处理计划,既合用于全新构修大数据平台的企业,也适合已有大数据平台的企业举行架构升级,真实以本领加快了企业的数字化重构。

  据清楚,本次云栖大会上,贾扬清还初次宣布阿里这样原生数据湖编制,基于对象存储OSS、数据湖构修Data Lake Formation和云原生开源大数据产物E-MapReduce的强强组合,供应存储与筹划别离架构下,涵盖湖存储、湖加快、湖处理和湖筹划的企业级数据湖处理计划。以及宣告MaxCompute和Hologres产物调和升级,供应离线、及时、阐发、办事一体的数据货仓。

Copyright © 2002-2019 bj-jld.com 国家正规彩票app下载 版权所有  网站地图