中华网数码

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:滚动新闻>

火山引擎ByteHouse:如何设计OLAP引擎的资源隔离能力?

火山引擎ByteHouse:如何设计OLAP引擎的资源隔离能力?
2023-10-20 15:10:46 来源:中国创投网

随着技术的发展和数据库部署规模的持续扩大,资源隔离的应用场景在数据仓库中变得越来越重要。如果数据量过大,ClickHouse无法灵活控制并发,将导致查询迅速占满集群资源,造成报错。同时,由于无法给特定业务预留CPU资源,后续查询的执行时间也会大幅增加。这些问题不仅影响了业务的稳定性,也限制了查询的效率。

ByteHouse是火山引擎推出的云原生数据仓库,以开源的ClickHouse为基础,经过字节跳动内部多年的优化和完善,提供了更丰富的功能和更强的性能,主要为用户带来极速的分析体验。

据了解,在字节跳动内部也存在数据量过大,ClickHouse无法满足资源隔离需求的问题。为了解决这一问题,火山引擎ByteHouse推出了Resource Group资源管理组件。

Resource Group资源管理组件的基本思路是将并发、内存、CPU等资源拆分给不同的资源组,通过资源组之间的关系调度共享资源能力。例如,当用户将查询提交给引擎时,依据规则评估是否能执行该查询,如果可以,查询将被直接执行;否则,查询将进入该资源组的等待队列,等待资源释放。

这种方式存在以下优势:首先,通过将并发、内存、CPU等资源拆分给不同的资源组,可以更加灵活地控制资源的分配,从而避免查询迅速占满集群资源的问题。其次,通过资源组的父子关系,可以实现不同资源组之间的资源共享,提高资源的利用率。

应用前:

应用后:

通过灵活的资源分配策略和高效的资源利用方式,ByteHouse的Resource Group能力可以提高查询的稳定性和效率,为用户提供更好的使用体验。

据介绍,上线前,用户每天的查询平均耗时在2.3s到14.1s之间,抖动剧烈,用户体验较差。而上线后,每天的查询平均耗时则在0.4s到1.7s之间,较好的保证了优先业务的查询资源,并且显著缩短了平均查询返回时间。


责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022-11-14 11:53:20个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022年全球折叠手机总销量将首度超过千万部大关

2022-02-09 11:40:212022年全球折叠手机总销量将首度超过千万部大关

印度市场智能手机出货量出炉:vivo占比排名第三

2022-02-08 11:19:13印度市场智能手机出货量出炉:vivo占比排名第三

平板电脑进入新的竞争阶段 重新夺回市场主导权

2022-02-07 16:52:08平板电脑进入新的竞争阶段 重新夺回市场主导权

2021年四季度中国手机市场苹果占有率位居第一

2022-01-27 13:33:342021年四季度中国手机市场苹果占有率位居第一

预测2022年中国市场智能机销量达3.4亿部 同比增长8%

2022-01-26 14:57:26预测2022年中国市场智能机销量达3.4亿部 同比增长8%

相关新闻