网易开源分布式存储系统 Curve :性能是 Ceph 的 1.84 倍

互联网
2020
07/20
15:46
IT之家
分享

  近期,网易公司旗下云服务商网易数帆宣布开源一款名为Curve 的高性能分布式存储系统,官方称其性能可达 Ceph 的 1.84 倍。

  据官方介绍,Curve 的定位是提供一个高性能、低延迟的存储底座,基于这个存储底座,企业可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。目前,网易数帆已经实现了高性能块存储系统。根据项目文档介绍,Curve 主要具有三大特性:高性能、高可用和自治。

  高性能:Curve 团队参考了业界一些高效的开源存储系统,设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟,基于braft 实现多副本一致性下的低延迟,并对 braft 的快照实现进行了进一步的优化。磁盘 IO 方面,Curve 通过更细粒度的地址空间的 hash 减少 IO 碰撞,增加 IO 并发度,并采用 chunkfilepool 减小 IO 放大倍数,从而最大限度地发挥硬件的性能。

  网易公布了 Curve 和 Ceph L 版本的测试数据对比,在单卷的场景下,核心的 4K 随机读/写的IOPS 性能,Curve 分别是 Ceph 的 1.84 倍和 1.58 倍,同时延迟相比 Ceph 分别降低 48.39%和 37.50%。

  高可用:Curve 被设计为核心组件都能容忍部分实例失败而不影响整个集群的可用性。网易介绍,无论是单台存储故障,还是系统扩容,Curve 的客户端 IO 都不会受到影响,插拔硬盘、服务进程中断这些常见异常,IO 抖动也很小。当然,故障恢复过程对上层 IO 也不会造成明显影响。

  自治:Curve 可实现一键部署、一键升级,运维只要很少的人工干预,并基于 bvar、Promethues 和 Grafana等开源项目打造了全面的度量标准和告警体系。

  目前,基于 Curve 的高性能块存储系统已经应用在网易的一些核心业务中,支持快照克隆和恢复, 支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式。网易介绍,系统上线至今 400 多天,尚未出现数据不一致和丢数据的情况,也没有发生过重大故障,具备相当的可靠性和成熟度。

  网易透露,Curve 目前还有一些创新的性能优化工作尚未完成,如细粒度哈希、io_uring 落盘方案,项目团队下一阶段的主要任务就是解决这些问题,预计完成优化之后下个版本还会有 30% 的性能提升。

  鉴于目前开源领域还没有足够高性能和低延迟的分布式存储系统,网易数帆方面表示希望把 Curve 开源出来,回馈社区,让业界一起来使用它,也希望大家一起参与把 Curve 打造得越来越好。

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表一点科技的观点和立场。
为你推荐
猜你喜欢

中小企业自媒体获客难?拓氪科技全链路 AI 方案能解决吗?

自媒体已成为企业品牌曝光、线索获客的核心阵地,但绝大多数中小企业与内容运营团队长期深陷低效困境:创作灵感枯竭、文案排版耗时严重、成品内容需要反复修改,才能适配抖音、小红书、视频号、百家号等不同平台的内

企业 科技 AI

3周前

2026 海外 GEO 优化选哪家?朝闻通语义资产化优势在哪?

2026年,全球商业获客逻辑迎来根本性颠覆,传统搜索引擎流量模式全面失效。依据《2026年Q2全球数字营销白皮书》数据,68%以上的终端消费决策不再依赖人工关键词搜索,而是由AI智能体(AIAgent

3周前

AI 搜索时代媒体发稿怎么选?传播易靠什么打造优质 AI 可信信源?

核心结论:2026年,人工智能全面重构全网信息分发逻辑与大众品牌认知路径,企业媒体发稿的核心价值彻底迭代升级,告别了传统“单纯发稿、广泛曝光”的浅层模式,转变为AI搜索、智能问答场景下的权威信源搭建与

AI 传播易

3周前

传播易app 2026广告投放精细化营销媒介采购工具

步入2026年,国内企业广告营销行业迈入精细化管控、高性价比优先的全新发展阶段。随着营销预算收紧、投放合规要求升级,企业负责人、市场运营从业者不再盲目追求流量规模,转而重点寻觅定价透明、交易安全、性价

传播易

4周前

软文发稿平台太多不知道怎么选,哪些标准可以避坑?一套系统化的平台甄选方法

2026年国内软文营销赛道服务商总量已突破2000家,行业准入门槛较低导致市场服务商资质参差不齐,虚假媒体站点、隐性加价收费、投放效果无数据溯源、售后保障缺失等行业乱象层出不穷。当下企业开展品牌宣传,

1个月前

命名A7 吉利银河全新家轿官图发布:综合续航超2100公里

6月3日消息,刚刚,吉利银河旗下全新B级轿车A7官图发布,该车号称“全球家轿新标杆”。很显然,A7的定位介于银河L6以及星耀8之间,不得不说,吉利这命名确实乱得可以,即便是同为轿车,也要有三种不同的方

吉利 吉利银河

2025-06-03