Longhorn Manager 微服务架构:重新定义大规模 Kubernetes 存储

GitHub March 2026
⭐ 203
来源:GitHub归档:March 2026
作为 CNCF 孵化项目 Longhorn 的核心控制平面,Longhorn Manager 正在 Kubernetes 持久化存储编排领域展现出前所未有的可扩展性。它将每个存储卷视为独立的微服务,为有状态工作负载提供了彻底简化的运维模型,对传统分布式存储范式构成了直接挑战。

Longhorn Manager 代表了对持久化块存储应如何集成到 Kubernetes 环境中的根本性重新思考。与那些管理容量池的单一存储系统不同,Longhorn Manager 为每一个卷实例化一个专用的控制器和副本实例,从而为存储构建了真正的微服务架构。这一设计完全基于 Kubernetes 自定义资源定义(CRD)和 Operator,提供了精细的生命周期管理、通过同步复制实现的高可用性,以及增量快照、跨集群备份等企业级功能。

该系统的核心价值在于其运维的简洁性。通过将 Kubernetes 作为其底层平台,它消除了对独立存储管理技能的需求,使平台团队能够使用与部署应用相同的声明式 API 和工具来管理存储。这种“Kubernetes 原生”理念将存储从复杂的基础设施层转变为可编程的、与应用同生命周期的资源。

在架构层面,Longhorn Manager 将每个卷的控制器和副本作为标准的 Kubernetes Pod 运行,利用调度器实现最佳放置,并依赖 Kubernetes 的原生网络和服务发现。这种设计不仅实现了极致的弹性——任何组件故障都能被自动检测和恢复——还确保了存储服务能够与 Kubernetes 集群本身同步扩展。对于正在将关键数据库和中间件容器化的企业而言,Longhorn 提供了一条无需引入沉重外部存储系统的清晰路径。

技术深度解析

Longhorn Manager 的核心是一组协调自定义资源(主要是 `Volume` 和 `Node` CRD)状态的 Kubernetes 控制器。当用户创建持久卷声明(PVC)时,Longhorn CSI 驱动程序会触发管理器,管理器随后编排一个卷微服务的创建。这个微服务包含一个控制器 Pod(管理前端 iSCSI 块设备并处理 I/O)和分布在各个工作节点上的副本 Pod(存储实际数据)。

其复制协议是一项关键创新。它对所有写入操作采用日志结构、写时复制的方法。当写入请求到达控制器时,它会被分配一个序列号并转发给所有副本。每个副本将数据写入其本地磁盘(通常是挂载的块设备或分区),并在写入持久化后才进行确认。这种同步复制确保了强一致性,并构成了崩溃一致性快照的基础。快照仅仅是写入日志中的一个标记;后续的写入会进入新的段,从而实现节省空间的增量快照,而无需导致性能下降的复制操作。

`longhorn-manager` GitHub 仓库(主项目 `longhorn/longhorn` 的一部分)包含了整个控制平面的逻辑。最近的提交显示,开发重点集中在规模化下的稳定性、改进的灾难恢复工作流,以及与更广泛的 Kubernetes 生态系统工具(如用于备份的 Velero)的集成。该架构的弹性通过持续的故障注入进行测试:系统被设计为能够检测故障的副本实例,在健康节点上自动重建数据,并在活动控制器实例故障时提升新的控制器实例。

其性能特征有详细记录。Longhorn 在具有低延迟网络(例如数据中心内部)以及工作节点上使用直连存储或快速云卷的环境中运行最佳。其吞吐量受网络复制开销和用户空间处理的限制。

| 存储解决方案 | 架构 | 一致性模型 | 快照效率 | 典型读取延迟(4k 随机) | 典型写入延迟(4k 随机) |
|---|---|---|---|---|---|
| Longhorn | 每卷微服务,用户空间 | 强一致性(同步复制) | 高(增量,CoW) | 2-5 毫秒 | 3-8 毫秒(取决于副本数量) |
| Ceph RBD | 单一集群,内核 | 强一致性/最终一致性 | 中等(取决于存储池) | 1-3 毫秒 | 1-4 毫秒 |
| OpenEBS (cStor) | 容器化,用户空间 | 强一致性 | 高(增量) | 3-7 毫秒 | 4-10 毫秒 |
| AWS EBS | 云托管,内核 | 强一致性 | 高 | 0.5-2 毫秒 | 1-3 毫秒 |

数据要点: 上表揭示了 Longhorn 的主要权衡:与 Ceph 相比,它牺牲了部分原始延迟(由于用户空间处理和网络跳转),换来了显著优越的运维简洁性和 Kubernetes 原生集成度。其性能与其他容器原生解决方案(如 OpenEBS)具有竞争力,将其定位在“易于管理”层级,而非“极致性能”层级。

关键参与者与案例研究

Longhorn 的开发由蒋清野(Sheng Liang)和 Rancher Labs(于 2020 年被 SUSE 收购)的团队发起。他们的愿景是解决 Rancher Kubernetes 平台用户的持久化存储问题。该项目于 2020 年捐赠给云原生计算基金会(CNCF)并进入孵化状态,标志着其日益成熟和社区采用。SUSE 现在将 Longhorn 作为其 Rancher Prime 订阅的核心组件提供,提供企业级支持和加固构建。

一个值得注意的案例是一家中型金融科技公司,将其本地部署的 MySQL 和 Redis 实例迁移到混合云 Kubernetes 平台。他们评估了 Ceph Rook,但发现其运维复杂性和资源需求对于他们的小型平台团队而言过高。通过部署 Longhorn,他们能够通过标准 PVC 为开发人员提供自助服务的持久卷,并通过三副本复制为关键数据库实现了零恢复点目标(RPO)。内置的到 S3 兼容对象存储的备份功能满足了他们的灾难恢复需求,而无需额外工具。

该领域的竞争十分激烈。红帽 OpenShift 数据基金会(基于 Ceph 和 NooBaa)面向全栈企业 OpenShift 平台。VMware Tanzu Kubernetes Grid Integrated Edition 提供 vSphere 存储集成。Pure Storage 的 Portworx(现属 Pure)专注于为大型企业提供数据服务(加密、备份、多云移动性),但成本和复杂性更高。

| 产品/项目 | 主要支持者 | 许可模式 | 关键差异化优势 | 理想使用场景 |
|---|---|---|---|---|
| Longhorn | CNCF 社区 / SUSE | 开源(Apache 2.0) | 极致的 Kubernetes 原生简洁性,每卷微服务 | 需要为标准有状态应用提供简单、可靠存储的 Kubernetes 团队 |
| Portworx (Pure Storage) | Pure Storage | 商业许可(提供免费版) | 企业级数据服务,多云数据移动性 | 拥有大型、复杂数据工作负载且需要高级功能的企业 |
| OpenEBS | CNCF 社区 / MayaData | 开源(Apache 2.0) | 多引擎选择(cStor, Jiva, LocalPV),灵活的部署模式 | 寻求存储引擎灵活性和深度 Kubernetes 集成的团队 |
| Ceph Rook | CNCF 毕业项目 / Red Hat | 开源(LGPL) | 成熟、功能全面的统一存储(块/文件/对象) | 需要大规模、统一存储且拥有专业运维团队的组织 |

行业影响: Longhorn 的成功凸显了云原生存储领域一个明确的趋势:“Kubernetes 原生”体验正成为比原始性能更重要的采用驱动力。对于大多数正在经历云原生转型的企业而言,降低运维复杂性和技能门槛是首要任务。Longhorn 通过将存储完全“容器化”,并将其生命周期管理与应用部署流程对齐,完美地满足了这一需求。

尽管在绝对延迟上可能无法与云提供商托管的高性能块存储或经过深度调优的 Ceph 集群相媲美,但 Longhorn 在延迟、功能与运维成本之间取得了出色的平衡。它使得中小型团队甚至个人开发者都能轻松部署和管理具备企业级高可用和数据保护特性的存储,这无疑降低了有状态应用容器化的门槛,推动了 Kubernetes 向更广泛的关键业务负载领域的渗透。

展望未来,随着 Kubernetes 成为混合云和多云事实上的标准,像 Longhorn 这样深度集成、声明式管理的存储解决方案的价值只会与日俱增。其发展路线图,包括对快照和备份功能的持续增强、与更多生态系统工具的集成,以及对性能的持续优化,都预示着它将在云原生存储生态中占据一个稳固且不断增长的位置。

更多来自 GitHub

Polymarket数据工具解锁预测市场智能去中心化预测市场的兴起创造了丰富的实时概率数据,但许多开发者仍然难以获取这些信息。一款新的开源工具通过标准化Polymarket数据流的检索和处理来解决这一问题。该工具将条件代币框架和链上事件日志的复杂性抽象为适合立即应用的结构化JSON格安全审计自动化新范式:Trail of Bits 开源 Claude Skills 项目深度解析安全行业长期面临一个顽固瓶颈:能够驾驭复杂代码库并识别关键漏洞的熟练审计员严重短缺。Trail of Bits 通过发布一个旨在增强 AI 驱动安全工作流的开源仓库,直接应对了这一挑战。该项目利用专为安全研究优化的大型语言模型,自动化常规审AI 智能体通过有状态 Playwright 沙盒掌控浏览器能够自主导航网络的 AI 智能体的涌现,代表了软件交互领域的一个关键转变,标志着我们从简单的聊天界面走向了可执行的数字劳动时代。remorses/playwriter 正处于这一转型的最前沿,它在大型语言模型与浏览器环境之间提供了一座稳健的查看来源专题页GitHub 已收录 2298 篇文章

时间归档

March 20262347 篇已发布文章

延伸阅读

容器引擎的无声革命:Containerd如何成为全球容器化浪潮的基石在Docker炫目的界面与Kubernetes复杂的编排系统之下,Containerd如同一个沉默的工业级引擎。作为两大平台的默认容器运行时,这个已从云原生计算基金会(CNCF)毕业的项目,正默默支撑着全球数十亿容器的生命周期。它的稳定与性MinIO Operator:以生产就绪的自动化重塑Kubernetes存储管理MinIO Operator标志着云原生存储的关键演进,它将专家级运维知识直接编码进Kubernetes。通过将复杂的分布式对象存储视为声明式API资源,它极大降低了在Kubernetes集群内运行生产级S3兼容存储的门槛,这正是现代AI工MinIO的对象存储革命:开源如何重塑云数据基础设施MinIO已成为专有云对象存储领域公认的开源挑战者,以极低成本提供S3兼容的高性能服务。其纯Go架构与云原生设计正在重塑企业构建私有云和AI数据流水线的方式。本文深度剖析MinIO究竟是可持续的替代方案,还是演进过程中的临时桥梁。Harbor崛起为企业级容器镜像仓库标准:安全、复杂性与云原生演进Harbor已成为云原生生态中安全私有容器镜像管理的事实企业标准。作为拥有超过28,000个GitHub星标的CNCF毕业项目,它通过集成的漏洞扫描、内容签名和强大的访问控制,填补了软件供应链安全的关键空白。其广泛采用标志着行业正从单纯的镜

常见问题

GitHub 热点“Longhorn Manager's Microservice Architecture Redefines Kubernetes Storage at Scale”主要讲了什么?

Longhorn Manager represents a fundamental rethinking of how persistent block storage should be integrated into Kubernetes environments. Unlike monolithic storage systems that manag…

这个 GitHub 项目在“Longhorn vs Ceph Rook performance benchmark 2024”上为什么会引发关注?

At its core, Longhorn Manager is a collection of Kubernetes controllers that reconcile the state of custom resources, primarily the Volume and Node CRDs. When a user creates a PersistentVolumeClaim (PVC), the Longhorn CS…

从“How to backup Longhorn volumes to S3 step by step”看,这个 GitHub 项目的热度表现如何?

当前相关 GitHub 项目总星标约为 203,近一日增长约为 0,这说明它在开源社区具有较强讨论度和扩散能力。