在本文中,我们将向您介绍四个有用的开放源代码对象存储平台,这些平台包含健壮的功能,并在 2021 年成为巨大的投资。
作者:闻数起舞来源:今日头条|2021-02-28 09:46
当处理大量非结构化数据时,我们需要一个存储它的地方。我们选择存储数据的方式有很多,但我们今天将重点关注的是对象存储或基于对象的存储。当处理大量数据时,这是最佳选择,尤其是因为它并不昂贵,并且使管理数据变得更加容易。
如果您不熟悉它,对象存储是一种数据存储体系结构,它使您可以在可伸缩的对象结构中存储大量非结构化数据。它使存储的数据作为具有元数据和唯一标识符的对象,从而更易于访问该数据。现在,有许多平台提供对象存储功能。
因此,在本文中,我们将向您介绍四个有用的开放源代码对象存储平台,这些平台包含健壮的功能,并在 2021 年成为巨大的投资。
1. LakeFS
ScreenShot from LakeFS.
LakeFS 是一个开源数据环境工具,可让您管理基于对象存储的数据湖。这些数据湖是存储库,您可以在其中转储所有结构化和非结构化数据类型。LakeFS 还集成了许多工具,并支持 Amazon S3 和 Google Cloud Storage。此外,它可与所有主要数据框架一起使用,例如 Hive,Spark,Presto,AWS Athena 等。
借助 LakeFS,您可以扩展 PB 级数据,还可以通过其类似 Git 的分支和版本控制方法来添加数据,这使您可以在不破坏数据的情况下添加更新。这种类似于 Git 的方法还有助于轻松撤消数据更改,这使得处理数据变得更加轻松和安全。
您还可以通过查看 LakeFS 文档来了解其他特性。
2. Ceph
ScreenShot from Ceph.
Ceph 是对象存储,块存储和文件系统开源平台。它提供了与 Amazon 的 S3 REST API 和 OpenStack 的 API Swift 完全兼容的对象存储功能。
Ceph 的对象存储使您可以使用本地语言绑定和 Ceph 提供的其他技术轻松访问数据对象。如果您想改变公司的 IT 基础架构及其管理大量非结构化数据的能力,这是一个很好的解决方案。他们还拥有一些软件库,这些库使使用 Java,C,C ++,Python,PHP 和其他一些语言编写的软件能够使用本机 API 的功能访问 Ceph 的对象存储系统。
3. MinIO
ScreenShot from MinIO.
MinIO 是一款开源云存储软件,可为大型数据基础架构提供高性能的分布式对象存储。它与 Amazon S3 API 兼容,在 GitHub 上有超过 26K 颗星,有 680 多位贡献者在使用它。
MinIO 服务器存储所有类型的非结构化数据,例如照片,视频,日志文件等。它也可以在开源 Apache V2 许可下使用,并且许多最强大的大数据和机器学习应用程序都使用 MinIO S3 对象存储。您还可以在 MinIO 网站上查看许多其他功能。
4. OpenIO
ScreenShot from OpenIO.
OpenIO 是用于管理和保护大量非结构化数据的开源对象存储解决方案。它使您可以构建和运行有弹性且受保护的大规模存储基础架构。
OpenIO 与 S3 兼容,可以在任何硬件上进行部署或云托管。在添加新硬件时,它也不需要重新分配数据。您可以立即使用自己的额外容量。OpenIO 还设计用于大型基础架构和大数据工作负载。除此之外,它还提供了直观的用户界面,以简化存储管理员的日常生活。结果,您的数据变得非常易于访问且易于管理。
结论
您可以使用许多开放源代码对象存储提供程序,这些提供程序提供了我们提到的许多功能中的某些功能。它们为您的所有存储需求提供了一个很好的解决方案,并且避免了高昂的财务成本。因此,选择具有所需功能的对象存储平台非常重要。
【责任编辑:赵宁宁 TEL:(010)68476606】