大厂的对象存储都是基于什么实现的呢?

vps网友提供 09-01 讨论归档 34
腾讯云 COS,阿里云 OSS,HW OBS 这些对象存储服务是独立自主实现的,还是基于什么开源项目(比如 :MinIO )实现的呢?

本文由 vps网友提供,转载请注明出处

本文链接: https://www.vpsvsvps.com/discuss/a/1676472082763878400.html

标签:
acbot
09-02

@moult 也就是 一个中型公司自己服务用的话 ceph 和 minio 都没有问题是不?

acbot
09-02

@boyhailong 曾经我看一个 私有云的商用产品存储方案也是用的 ceph

imbushuo
09-02

https://dl.acm.org/doi/10.1145/2043556.2043571

scalable table as index + scalable persistent layer (stamp),跟 SSD 的内部存储组织类似但是 scale 被放大了

henvm
09-02

对象存储不是基于对象的吗?

opengps
09-01

参考 aws 的对象存储

gstqc
09-01

AWS S3 这种,一个 bucket 放百亿量的文件,如何做检索的

WebKit
09-01

@moult 七牛也是 go 开发,自研的

dongqihong
09-01

大体都分三层,接入层( API 、各种业务逻辑),索引层(基于 LSM ),持久化存储层(分部署存储,类似 HDFS )
阿里腾讯华为都大致如此,S3 早期也一样

boyhailong
09-01

了解的成都好几个做云存储的都是 ceph 。。。。 而且也都商用了

ospider
09-01

ceph 确实支撑不了多大的场景,但是也不至于到玩具的地步。头条 2017 年才从 ceph 切换到自研的。

gstqc
09-01

主要是 s3 协议已经是事实上的业界标准了,不兼容就没人用

plko345
09-01

@acbot 对象存储好像都是有标准的,api 和协议方面都差不太多,aws s3 也是,底层不一样,但提供给用户的接口一样,所以会有这种错觉

locoz
09-01

底层可能部分用了 ceph,但是主体肯定是自己搞的,大厂又不差那点钱。

tongz
09-01

各位大佬, OSS 的话, 海量小文件存储靠谱吗, 单个文件平均在 1KB-10KB 之间, 每天产生 1 千万个左右, 还在持续增长, 写多读少

moult
09-01

腾讯和阿里有历史技术沉淀在,肯定自研的。像 HW,七牛这类厂商就不好说了。。。不过,感觉 ceph 和 minio 自用还可以,拿来卖服务还差口气儿。

dynastysea
09-01

明确的告诉你,这三家都是自研的,ceph 这东西当当玩具可以,真正大规模的实践坑很多。存储是云计算的根基,在这块上各家都是重金投入,而且不存在兼容性的问题,自研好处多多。

ccde8259
09-01

Ceph……
自研一套 API 不用几个钱

acbot
09-01

@Ianchen 最早我感觉也是 Ceph 但是后来我发现 MinIO 更像 特别是 Rest Api 和 微服务结合方面

Ianchen
09-01

盲猜一个 Ceph