网盘增量同步技术真的很难吗?

vps网友提供 02-15 讨论归档 12
目前只知道 Dropbox 和坚果云有增量同步功能。
天下那么多网盘,也不乏大厂巨头的产品,为啥只有这两家有这个功能。。

本文由 vps网友提供,转载请注明出处

本文链接: https://www.vpsvsvps.com/discuss/a/1676471778471317504.html

标签:
jsq2627
08-28

@jsq2627 2020 update: OneDrive 现在已经对所有类似文件都提供增量同步了

jsq2627
02-16

@yuriko OneDrive 只对 Office 文件提供增量同步。

yuriko
02-16

问下 OneDrive 是哪种呢?
貌似 office 好像是有专门的接口?

chzyer
02-16

据我所知百度云最开始就提供了增量同步的 api...

riaqn
02-16

Dropbox 的增量感觉也不好啊 据说是以 4M 为单位同步的

jiongjionger
02-16

@jsq2627 需要使用到增量的用户和使用普通网盘的就不是一个用户群体。
普通网盘用户只是分享和存储一些资源为主。这些资源很多用户同样保存了,实际在服务器内只保存一份(考虑到负载均衡和灾备肯定不止一个副本)。在上传某个文件的时候,例如几个 G 的某热门电影。网盘会先计算这个电影的摘要信息(例如 MD5 值 + 文件大小),如果其他用户已经上传过了,则直接在数据库增加一条记录而已,并不会真的再次上传(所谓的秒传技术)。

而用到增量的用户大多是需要备份重要文件的用户,使用场景大多是在多台设备互通数据或者备份数据。大多数据是独一无二的,需要重新上传的,储存成本不在一个级别,而增量还要考虑到算力的成本,甚至整个系统内的文件热度分布太过平均, CDN 等等的成本都会成倍增加。

像百度网盘这些网盘的定位明显就是资源分享为主的,甚至有些带一些社交功能的,增加增量备份功能有点吃力不讨好,甚至没有增量备份功能反而可以带来更多的好处(过滤用户群、减少成本)。

gamexg
02-16

用处不大,大部分普通用户都是存放图片、视频占大头,这些不会有增量同步的需求。
文档之类的本身就很小,争不争量无所谓。

dphdjy
02-15

猜:普通储存基本是就是静态储存+cdn
增量需要服务器参与运算分析

botao1
02-15

因为这个行业已经(要?)消亡了

openroc
02-15

其实很简单,大都参考 rsync 算法进行改进。

jsq2627
02-15

@jiongjionger 我理解的是增量会节省带宽,似乎是降到成本啊 = =

jiongjionger
02-15

定位就不同。另外增量的成本其实要大一些。