网盘增量同步技术真的很难吗?
天下那么多网盘,也不乏大厂巨头的产品,为啥只有这两家有这个功能。。
本文由 vps网友提供,转载请注明出处
本文链接: https://www.vpsvsvps.com/discuss/a/1676471778471317504.html
本文由 vps网友提供,转载请注明出处
本文链接: https://www.vpsvsvps.com/discuss/a/1676471778471317504.html
@jsq2627 需要使用到增量的用户和使用普通网盘的就不是一个用户群体。
普通网盘用户只是分享和存储一些资源为主。这些资源很多用户同样保存了,实际在服务器内只保存一份(考虑到负载均衡和灾备肯定不止一个副本)。在上传某个文件的时候,例如几个 G 的某热门电影。网盘会先计算这个电影的摘要信息(例如 MD5 值 + 文件大小),如果其他用户已经上传过了,则直接在数据库增加一条记录而已,并不会真的再次上传(所谓的秒传技术)。
而用到增量的用户大多是需要备份重要文件的用户,使用场景大多是在多台设备互通数据或者备份数据。大多数据是独一无二的,需要重新上传的,储存成本不在一个级别,而增量还要考虑到算力的成本,甚至整个系统内的文件热度分布太过平均, CDN 等等的成本都会成倍增加。
像百度网盘这些网盘的定位明显就是资源分享为主的,甚至有些带一些社交功能的,增加增量备份功能有点吃力不讨好,甚至没有增量备份功能反而可以带来更多的好处(过滤用户群、减少成本)。
@jiongjionger 我理解的是增量会节省带宽,似乎是降到成本啊 = =