有自建网盘的 V 友吗?

vps网友提供 08-12 讨论归档 56

主要用来存实验数据(还有 djj )小文件特别多( 300 万个),加起来没多大,4T 左右。百度盘超级会员还有 2 年,前几天公开课被百度替换成 8 秒教育片,实在忍不了,开了一个月 10TB Google One (因为 G Suite 有 40 万文件限制),rclone 用了半个月传完,发现文件夹大小都看不了,文件传没传完都不知道,打算自建。目前服务器用的是 Nextcloud,别的没问题,3900X + 32GB RAM 的服务器 300 万文件光索引就用了 2 天。干什么都要扫描 2 天,搜索一次 20 分钟没出结果。查了下有人推荐 Filerun 听说对大量文件支持很好。不知道有没 V 友用过?

本文由 vps网友提供,转载请注明出处

本文链接: https://www.vpsvsvps.com/discuss/a/1676472036064497664.html

标签:
yyyb
08-12

如果我说用 nfs+samba+ftp 共享同一目录会有人抽我么?在家 windows 电脑挂载 samba,linux 挂载 nfs,在外用 ftp

siknet
08-12

everything 不行?

misty8873
08-12

用对象存储吧 简单方便。。。

gjf
08-12

从技术角度看,如果是用自己的硬件的话(内网),可以使用至少 3 台以上 Linux 安装类似于 FastDFS 或者 MongoDB ( GridFS )分布式文件系统组成集群(高可用、有容错),这样做比较麻烦,需要自己写代码用 API 对接文件系统。
如果上云的话就是对象存储了呗

festoney8
08-12

文件名搜索和文件夹大小统计的话,NTFS 的 mft 表挺适合处理这个,用这个特性,everything 做快速搜索,wiztree 可以做快速文件夹大小统计

zacklin99
08-12

目前用的 docker+owncloud+MySQL,感觉没啥大问题。

devliu1
08-12

@错了抱歉,应该是 @fhsan

devliu1
08-12

补充下 @zachlhb 的方案。Windows Server + NTFS + Everything HTTP Server,仅仅针对文件名检索

naohion
08-12

@wtks1 数据库(应该包含索引)在英特尔企业级 ssd 数据盘是旧服务器上的希捷酷狼(好像叫这名字) 8T

wtks1
08-12

慢,是不是因为磁盘 IO 性能差?

naohion
08-12

@des 就是普通的文件名搜索,不知道 nextcloud 有索引了为什么还这么慢。
@fhsan 没有缩略图,移动设备查看不方便。

des
08-12

大量文件建议用对象存储
https://www.min.io
https://opendev.org/openstack/swift

不过首先要搞清楚,你说的搜索,打算搜索什么?

zachlhb
08-12

nextcloud 要用 postgresql 数据库,性能提升不是一星半点

fhsan
08-12

建议 ntfs + winnt + everything,秒处理

zu1k
08-12

大量非结构化的小文件应该用对象存储吧

ruixue
08-12

G Suite 的个人云端硬盘并没有 40 万文件限制,有限制的那是共享云端硬盘,但是也没限制共享盘的数量
G Suite 可以用第三方 api 客户端来查看文件夹大小,比如 AirExplorer 等,也可以用虚拟云端硬盘直接挂载查看

Songxwn
08-12

seafile 用专业版

laminux29
08-12

我觉得,你的问题在于,自己的知识水平,是一个急需扫盲的阶段,却又想着做一些博学家阶段才能做的事情。

比如你说,索引用了 2 天,搜索一次 20 分钟没结果,问题是,索引与搜索阶段,你有没有分析过设备负载?甚至给开源产品直接调试做性能分析?

你这种情况,最实际的就是,直接把需求,外包给公司,花钱让别人帮你做。

naohion
08-12

@Xusually 不想买 NAS,只有一台闲置的 3900X 没独显的电脑装 CentOS 当测试服务器。不知道能不能跑黑群晖。

Xusually
08-12

群晖?