5T 的 MySQL 数据上云?如何做才能更好?

vps网友提供 11-25 讨论归档 33
由于架构和历史原因,公司在本地机房部署 MySQL 做数据仓库,主要是 OLAP 的业务,跑存储过程和 ETL 做数据清洗。单实例建的 MySQL,里面各种中文表名和各种大宽表(建表和索引也没有完全符合 OLTP 的最佳实践),数据量日积月累,现在有 100 多个 schema,单实例数据量差不多有 5T 了,运维起来非常吃力。现在公司准备上云,估计还是这套架构。

本文由 vps网友提供,转载请注明出处

本文链接: https://www.vpsvsvps.com/discuss/a/1676472051377901568.html

标签:
threeEggs123
11-25

aws snowball?

dynastysea
11-25

@xuanbg 哈哈,你是看不起阿里云? 5T 这么点数据量都要跑 10 天?

xuanbg
11-25

阿里云有个数据迁移工具的,配好了让它跑就行了。5T 跑个 10 来天总能跑完的吧。

springz
11-25

TiDB 还有 TiFlash 和 TiSpark,OLAP 场景多合适。

springz
11-25

为什么没人推荐 TiDB,推荐下。

iphoneXr
11-25

@dynastysea 哈哈哈 我承认我对第二个问题有点张口就来了。不过我当时想的是对于 java 程序来说,没区别。所以我还是坚持我的说法。

ifuture
11-25

分而治之呗,100 个 schema,单个 schema 也就不大了,一个一个迁移,迁移以后,再把迁移期间原来系统的数据增量同步过去

dynastysea
11-25

@iphoneXr 区别大了啊,这几个形态完全不同。polardb 是基于共享存储方案的,可以快速扩容 ro 节点。rds 更接近原生 mysql 。这两者都是 100%兼容 mysql 。ob 是分布式数据库,完全自研,只能说兼容绝大多数 mysql,主要场景争对金融级数据库,一般的应用不适合

iphoneXr
11-25

@mahone3297 我觉得没啥区别,感觉更像迭代产品的关系

iphoneXr
11-25

@chinafengzhao 先看好不好使,贵不贵的问题有办法解决,一次性买 3 到 5 年,再走个代理商回扣啥的,算下来很便宜。自己用 ecs 来搭建那种双节点也差不多价钱,不贵的。
第二个 配合 dms 做数据库管理,das 做数据库优化监控(自动限流、索引创建删除、扩容节点等),dts 做数据同步等

orclcast
11-25

走线下吧

chinafengzhao

@iphoneXr 我也想用 polardb,不想折腾那么多,但是我们本地资源就实在是太贵了

buaacss
11-25

做一个点对点 vpn 连到本地机房,然后做一个 dts 把数据全量同步过去,并设置增量同步,最后切 dns 同时把老数据库上的账号都设置为只读

mahone3297
11-25

@iphoneXr 请教下, polardb,rds,oceanbase 的区别是什么?

chinafengzhao

@iphoneXr 完全兼容吗?这个主要是 OLAP 业务,跑各种存储过程。polardb 太贵了啊

iphoneXr
11-25

买阿里云 polardb 吧,兼容 mysql,不用去管存储空间用量了。

mitsuhasanye
11-25

让乙方出方案更保险,肯定不止你一家有过这么多数据

opengps
11-25

快递硬盘

cccp2020
11-25

买云服务器,然后买 rds 什么的,发工单就行,大客户他们有专人解决,你可以看看我的历史帖子,有优惠券的购买 rds

snail00
11-25

有 5t 的数据量, 其他周边服务应该也要陆续上云, 最简单的就是联系云厂商会有专人对接出方案的.