目前产品的时间都是存在 mysql 中。 相同的日志保存在同一个库中，按天分表。 不同的日志就需要保存在不同的数据库实例中了。 每天新增日志 30G 左右。
现在遇到了问题：
采用现有的模式肯定是走不下去了，考虑要迁移到大数据平台。
由于现有团队没有大数据平台搭建和维护的经验，主要考虑使用公有云。
目前对大数据平台的需要主要是集中在存储和数据分析上。 这块使用经验匮乏，不知道其中会存在什么坑？向大家请教下！
目前想到的几个点：
跪求有经验的老司机分享下。
本文由 vps网友提供，转载请注明出处
本文链接： https://www.vpsvsvps.com/discuss/a/1676471897832820736.html
服务可用性
https://cloud.google.com/bigquery/sla
数据安全性
https://cloud.google.com/security/
服务资费
存储 0.02USD/G/月，查询 5USD/T
总结，在所有 OLTP 服务中最省时省力省钱的产品。
1、可用性：托管服务，有完整的自动快照等备份能力，基本不用担心。SLA 可以看下文档
2、安全性：指数据丢失还是数据加密？
3、资费以美东区一年计算，单个 DC2.large 是 2190 美元，购买一年 RI 可以 6 折。可用存储 160GB，标准 nginx 日志压缩率在 1：0.4 左右，可以看下能否满足需要
七牛也有基于 ES 的大数据。需要联系开通。不过上云容易，下云难
如果使用青云的话, 存储可以使用对象存储 QingStor, 数据分析可以使用数据仓库 HashData.
参考入门指南 http://docs.hashdata.cn/getting-started-guide/hashdata_warehouse_guide.html
Google 的 Bigquery
既然是现有日志都在 AWS 上，如果日志是结构化的，那么直接使用 redshift 就很方便啊。可以继续使用 jdbc 分析，日增量 30G 很小。
收藏坐等，同样关注中。。。
我们的数据也是每天不少，但是依然使用传统分库分表分区应付阶段