找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 92|回复: 0

[通用] [通用]_mysql_磁盘空间占用过高

[复制链接]

6

主题

0

回帖

30

积分

新手上路

积分
30
发表于 2023-4-14 14:53:14 | 显示全部楼层 |阅读模式
本帖最后由 肖杨 于 2023-4-19 14:42 编辑

标准部署时,mysql数据都默认保存在/sobeyhive/data/mysql目录下
可以使用以下命令检查哪个数据库占用较大


由于mysql数据都是业务数据并且是集群使用,所以不推荐直接删除文件,只能谨慎的通过终端或脚本清理。
navicat中 逐个选中表名 可以看到实际的消耗

以下是常见空间消耗大的表及处理方法:
1.同步服务数据库nwfm
同步服务会将所有的任务详细信息都保存到nwf_stepinstance中,当系统没有素材同步时,可以执行以下脚本进行删除
delete from nwfm.nwf_stepinstance where EndTime<'2023-03-01 00:00:00';     //引号内是自行指定的日期
由于日期字段没有索引 查询操作可能较慢.可以在以上语句后面加上limit 1000逐页删除。
使用select count(*) from nwf_stepinstance where EndTime<'2023-03-01 00:00:00'; 可以检查能够处理的数据量

2.hivedb
后缀名为日期的表是归档表 可以直接删除。
表bpm_taskinst_data有时会特别大,原因是已经结束的hive任务会定期清理,但如果任务失败,则不会被清除。推荐在网管的任务页面做批量删除。

注意勾选全部这个功能有些问题 最好是按页删除。

3.收录数据库ingestdb
dbp_task_metadata表中为任务数据,太大时可以选择已经完成的数据直接删除。

[注意] 按条件删除表记录后,空间不会立即回收。 可以在系统空闲时执行optimize table 表名;才能回收空间。







本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Sobey-IBG-BBS

GMT+8, 2025-12-6 15:28 , Processed in 0.017842 second(s), 23 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表