积分清理结果

[TOC]

1. 筛选异常积分

1.1 筛选逻辑

通过 CMA 监控项，筛选出了从 2024.01.29 ~ 2024.07.29 内的所有异常积分。

异常积分：（1）不读不写；（2）只写不读；（3）只读不写

筛选的详细过程见另一个文档《#积分下线流程.md》。

1.2 筛选结果

• 异常积分数量统计如下：

	不读不写	只写不读	只读不写
内网个数	2637	182	2471
外网个数	2172	181	2466

内网和外网的积分统计结果不同，因为有的积分外网根本就不存在（例如 “define_nosdata_hyby” 这个表），或是外网已经下线（status 为 -80），而内网还没下线（status > 0）。

• 详细统计结果如下：

	不读不写 (内)	不读不写 (外)	只写 (内)	只写 (外)	只读 (内)	只读 (外)
define_nosdata_general	1224	891	168	167	1052	1052
define_nosdata_mqzdr	1103	1058	14	14	997	973
define_nosdata_jjby	197	172	-	-	195	1245
define_nosdata_hyby	60	-	-	-	128	-
define_nosdata_qpby	30	28	-	-	-	191
define_nosdata_flag	23	23	-	-	119	119
—– 总 ——	2637	2172	182	181	2471	2466

由上表可见，内网的统计信息多于外网。经核查，外网的统计结果是内网结果的子集。因此，接下来以内网结果为基础做进一步筛选。

2. 积分下线

2.1 下线逻辑

进一步筛选 “异常积分” 中 “不读不写” 和 “只写不读” 的两类积分，将筛选出的积分下线（status 置为 -80）。

筛选逻辑：

• “不读不写”：向业务方确认积分确实无用后，下线该积分（MySQL 表中 status 置为 -80）；
• “只写不读”：选择写入量大的前 20 个积分进行筛选，若该积分满足以下条件，则下线该积分，同时下线该积分的 ESP 配置：
  • 只由简单 ESP 写入；
  • 本身不是视图积分。

2.2 “不读不写” 下线结果

2024年8月2号，下线（status 置为-80）积分，下线统计信息如下：

• 下线积分所在集群的统计信息：

集群	从Excel中筛选出的个数	内网实际下线个数	外网实际下线个数
redis_evt_A	187	187	111
redis_evt_AA	58	58	58
redis_evt_old	85	85	85
redis_mq	934	934	893
redis_flag	13	13	13
—— 总 ——	1277	1277	1160

• 下线积分涉及到的 MySQL 表信息：

MySQL表	内网个数	外网个数
define_nosdata_general	330	254
define_nosdata_mqzdr	934	893
define_nosdata_flag	13	13
—— 积分总个数 ——	1277	1160
define_nostag_general	12	15
define_nostag_mqzdr	37	36
define_nostag_flag	2	2
—— 积分域总个数 ——	51	53

2.3 “只写不读” 下线结果

“只写不读” 的积分筛选出了 6 个，其中 3008、3009、3010 为 3007 的视图积分。60000597 和 60000711 位于积分域 6000 中。详细信息如下：

积分id	所在MySQL表	cluster	对应ESP配置id
3007	define_nosdata_general	ssdb_evt_manage	2034
3008	define_nosdata_general	ssdb_evt_manage	-
3009	define_nosdata_general	ssdb_evt_manage	-
3010	define_nosdata_general	ssdb_evt_manage	-
60000597	define_nosdata_general	redis_evt_A	3640
60000711	define_nosdata_general	redis_evt_A	4240

2024年9月19日，下线上表的积分和 ESP 配置。

3. 积分清理

针对上一步涉及到的所有积分，提工单/发邮件给 DBA 进行清理。

清理时间：2024.09.02 ~ 2024.10.30 ，清理结果如下：

DBA实例	清理积分个数	内存空间释放 (GB)
evt-001-redis	186	68.33
evt-002-redis	58	0.70
evt-003-redis	85	8.62
evt-004-redis	329	11.54
mengqiu-001-redis	934	0.89
utd-001-redis	13	31.70
—— 总 ——-	1279（个）	121.78（GB）