[TOC] 2024 积分下线流程 1. Hive上的数据聚合 1）工作流介绍 【小海豚10.11.199.44】-【行为数据组-sql】-【积分下线_2024】 这个工作流是用来测试脚本和代码的，后面用来跑指定某天的CMA数据。 【小海豚10.11.199.44】-【行为数据组-sql】-【PyHiveTidyUpEidHistory】...

现象 OSS-Mongo 版本进行了改动：当因为有重复 oid 而导致插入失败时，返回的 ec 报错改为kInsertMongo_DuplicateId，与普通插入失败的报错 ec（kInsertMongoDocError）进行区分。 目的是为了保证该种类型的插入失败不需要消息恢复机制（否则会因为消息恢复机制一直尝试重复插入）。 该 ec 也会从 OSS 返回给外部，而其它可以消息恢复...

1. 环境 系统：Win10 python：3.7.0 VSCode：1.94.2 VSCode拓展【Python Debugger】：v2024.12.0 2. 报错现象 任意python脚本（甚至空文件)，点【运行python文件】没有问题，点【Python调试程序：调试Python文件】就会直接出现如下报错： ImportError: cannot im...

1. 背景 将 OSS 从 Cassandra 升级到 MongoDB，OSS-MongoDB 双跑阶段，发现 MongoDB 中的 3 个数据库没有数据写入：matchstory、cusmatch、anchorlib。 anchorlib 数据库对应的业务比较特殊，只有年表存在数据，且数据是一次性初始化的。 因此接下来只对 matchstory、cusmatch 两个数据库...

背景 为了将 OSS 服务从 Cassandra 改为 MongoDB，修改了上游 Store 服务的代码，将所有请求另外拷贝一份，异步双写到新的 OSS-Mongo 服务中。这样可以保证在不影响主线业务的情况下，逐步使 MongoDB 中的数据与 Cassandra 中数据一致。待 30 天数据到期后，MongoDB 与 Cassandra 中数据就会完全一致。 测试前（2024年10...

背景 2024 中秋，evt-004-redis 集群有明显数据上涨： 2024-09-16 18:00 ~ 22:00，从 388 GB 上涨到了 415 GB（涨幅 6.96%）； 2024-09-17 12:00 ~ 16:30，从 418 GB 上涨到了 430 GB（涨幅 2.87%）。 如下图所示，上述的两个时间段能看到较为明显的上涨趋势。 目标 监控 ...

OSS 项目介绍 功能简介：存录像的 数据库使用版本现状：（2024年8月30日） DBA：Cassandra 3.11.6 OSS：Cassandra-cpp-driver：2.6.0 OSS 主要功能介绍 Agent::OnMsg() OSS::OnInitialUpdate() TK服务常规注册...

[TOC] 1. 前言 mongocxx 是基于 libmongoc 的 MongoDB 的 C++ 驱动程序的彻底重写 。它需要 C++11 编译器。众所周知，它构建在适用于86 8664Linux、macOS、Windows 和 FreeBSD 的 x 和 x - 架构上。 mongocxx 驱动程序库包含一个匹配的 bson 包 bsoncxx，它实现了 BSON 规范 。即使根...

[TOC] 以下是对 Apache Cassandra 的更详细介绍，以及与其他 NoSQL 数据库（如 Redis 和 MongoDB）的对比： Apache Cassandra 详细介绍 数据存储和处理 Cassandra 主要是基于硬盘存储的数据库系统，但它会使用内存缓存来提高读写性能。具体而言，Cassandra 使用一种称为 Memtable 的内存结构来存储写入数据，这些数...

[TOC] 目标 将 TK 服务从 vs2010 升级至 vs2017 。 背景 DBA 提供了 MongoDB 7.0.5 的数据库，现要测试在 TK 服务中用 MongoDB 代替 Redis 。目前行为数据组的 TK 服务均是使用 VisualStudio 2010 构建的。 若要在 C++ 项目中连接 MongoDB，需要使用 MongoDB 官方提供的 C 库 mongo...