Versionar blacklists con muchos registros

En mi empresa (envio de campañas de sms, email y llamadas) lo que hacemos es importar el fichero, eso va a un microservicio que va distribuyendo a los diferentes blacklist (sms/llamadas y email).

Ese servicio escribe en mongo y además mete un registro en un log que dice que fichero se ha importado y el id del blacklist.

Si me vuelves a mandar el mismo numero no lo meto otra vez en el bl, si no que meto una línea más en el audit vinculando el número al fichero nuevo y actualizando la fecha para quitarlo en base al periodo que nos dice el cliente.
De esta manera se cuándo llegó un numero a mi blacklist y cuántas veces me lo han vuelto a mandar.

Nuestros numeros a parte luego estan vinculados a un userid, claro, con lo cual la duplicidad de datos es inevitable y nosotros lo metimos a mongo porque cada vez que se manda una campaña o un sms a un numero introducido manualmente tengo que comprobar y quitarlo de la lista a enviar, en sql esto resultaba en blocks, y más cuando creaban la campaña y te importaban los numeros a bloquear al mismo tiempo

Hombre, lo que está claro es que ir almacenando tablas a piñón en MySql mucha gracia no le va a hacer.

Mongo no se, pero Elastic es el rey en series temporales, a parte de que siempre podrás guardar todo en índices de solo lectura para que vaya más rápido.

Tampoco te voy a negar que fijo que algo me estoy saltando de todo esto, pero no es más fácil simplemente subir una copia de los datos a un sistema más...eh...acostumbrado a este nivel de datos, al mismo tiempo que MySql guarda solo los necesarios? En plan, guarda estos 5000 números, y sube una copia de estos 5000 a Elastic

Vamos, yo digo Elastic porque cada uno ya se sabe, tiramos a nuestra casa. Yo ahora mismo necesito almacenar unos 300 millones de registros, viva las eléctricas, y bien montado, va como un misil, es cierto que si le dices de escribir 5000 registros mientras lees ese índice...gracia no le hace, pero si lo entiendo bien, sería más como un índice por carga masiva. Así que no creo que tengas este problema.

Luego Elastic tiene sus follones de mantenimiento, pero vamos, en tu caso se reducen a que cuando termines una carga, calcular el tamaño del índice, reducirlo a eso, y hacerlo solo lectura. Pero vamos, todo eso es más cuestión de verlo con calma y hacer los cálculos que por limitación de Elastic

#11 Elastic es mucho más que una herramienta para monitorizar logs.