Feda /dev/ - No Javascript allowed

Independientemente del método exacto (otro formato, un importer nativo..) con 150M entradas digo yo que lo primero sería desglosarlo para poder ir haciéndolo en batches no?

Sí soy fpero, por algún lado hay que empezar

#54880 Era una broma amigo el cual su hijo va con chaleco antibalas al colegio.

Hasta tú, que eres malo en programación, un incompetente, seguramente eres capaz de resolver eso que nuestros amigos alemanes.

#54885 Buena tirria me tienes, eso es que he debido de hacer algo bien XD

#54888 Si tienes 150 millones y pruebas 100 nada más...tienes lo que te has ganado.

Obviamente que si tienes 1000 registros pues en pruebas cargas 100 y a ser feliz con ver que están bien. Pero si tienes millones carga aunque sea medio.

Quiero creer que lo que han hecho los muy merluzos es probarlo en su local con 0 curro y una base de datos pirrica...y que tenga 0 que ver con prod, pero que cargarlo lo habrán cargado en su mayoría

#54887 Si te sirve de algo en cuanto a burradas hace no mucho después de probar la importación para un cliente durante 3 putos meses...porque el cliente es tremendamente majo, el día de la importación buena nos cambiaron el formato del fichero, vamos, columnas, datos y demás.
Metiéndonos prisa y cada vez que decíamos que ese no era para nada el formato preguntando que si habíamos subido ya.

...pues se lo comieron en producción a las malas y sin probarlo en dev solo de cabreo que llevábamos mi jefa y yo. Algún dato se fue a la puta porque encima el que nos mandaron ni estaba correcto, es divertido verles meses después aún corriendo datos a mano

No te preocupes, que si crees que lo estás haciendo mal, tienes razón...pero piensa que siempre habrá empresas que lo hagan peor porque no saben...y otros momentos donde desearas hacerlo bastante peor porque estas hasta los huevos XD

#54871 cargar datos a mansalva en una db no es un problema nuevo, todos los engines te dan herramientas para hacer cosas así. En sql server tienes bcp, pero sólo carga a una tabla. Estas herramientas normalmente eliminan trabajo adicional que hace la db (ej en el caso de sql server el log transaccional es distinto y creo recordar de cabeza que ni lo puedes replicar con log shipping pero igual me lo invento xd). Para que te hagas una idea busqué en google rápido y 100M en azure sql server se los traga en menos de 10 minutos (ni idea del tier).

Si son varias tablas y necesitas mantener el identity yo personalmente levantaría la mano y buscaría al adulto de db en la sala en vez de callarme. Sólo se me ocurre que si tu identity está en 100 y tienes 10 escrituras al día, generas a mano las relaciones en tablas de trabajo con el identity que empiece en 150, luego cargas esto sobre las tablas reales para después cambiar el identity a esas tablas para que empiece donde acabó tu carga.

100M no son tantos datos, pero ya has pasado dos puntos de escalabilidad imho, el primero cuando empiezas a hablar en términos de millones, que meterlo a piñón ya es forzar mucho el tema y el segundo cuando ya son varias docenas de millones o te estás acercando a los 100M que ahí es probable que tengas que revisar los planes que tenías a ver si hay que repensar algo.

Al final el problema real ni siquiera es técnico; al analizar no se identificó esto como un known unknown y no se hicieron pruebas en un entorno que replique las dimensiones de prod. Lo primero puede venir de los silos que se hacen cuando hay un lead/manager mandando todo y distribuyendo las tareas y cuando le llega al dev se tiene que pasar medio día jugando al teléfono estropeado y analizando a posteriori.

#54895 Fuera coñas... me estoy viendo videos en youtube (parece que le está explotando el chiringo ahora) y el comportamiento de desu cuadra mucho con este tipo de personalidades de tiburon de hacendado.

Hago una entrevista con un recruiter, y me dice que para proceder con la siguiente ronda (hablar con la empresa cliente directamente) le tengo que dar una referencia. ¿Estamos locos? Solo doy referencias si tengo una oferta para firmar y esta depende del background check, porque si tuviera que darlas para todos los procesos que hago mis ex-compañeros me mandarían a tomar por culo.

Btw, no sabía que las empresas te suelen pedir que tengas seguro de responsabilidad civil para autónomos si te van a ofrecer un contrato como freelancer. ¿Recomendáis alguno en particular que no salga por un ojo de la cara, pero cubra ante posibles sustos como por ejemplo olvidarme el where en el delete from?