Feda /dev/ - No Javascript allowed

Normas
spoiler
Personas non gratas
Memes feda dev




Traber

Lo de scrapear es un mundo, yo tengo una aplicación para monitorizar webs y empecé usando scrapy pero lo acabé haciendo con requests porque no necesitaba más que ver el código de estado HTTP, la respuesta en caso de que ésta no fuera un 200, y poco más, pero joder, recuerdo darme de hostias para que muchas webs no me tiraran las requests. Eso sí, cuando hay un puto cloudflare delante, adiós monitorización.

desu

#29180 Y no lo aceptaste?

Eso de scrapear el precio para fijar el tuyo es muy comunista

2 1 respuesta
Kaledros

#29189 En aquel tiempo se usaba XPath. Yo lo hubiese llamado Sísifo.

#29192 Estaba recién salido del huevo y no llegaba a los requisitos.

desu

Ya me he montado el entorno para aws, al final uso localstack. es la polla eh. un docker-compose up y ya tienes todo mockeado...

Para un noob como yo de lujo

https://github.com/localstack/localstack

He seguido este tutorial para SQS http://www.inanzzz.com/index.php/post/x4cy/a-simple-aws-sqs-example-with-golang-suing-localstack

Ahora ya puedo experimentar... montarme algo con S3 + dyanmo + SQS + API Rest simple o cli...

Que es lo que me espera en el nuevo curro

Y no llegare en pa;ales

4 1 respuesta
Lecherito

En local para S3 uso minio y va de puta madre

1 2 respuestas
Kaledros

Nosotros estuvimos mirando hace poco cómo montarnos la infraestructura con AWS y como configurar SQS y da miedo, te puedes montar la lógica de negocio usando sólo herramientas de Amazon. No sabía que el ecosistema fuera tan vasto.

2 respuestas
desu

#29195 que te aporta vs localstack?

le he echado un vistazo y entiendo que te sirve para hacer pruebas cuando buscas performance?

#29196 NOSOTROS, mi equipo, (no he firmado aun el contrato XD) tenemos todo en AWS, pero también ofrecemos alguna cosa replicada in-house

De las empresas que hable buscando curro la mayoría tienen mas de la mitad de sus servicios en cloud

Para mi seguridad, routing, escalabilidad horizontal y data storage es un must.... Si das serivcio a todo el mundo... es que ya es un follon

Colas, lambdas, schedulers pff pues esta bien pagarlo pero no lo veo tan critico, depende de tu negocio

Es que para mi estas soluciones las Google, AWS, Microsoft dan puta pena... me iria a startups especializdas como temporal

Al final en empresas grandes, los equipos eligen... y segun los costes se decide si comprar o no, si ya tienes cosas firmadas meter un equipo mas en cloud debe salir economico vs hacer cosas in house

2 respuestas
Kaledros

#29197 Ya, es lo que vimos. Con SQS, Lambda, EC2, EFS y poco más podíamos replicar nuestra lógica de negocio en AWS y hacerlo todo por configuración, sin picar una sola línea, muy loco. No tenía ni idea.

Que para quitarte de encima una API que ya tienes definida y que no va a cambiar porque tu negocio está en otro sitio lo veo muy valioso.

Lecherito

#29197 cuando solo necesitas S3, es una especie de S3 pero open

1 respuesta
desu

pues no se si es localstack o que programo en vim a la velocidad de la luz

pero se me ha colgado el pc 4 veces...

raro raro...

MTX_Anubis

#29196 la factura si que da miedo. Sobre todo como tengas videos y uses Cloudfront. Menudos timadores.

Si vais a montar infras usad terraform o ansible aunque éste ultimo no lo he tocado.

2 1 respuesta
JuAn4k4

#29194 Ojo con Dynamo, la última vez que use su versión local, las APIs no eran igual de restrictivas y algunas cosas directamente no funcionaban,por ejemplo los indices.

1 respuesta
Fyn4r

Lo de renfe a mi que me lo expliquen, pillas un viaje ida y vuelta, le das a enviar los billetes al mail y sólo llega el de vuelta xd

desu

#29201 pues eso mismo le iba a decir, que usar estas cosas esta bien pero tienes que tener buenas metricas y logs y meter middlewares porque a la que tengas que escalar o tengas picos te vas a llevar un buen meneo

#29202 Gracias lo tendre en cuenta aunque no me preocupa demasiado los detalles, tan solo es una manera de explorar las api.

aunque me he quedado roto por el bug que tengo, presumiblemente en vim lol alguna cosa se me esta quedando pillada


Una duda muy rapida de Go que he visto por APIs y ejemplos, esta declaracion global para que es?

var _ cloud.BucketClient = S3{}

S3 implementa la interface cloud.BucketClient, pero no entiendo porque lo declaro de esta manera a un blank.

Esto es para ayudar al linter?

B

.

1 respuesta
Lecherito

#29205 yo que se, no soy 100tifiko

1 respuesta
B

.

2 respuestas
Lecherito

#29207 tampoco lo veo algo como para meterlo en produccion a full. Pero para empezar y probar cosas va de puta madre

1 respuesta
B

.

Traber

#29195 #29207 Os cuento un par de cosas de Minio, que son para dar de palos al subnormal que lo hizo hasta que cagara calcio:

  • En la web pone literalmente "MinIO offers high-performance, S3 compatible object storage." Pero el muy hijo de puta hace cosas que el S3 de Amazon no hace, como por ejemplo:
    • No pueden existir carpetas vacías. Literalmente, si borras un fichero y su carpeta se queda vacía, va a subir hacia arriba todos los directorios borrando todas las carpetas que estén vacías.
    • Las carpetas no pueden tener metadatos. En Amazon S3 esto sí es posible, mientras que Minio no lo permite.
    • También ocurre que la forma de listar los directorios es distinta a como lo hace Amazon, tiene que ver con lo anterior. Cuando listas un directorio, en Amazon S3 te devuelve también el propio directorio, de forma que sirve para comprobar que existe. Como las carpetas como tal para Minio es como si no existieran, no lo hace, por lo que no puedes saber siquiera si existe un directorio.
    • Los nombres de fichero con espacios son una fiesta. Prueba a crear una carpeta que tenga un espacio en el nombre, como por ejemplo "Space folder". Ahora crea una carpeta que se llame "Space%20folder". Enjoy.
    • El tamaño de política máximo son apenas unos 20kb. Cuando tienes un sistema que prácticamente aplica una política por carpeta, pues es matador, en nada se come el tamaño, lo hemos solucionado aplicando políticas pequeñitas, pero aún así joder. Aquí el cabrón si que dice que son 20kb como en Amazon S3 xD.

La verdad que luego encima dices "bueno, voy al github, subo un issue y el adoravacas este lo arreglará"... Y te comes una polla como un camión, el tio es un subnormal de cuidado:

https://github.com/minio/minio/issues/10160#issuecomment-665767650

https://github.com/minio/minio/issues/6047#issuecomment-551392917

https://github.com/minio/minio/issues/5874#issuecomment-524566676

Vamos, que de S3 tiene lo que al cosecamisas le sale de los cojones.

Eso sí, igual que saco lo malo, nosotros usamos minio porque tiene precisamente:

  • Metadatos.
  • Notificaciones SNS.
  • Políticas / Permisos.

Lo malo es eso, que no es igual igual que Amazon S3, por lo que esas cosas nos dan por el culo.

3 respuestas
desu

#29210 A ver... que AWS es una autentica porqueria... escrito por estudiantes de universidad... y un caos de codigo que no entiende ni su puta madre

Por que su justificacion no te gusta?

A mi me ha convencido

B

.

Lecherito

#29210 npi, si solo lo estoy usando para guardar releases internas de mis librerias y poco mas

Jastro

Menudo colgado, reviviendo un hilo de hace 9 años, lolazo

@desu si hubiera sido un comentario de otro tipo, le hubiera crujido, pero como parece que es una duda "seria" pos se lo moví a otro hilo (te respondo aqui, pa no ensuciar el otro hilo)

1 1 respuesta
desu

#29214 Tranquilo ya se encargan los pajeets habituales de ensuciarlo.

1
Lecherito

Me acabo de dar cuenta de que el tag de dise;o esta en catalan:

Programa edición video gratis android o pc
Diseny

kek

desu

Sobre lo que comento ultimamente, agileops

https://github.com/jdumars/agileops
https://github.com/jdumars/agileops/blob/master/outline.md

La arquitectura de software no existe.

La ingenieria de software no existe.

Somos jardineros de software.

1 respuesta
TheBrotha

#29217 Podrias explicar por qué Jardineros y no Carpinteros o Ebanistas?

1 respuesta
desu

#29218 Se lo leí a Brian Eno y me parece una referencia elegante y bonita

https://www.edge.org/conversation/brian_eno-composers-as-gardeners

el jardinero prepara la tierra, prepara los ciclos de riego, la poda de los arboles.. y demás cuidados para las flores que crecen

en un jardín bien cuidado puedes plantar muchas cosas verdad?

que sentido tiene crear un jardín para cada flor/árbol/proyecto?

el arquitecto de software iluso, abuelito deprecated que chochea pretendía hacer esto en los últimos 50 a;os de historia

HAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHA

el software es un proceso orgánico de evolución constante

no se puede predecir los casos de uso ni el negocio ni su evolución

adaptar tu infraestructura a tu caso de uso es el peor acoplamiento que existe y

permiteme el juego de palabras... esta muy arraigado en la industria por desgracia

por suerte en los últimos a;os esto ya es un movimiento muy activo

todo el software de calidad actual sigue estos principios

todo ingeniero contemporáneo entiende perfectamente que la arquitectura de software no existe

1
Kaledros

Llevo dos horas con un merge. Voy a matar a alguien.

2 respuestas