[Python] Hilo general

HeXaN

#1080 Pillas el RSS que tendrá y listo xD

1 respuesta
MaSoBa

#1081 Que yo sepa HD Spain no tiene RSS de ahí mi proyectillo

1 respuesta
bLaKnI

#1082 https://www.forocoches.com/foro/showthread.php?t=5839656&page=9

1 respuesta
MaSoBa

#1083 Gracias, ya lo había visto. Pero creo que no es lo que busco yo.

De todas maneras, para no irnos por las ramas y desviar el tema y obviando el proyecto, ¿por dónde empezar con webscrapping? Me interesa aprender sobre todo. Con unas pinceladas muy por encima sobre por donde tirar me sobra. Ya me busco yo las abichuelas.

2 respuestas
HeXaN

#1084 Lo que se ha dicho ya: requests + beautifulsoup. No tiene mucho misterio.

1 1 respuesta
Fyn4r

#1084 yo siempre recomiendo scrapy (asumiendo que lo harás en python)

P.D no había visto que es el hilo de python xddd

1 respuesta
MaSoBa

#1085 #1086 Gracias a ambos. Veo que scrapy tiene más funcionalidades. Voy a ir echandole un vistazo a ambas y empiezo a trastear.

n40k1

#1080 Por si te sirven, las tenía guardadas:

Beautiful Soup 4 Cheatsheet
Beautiful Soup Documentation
How to scrape websites with Python and BeautifulSoup

4
desu


https://pytorch.org/assets/deep-learning/Deep-Learning-with-PyTorch.pdf

3 1 respuesta
hda

#1089 ¿Recomendable? :D

2 respuestas
bLaKnI

#1090 Vistas las primeras 50 paginas en diagonal, luce bien... :)

1
desu

#1090 Este te aseguro que es la polla para ML en general:

El que he pasado tiene el sello de manning... asi que muy malo no sera. Cuando lo consulte al volver de vacaciones te digo. Sobretodo es interesante en temas de deep learning tener material reciente, en 1 a;o todo cambia es una locura.

3 3 respuestas
hda

#1092 qué pena, ese no lo veo en #1022 T.T

B

#1092 Yo lo tengo, he aprendido mucho con él. Y lo que me queda

EDIT: Este es el que estoy ojeando ahora y también mola: https://www.amazon.es/gp/product/B088NBRT6Z/ref=ppx_yo_dt_b_d_asin_title_o04?ie=UTF8&psc=1

NeV3rKilL

#1080 Tendrías que empezar por pedir permiso a los admins de la web para no jugarte la cuenta.

Ya te respondo yo, está prohibido.

2 respuestas
HeXaN

#1095 Haciéndolo con cuidado no va a pasar nada.

hda

Yo hago las peticiones por socks5 a través de TOR, variando el User Agent, el tamaño y la posición de ventana xD

Aún así a veces me pillan como bot xD

1
MaSoBa

#1095 Lo iba a hacer. No me quiero jugar la cuenta ni loco. De todas maneras, se me ha ocurrido realizar ese caso de uso como se me podría haber ocurrido cualquier otro. MI principal objetivo es aprender mientras realizo un proyecto que me sirva para algo.

1 respuesta
NeV3rKilL

#1098 Hazte algo parecido con tu cine habitual pare que te avise de cuando estrenan una peli de tus géneros favorios con algunos filtros rollo: que haya recaudado más de X en USA, tenga puntuación de >W con >Y votos en filmaffinity que tenga popularity >X, lo que se te ocurra, y de paso te pase el poster de themoviedb con la info de la peli, trailer, sinopsi, actores, budged, etc.

Yo hice algo parecido hace poco para jugar con node-red y muy contento.

Fyn4r

Todo depende de como trates a la web, intenta ser majo y respetar siempre el robots.txt pero vamos, que si es consultar una lista de "lanzamientos" en una portada o similar que vas a hacer 2 peticiones probablemente cada varias horas pues palante xd

1 1 respuesta
hda

#1100 @nev3rkill desaprueba este comentario xD

1
Isengard

una duda, para scrapear veo que recomendáis BeautifulSoup, scrapy... etc pero y para automatizar llamadas APIs o recorrer JSON... me estoy intentando hacer un script la mar de sencillo para apuntarme a las clases del gym pero me está costando la vida leer un JSON y mira que ya sé que python los lee fáciles...

1 respuesta
Kaiserlau

#1102 primero r=requests.get("...").json(), printate el json. lo recorres como un diccionario.

1 respuesta
Isengard

#1103 Sí si eso hago pero luego soy inútil de cara a recorrer el diccionario (por aquello de ser novel de pelotas en python) al final tengo un puñetero JSON con values que son JSON también y ahí es donde me pierdo para ubicarme... cagonlalechemershe que esto es fácil...

1 respuesta
bLaKnI

#1104

import json

# some JSON:
x =  '{ "name":"John", "age":30, "city":"New York"}'

# parse x:
y = json.loads(x)

# the result is a Python dictionary:
print(y["age"])
bLaKnI

#1105 Osea, que obtienes el json del requests y recorriendo cada campo, lo cargas como arriba.
O con list comprehension o como quieras...

1 respuesta
Isengard

#1106 Sí, si cuando el JSON es así sin problema... la cosa es cuando me viene así:

spoiler

Al final es un json con más json por así decirlo y me molaría recorrerlo identificandolo y demás...

2 respuestas
aIvans

#1107


loaded_r = json.loads(tu_json)

print(loaded_r['data']['calendar'][0])

Si quieres acceder a los valores de calendar por ejemplo.

1 respuesta
Che931

#1107 La estructura es más compleja pero al final lo que tienes ahí son listas, diccionarios o el uso de ambos a la vez, calendar por ejemplo es una lista de diccionarios.

Un ejemplo rápido, sacar todos los reserved_dt:

response = #tu json parseado
reservations = response['data']['reservations']

for item in reservations:
   print(item['reserved_dt'])
1 respuesta
Fyn4r

Esto va a sonar borde pero yo que sé, hacedme el favor de usar los métodos keys, values y items para recorrer diccionarios pls xd

2 1 respuesta