Duda sobre volcado de datos

Kaneas

Muy buenas, me gustaría recurrir a los poderes Jedi de algún compañero informático para que me iluminara en si hay alguna forma de hacer un volcado automático de datos de una página web cuyos datos cambian de una forma más o menos secuencial, se trata de unos datos que he de procesar para mi proyecto fin de carrera pero el "copiar y pegar" no forma parte del proyecto ni es algo productivo por lo que "automatizarlo" de alguna forma sería ideal.

Necesito coger datos de consumo, generación y emisiones del sector eléctrico español durante el último año, lo que significa que la página web (ejemplo):

https://demanda.ree.es/movil/peninsula/demanda/tablas/2013-09-01/1

Tiene en el 1 la demanda, en el 2 la generación y en el 3 la emisión para la fecha ahí puesta, y así durante otros 365 dias.

¿Alguno sabe si hay una manera posible de coger los datos que aparecen en dicha URL y volcarlos a una base de datos o similar de una forma semi-automátizada?

Muchas gracias y disculpad las molestias.

PD: Es para un Proyecto fin de carrera, sin ánimo de lucro vamos.

garlor

con autohotkey o autoit puedes hacer una macro para ir abriendo webs, una vez abiertas que lo seleccione todo y copy paste

la otra opcion es usar algun tipo de descargador de webs automatizado, pero en ese caso tendras que hacer un parse de la informacion para sacarla del html

1 respuesta
HeXaN

Hay mucho data scrapper por MV. Por unos cuantos euros no creo que tengan problemas en hacerte un script que te saque todo en un segundo.

1 respuesta
Kaneas

Joer pues dispuesto a ello estoy, me salvarían semanas de trabajo... Gracias por la info #2 y #3, si hay algún interesado.. jeje

Lo mismo tengo que postearlo en desarrollo :P

1 respuesta
KarlosWins

.

1 respuesta
Kaneas

#5 Si, necesitaría los datos tal cual están (o de una forma aproximada) para poderlos procesar con excel o Matlab, imagino que Generación en una pestaña, demanda en otra y emisiones en otra.

Kaneas

¿Alguno con idea del data scrapping que se podría usar? El de excel no rula XD

Soltrac

Por 100 euretes te hago un programa para q lo hagas tu mismo, que te lo exporte a excel o lo q quieras.

_eNcoDe

Usar sus propios datos "en bruto" quizá haga más sencillo todo el proceso.

1 respuesta
Kaneas

#9 :O!

NPI de como usar eso.. no soy informático solo un triste industrial al que no le dejaron estudiar cosas de ordenadores y ahora en cuanto entra a código que no sea C+, matlab o mierdas así se atasca como una vieja.
:no:

1 respuesta
_eNcoDe

#10 Si no fuera tan jarón lo mismo hasta lo intentaba, por aprender/entretenerme, pero como sé que lo dejaría a medias o nunca llegaría a funcionar correctamente, mejor me abstengo.
Suerte!

PD: House >>>> Industrial :P

1 respuesta
Soltrac

#11 Inténtalo, total, yo le he dicho q se lo hago por 100 euros y debe parecerle caro porque no se ha puesto en contacto conmigo (cosa rara, ya que he tirado el precio porque veo que necesita ayuda).

1 respuesta
_eNcoDe

Sinceramente, y como dije antes, estoy bastante lejos de intentarlo... entre la jaronería, que tengo a medias otros jaleos varios y sobretodo porque al no dedicarme profesionalmente a nada de esto no podría asegurarle los resultados ni calidad requerida en un tiempo prudencial, prefiero no meterme en faena.

Sin saber cómo lo vas a hacer #12 y cuánto tiempo le vas a dedicar es normal que le parezca caro soltar 100€ a las primeras de cambio. A mí, sin querer influir en el precio final si lo hubiera u ofenderte y sin saber como está el mercado, también me parece un poco inflado... aunque es lógico al compararlo con cualquier "simpleza" que pudiera salir de mis manos.

De todas formas #1 ha tenido un poco de mala suerte porque parece ser que la propia página tenía implementada una función para poder exportar los datos a csv con un simple click que seguramente hubiera sido bastante útil, pero la tienen oculta porque no funciona.

spoiler

Que buen tocho me ha quedao, ya no escribo más hasta 2015 por lo menos.

1 respuesta
Kaneas

#13 De hecho no deja ni exportar con la opción de importar del excel.

Ni en esa parte ni en otras de la página, no se si lo han capado a posta o que....

De todas formas, tus palabras son ciertas, está muy inflado el precio, por 100€ y poco más me pago el proyecto entero si quisiera (cosa que no quiero, quiero hacerlo yo). Porque esos datos son un 5% del proyecto, luego toda la currada tengo que hacerla yo, así que sería un poco tonto por mi parte pagar 100 € a una persona por unos datos que tengo gratis y que otra persona me ha ofrecido sacar por 10 €... xD

Entiendo que si inviertes tiempo en algo no lo hagas gratis, pero hay precios y precios para algo que un informático se saca con el nabo (cosa que envidio).

Gracias -eNcoDe de todas formas por haberle dado una vuelta al tema y haberlo intentado o al menos pensado.

Soltrac

Hacer un programa q saque esos datos automáticamente y los exporte a otro formato y cobrar por ello 100 euros no es para nada inflado. Así va la informática xdddd, prostitución a tope. Anyway dejemos el tema que no quiero desviarlo

2 1 respuesta
NeV3rKilL

#15 Cobrar 100€ por algo que te lleva 20 minutos sí está inflado. A qué precio cobras tu la hora?

1 respuesta
B

#16 En un fin de semana , festivo y a las 10 de la noche me gustaría a mi saber la tuya. De todas formas no es html estático no es tan sencillo como un parseador html básico.

Aqui tienes una url de ejemplo con datos en json, solo tienes que cambiar los parámetros:

https://demanda.ree.es/WSvisionaMovilesPeninsulaRest/resources/prevProgPeninsula?callback=angular.callbacks._1&curva=DEMANDA&fecha=2013-09-01

PD: Me debes 100 euros :P

Usuarios habituales