Buenos días casi tardes...
quería comentar en el foro si alguien podría ayudarme con un problema que tengo.
no tengo ni idea de como podría coger...(de una web tipo alquiler de viviendas) los precios y que se actualicen.
he estado mirando y he encontrado que desde excel y con el cron jobs podría llegar a hacer algo similar, pero no se como podría llegar a hacerlo.
si alguien me ayudara lo agradecería.
Salu2.
Lo que dice #2 pero basicamente se basan en regexp. Pasate por este post tambien http://www.mediavida.com/foro/dev/expresiones-regulares-ahora-modo-facil-468635
Con esto http://php.net/manual/es/function.file-get-contents.php puedes obtener todo el código fuente, parséalo con expresiones regulares y tendrás tus precios.
#7 yo cuando he necesitado algo así siempre he usado http://simplehtmldom.sourceforge.net/
hace relativamente poco parsee un foro en phpBB enterito, tengo todo un foro con mas de 20k mensajes en un json xDDD
(aqui si kaoD xD)
XPath es mil veces mejor que andar con expresiones regulares, incluso hay extensiones para Chrome que te agilizan el proceso 
Como comenta #6 con simplehtmldom se puede hacer también.
Lo he usado para un plugin de wp que hice, concretamente para el autocompletador pillando los datos de filmaffinity. Eso si, si te cambian la web -como paso con film hace 2 semanas- te tocara modificar el codigo xd.
#1
Una pequeña guía con ejemplos de como capturar datos de una web mediante php y curl.
Merece la pena echarle un ojo.
http://www.jacobward.co.uk/web-scraping-with-php-curl-part-1/
http://www.jacobward.co.uk/working-with-the-scraped-data-part-2/
Mejor si lo subes a un pastebin o algo parecido, por que el code de mv hace la gracia, y te acorta las URL en los code blocks.
Yo cuando he hecho historias de estas he programado algún scrapper en Java con JSoup.
Si necesitas algo más complejo (que envíe información además de simplemente obtener HTML) la librería HttpComponents es muy útil.
¿Y que hay que hacer cuando has de logearte para conseguir ciertos datos?
Porque ahí es donde estoy atascado, además la página está en .NET y no sé si aun será más complicado.
#18 loggearte como lo harías normalmente (y guardar las cookies que te devuelve cuando estás loggeado).
#18 Pues te revisas el código, ves la información que se envía por POST o GET y utilizas algo como HttpComponents para generar los mensajes.
Instálate algo como esto -> https://addons.mozilla.org/es/firefox/addon/httpfox/
Después es cuestión de imitar la petición. Lo más complicado es que envie códigos calculados por Javascript, que tendrás que portar el código de JS al lenguaje de tu crawler o interpretarlo, pero tp es nada del otro mundo.
Si estás con PHP puede que te simplifique un poco la vida -> https://github.com/tonikelope/FastCurl
Salu2 
#22 Lo primero con Firebug ya se hace algo idéntico en la pestaña de Red, aunque se visualiza bastante mejor la verdad.
Lo segundo le echaré un ojo a ver que tal, espero conseguirlo algún día xD
Gracias
Al final te cambian la web y te han jodido el script, y en general no cumples los terminos y condiciones, aunque los terminos legales de esto son bastante inespecificos, por lo que tienes via libre.
Revivo esto para no abrir otro tema (si debería hacerlo que alguien que me pegue un toque para no repetir error).
¿Qué lenguaje debería usar para extraer datos de un puñado de webs?
Estoy escribiendo un programa en c++ que me gustaría tener corriendo en segundo plano. Lo que quiero es que extraiga ciertos valores cada X tiempo de dichas páginas. He buscado por inet pero no me ha quedado muy claro. Me da igual aprender algo nuevo; quiero lo más ligero/eficiente.
He visto scrapy mencionado mucho, pero al ser en python confío en su rapidez. ¿Estoy prejuzgando mal?
Lo mejor nose, pero con python usando beautifulsoup me ha parecido coser y cantar.
http://www.crummy.com/software/BeautifulSoup/bs4/doc/
#25 Yo he usado Python con Scrapy.
También he oído maravillas de BeautifulSoup como dice #28, pero Scrapy me pareció más completo.
