¿Conocéis alguna librería que tenga la facilidad de jquery y que interprete javascript? , por ejemplo para java me gustó bastante https://jsoup.org/, la idea es que simule a la hora de parsear el html lo más parecido a un navegador. Una opción sería una extensión de navegador (chrome, firefox ... ), pero prefiero tener una aplicación autónoma y sin interfaz gráfica.
#2 Con jsoup me refiero al tema de parsear html.
Por telegram me han recomendado:
Para node.js
http://phantomjs.org/ y https://slimerjs.org para scraping
cheerio https://github.com/cheeriojs/cheerio para parsear al estilo jquery
Saludos.
#3 Pues ya lo tienes, aunque phantom ha dejado de ser desarrollado en favor del headless browser de Google.
Quizá deberías echarle un vistazo, o seguir con Phantom, lo que prefieras.
#4 Te refieres a puppeteer?
https://github.com/GoogleChrome/puppeteer
he encontrado un listado de unos cuantos para comparar.
https://github.com/dhamaniasad/HeadlessBrowsers
Por ejemplo he visto que phantom.js es compatible con varios lenguajes pero claro si lo han abandonado ... , el lenguaje en un principio me da lo mismo pero prefiero c#, java, python, aunque por lo que veo me va tocar meterme con node.js
#6 Yo tengo un motor de scrapping que trabaja con PhantomJS, aunque hace tiempo que no toco el proyecto, ¿por qué? ¿qué necesitas?
#8 Sep, puedes recorrer el DOM, hacer click en elementos, meter datos en un formulario... pero si quieres algo más completo y que sea más "interactivo" de cara a la web que visites, te recomiendo que uses "Selenium": http://www.seleniumhq.org/
#13 hasta ahora lo hice todo a pelo, es decir jsoup para scrapear el html y gets con userAgent, pero desde java no me imagino como poder ejecutar un evento, por ejemplo "haz scroll en la web"
#14 Son conceptos completamente diferentes, parsear un html no tiene misterio alguno. Hacer mover la web a tu antojo tampoco, pero es algo que tienes que ir aprendiendo, las "api" para cada lenguaje y como interactua con el navegador.
#17 parece que tu no entiendes mi pregunta, dices que aprenda a usar la api del webview de android para hacer eventos de scroll? no quiero usar un webview.
Headless browsers are used for:
Scraping web sites for data.
Automating interaction of web pages.
que es lo que no entiendo?
#19 quiero simularr navegación web desde un servicio de android, el problema de hacerlo a pelo es que no hay forma de crear eventos para que parezca más real la visita , por eso pregunto si con phantom lo podría hacer
#22 Es la función principal de la automatización de web browsers, los tests, pero la misma tecnología está siendo usada para muchas otras cosas. De hecho yo uso selenium+phatom muchas veces para scrapear.
Quizá si eres un poco mas especifico de por que quieres simular una navegación web desde android podemos ayudarte.