Comment puis-je analyser le contenu dynamique à partir d'une page Web?

J'essaie d'obtenir une liste de proxy de cette URL:

Liste de proxy gratuite

Ce serait cool, mais le numéro de port est un contenu JavaScript dynamique. Comment puis-je obtenir du contenu généré par JavaScript de cette page? J'ai jsoup et djNativeSwing, mais je veux le faire en arrière-plan.

JWebBrowser webBrowser = new JWebBrowser(); webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); System.out.println(webBrowser.getHTMLContent()); 

Ce code renvoie un résultat nul. Aidez-moi, s'il vous plaît.

Voici le petit exemple de solution de rechange: http://pastebin.com/FePkm2kp

J'espère que cela vous aidera.

Le webbrowser n'a pas fini de charger lorsque vous appelez la méthode getHtmlContent (). Utilisez à l'inverse quelque chose comme ceci:

 JWebBrowser webBrowser = new JWebBrowser(); webBrowser.navigate("http://spys.ru/en/free-proxy-list/"); webBrowser.addWebBrowserListener(new WebBrowserListener(){ public void loadingProgressChanged(WebBrowserEvent e){ if(e.getWebBrowser().getLoadingProgress()==100) System.out.println(webBrowser.getHTMLContent()); } } /* Note: I wrote this in the comment field without any testing, you probably have to make the webBrowser final. */ 

JavaDocs est votre ami!