Python訪問小程式簡單方法程式碼例項詳解

mmz_77 發表於 2021-10-15
Python

大家都知道了嗎?全國住房公積金小程式正式上線執行啦,通過小程式可實時查詢個人住房公積金繳存、提取、貸款資訊,我們可以隨時掌握住房公積金變化情況。並且還可以同時可實現住房公積金賬戶、資金跨城市轉移 “一鍵辦”,不再需要前往櫃檯辦理,簡直不要太方便啦。

剛好最近在練習python,那我們今天就實踐一下, 使用python獲取住房公積金小程式的一些資料,這裡就寫個簡單的爬蟲demo

package htmlunit;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.impl.client.BasicCredentialsProvider;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class HtmlunitDemo {
    // 代理伺服器(產品官網 )
    final static String proxyHost = "t.16yun.cn";
    final static Integer proxyPort = 31111;
    // 代理驗證資訊
    final static String proxyUser = "USERNAME";
    final static String proxyPass = "PASSWORD";
    public static void main(String[] args) {
        CredentialsProvider credsProvider = new BasicCredentialsProvider();
        credsProvider.setCredentials(
        new AuthScope(proxyHost, proxyPort),
        new UsernamePasswordCredentials(proxyUser, proxyPass));
        WebClient webClient = new WebClient(BrowserVersion.CHROME,proxyHost, proxyPort);
        webClient.setCredentialsProvider(credsProvider);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());
        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
        webClient.getOptions().setActiveXNative(false);
        webClient.getOptions().setCssEnabled(false);
        HtmlPage page = null;
        try {
            page = webClient.getPage(");
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            webClient.close();
        }
        webClient.waitForBackgroundJavaScript(30000);
        String pageXml = page.asXml();
        System.out.println(pageXml);
    }
}

有關獲取到的資料以及分析結果下次分享,今天主要給大家分享下Python爬取小程式通用方法程式碼例項詳解,文中通過示例程式碼介紹的非常詳細,如果對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下呀,獲取的資料和分析結果我們下次分享,感興趣的小夥伴可以關注我一起交流學習爬蟲經驗。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31522063/viewspace-2837596/,如需轉載,請註明出處,否則將追究法律責任。