話說某天心血來潮想到一個問題，朋友圈裡面經常有人發投票連結，讓幫忙給XX投票，以前呢會很自覺開啟連結幫忙投一票。可是這種事做多了就會考慮能不能使用工具來進行投票呢，身為一名程式猿決定研究解決這個問題。於是有了以下思考
1.是否能一個人投多票,如果不行又是什麼限制了一人投多票?
答：投票網站限制了一個IP或者一個使用者只能投一票,防止惡意刷票行為
2.如果是一個IP一票那是否代表著多個IP就能投多票了呢?
答：答案是肯定的
3.用什麼方法能夠在程式碼裡面改變自己請求的IP?
答：HTTP請求的時候設定代理IP
4.多個代理IP從哪裡獲取,獲取到之後我又該如何使用程式碼自動化投票？
答：請看文章後面內容
本篇將介紹TaskManager內建任務-代理IP爬蟲實現細節,你需要準備的知識：HtmlAgilityPack解析HTML,Quart.net。
代理IP介紹
百度百科介紹：代理（英語：Proxy），也稱網路代理，是一種特殊的網路服務，允許一個網路終端（一般為客戶端）通過這個服務與另一個網路終端（一般為伺服器）進行非直接的連線。一些閘道器、路由器等網路裝置具備網路代理功能。一般認為代理服務有利於保障網路終端的隱私或安全，防止攻擊。
目前有很多廠商提供代理IP線上獲取,但是很多都是提供幾十個試用的，如果想使用更多的代理IP，則需付費購買。這裡我找到了一個提供很多代理IP的網站，可以自行百度“代理ip”(以免認為我打廣告)，或者參考開源TaskManager介紹這篇文章。
有了這麼多線上的代理IP可以解決文章開頭的問題4了，可是還有個問題這些資料都是網頁上的，我在程式碼裡面怎麼使用呢？這就用到了HtmlAgilityPack工具包，看名稱就能猜到是用來解析HTML的。
HtmlAgilityPack使用
HtmlAgilityPack是一個開源的解析HTML元素的類庫，最大的特點是可以通過XPath來解析HMTL，如果您以前用C#操作過XML，那麼使用起HtmlAgilityPack也會得心應手。
解析簡單的HTML
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
string HTML = @"<html><head><title>簡單解析測試</title></head><body> <div id='div1' title='div1'> <table> <tr> <td>1</td> <td title='cn'>cn</td> </tr> </table> </div> </body></html>"; var doc = new HtmlDocument(); doc.LoadHtml(HTML); //輸出頁面標題 Console.WriteLine("頁面title:"+doc.DocumentNode.SelectSingleNode("/html/head/title").InnerText); //獲取div1節點 方式1 HtmlNode divNode1 = doc.GetElementbyId("div1"); //獲取div1節點 方式2 HtmlNode divNode2 = doc.DocumentNode.SelectSingleNode("//div[@id='div1']"); //判斷節點1和節點2是否相同 Console.WriteLine("斷節點1和節點2是否相同:" + (divNode1 == divNode2)); //獲取頁面所有table HtmlNodeCollection tableCollection = doc.DocumentNode.SelectNodes("//table"); Console.WriteLine("頁面table數量:"+tableCollection.Count); //獲取table下所有td並輸出資訊 HtmlNodeCollection tdCollection = tableCollection[0].SelectNodes("tr/td"); foreach (var td in tdCollection) { HtmlAttribute atr = td.Attributes["title"]; Console.WriteLine("td InnerText:" + td.InnerText + " | td title屬性值:" + (atr == null ? "" : atr.Value)); } Console.Read(); |
代理IP爬蟲實現
會了HtmlAgilityPack的一些簡單操作之後進入正式爬取過程,由於需要爬取的網頁帶IP封鎖功能(一段時間請求頻率過高封鎖當前IP)，在設計過程中我採用了爬取五次自動換代理IP突破網站限制(感覺自己壞壞的)。
整體實現邏輯
在.net裡面使用WebRequest可以模擬HTTP的get Post請求,最終要的一點能設定請求時使用的代理IP，重點關注我標紅的程式碼
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
/// <summary> /// 代理使用示例 /// </summary> /// <param name="Url"></param> /// <param name="type"></param> /// <returns></returns> public static string GetUrltoHtml(string Url, string type) { try { var request = (HttpWebRequest)WebRequest.Create(Url); request.UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"; WebProxy myProxy = new WebProxy("192.168.15.11", 8015); //建議連線（代理需要身份認證，才需要使用者名稱密碼） myProxy.Credentials = new NetworkCredential("admin", "123456"); //設定請求使用代理資訊 request.Proxy = myProxy; // Get the response instance. System.Net.WebResponse wResp = request.GetResponse(); System.IO.Stream respStream = wResp.GetResponseStream(); // Dim reader As StreamReader = New StreamReader(respStream) using (System.IO.StreamReader reader = new System.IO.StreamReader(respStream, Encoding.GetEncoding(type))) { return reader.ReadToEnd(); } } catch (System.Exception ex) { //errorMsg = ex.Message; } return ""; } |
瞭解如何使用代理IP，離我們的目標又近了一步，下面就是代理IP獲取的實現了,由於程式碼有點多，我這裡只貼出重要部分，IpProxyGet.cs原始碼可到文章末尾自行下載。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
/// <summary> /// 獲取總頁數 /// </summary> /// <returns>總頁數</returns> private static int GetTotalPage(string IPURL, string ProxyIp) { var doc = new HtmlDocument(); doc.LoadHtml(GetHTML(IPURL, ProxyIp)); var res = doc.DocumentNode.SelectNodes(@"//div[@class='pagination']/a"); if (res != null && res.Count > 2) { int page; if (int.TryParse(res[res.Count - 2].InnerText, out page)) { return page; } } return 1; } |
解析每一頁HTML資料
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 |
/// <summary> /// 解析每一頁資料 /// </summary> /// <param name="param"></param> private static void DoWork(object param) { //引數還原 Hashtable table = param as Hashtable; int start = Convert.ToInt32(table["start"]); int end = Convert.ToInt32(table["end"]); List<IPProxy> list = table["list"] as List<IPProxy>; ProxyParam Param = table["param"] as ProxyParam; //頁面地址 string url = string.Empty; string ip = string.Empty; IPProxy item = null; HtmlNodeCollection nodes = null; HtmlNode node = null; HtmlAttribute atr = null; for (int i = start; i <= end; i++) { LogHelper.WriteLog(string.Format("開始解析,頁碼{0}~{1},當前頁碼{2}", start, end, i)); url = string.Format("{0}/{1}", Param.IPUrl, i); var doc = new HtmlDocument(); doc.LoadHtml(GetHTML(url, Param.ProxyIp)); //獲取所有資料節點tr var trs = doc.DocumentNode.SelectNodes(@"//table[@id='ip_list']/tr"); if (trs != null && trs.Count > 1) { LogHelper.WriteLog(string.Format("當前頁碼{0},請求地址{1},共{2}條資料", i, url, trs.Count)); for (int j = 1; j < trs.Count; j++) { nodes = trs[j].SelectNodes("td"); if (nodes != null && nodes.Count > 9) { ip = nodes[2].InnerText.Trim(); if (Param.IsPingIp && !Ping(ip)) { continue; } //有效的IP才新增 item = new IPProxy(); node = nodes[1].FirstChild; if (node != null) { atr = node.Attributes["alt"]; if (atr != null) { item.Country = atr.Value.Trim(); } } item.IP = ip; item.Port = nodes[3].InnerText.Trim(); item.ProxyIp = GetIP(item.IP, item.Port); item.Position = nodes[4].InnerText.Trim(); item.Anonymity = nodes[5].InnerText.Trim(); item.Type = nodes[6].InnerText.Trim(); node = nodes[7].SelectSingleNode("div[@class='bar']"); if (node != null) { atr = node.Attributes["title"]; if (atr != null) { item.Speed = atr.Value.Trim(); } } node = nodes[8].SelectSingleNode("div[@class='bar']"); if (node != null) { atr = node.Attributes["title"]; if (atr != null) { item.ConnectTime = atr.Value.Trim(); } } item.VerifyTime = nodes[9].InnerText.Trim(); list.Add(item); } } LogHelper.WriteLog(string.Format("當前頁碼{0},共{1}條資料", i, trs.Count)); } LogHelper.WriteLog(string.Format("結束解析,頁碼{0}~{1},當前頁碼{2}", start, end, i)); } } |
最終會獲取2萬多條資料
自動投票簡單實現
這裡使用.net的WebBrowser控制元件來載入頁面，最終效果如下
（檢視大圖）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
#region 設定代理IP private void button2_Click(object sender, EventArgs e) { string proxy = this.textBox1.Text; RefreshIESettings(proxy); IEProxy ie = new IEProxy(proxy); ie.RefreshIESettings(); //MessageBox.Show(ie.RefreshIESettings().ToString()); } #endregion #region 取消代理IP private void button3_Click(object sender, EventArgs e) { IEProxy ie = new IEProxy(null); ie.DisableIEProxy(); } #endregion #region 開啟網頁 private void button1_Click(object sender, EventArgs e) { string url = txt_url.Text.Trim(); if (string.IsNullOrEmpty(url)) { MessageBox.Show("請輸入要開啟的網址"); return; } this.webBrowser1.Navigate(url, null, null, null); } #endregion |
總結
本篇要介紹的內容到此結束了，下面寫點我的期待！希望有喜歡的朋友一起來完善TaskManager(完全開源的),使之成為一款能夠提高生活便捷性的工具，新增很多新任務。比如：第二天要下雨或者下雪，發個郵件提醒，帶上雨傘…。好了到了放出原始碼的時間了。敬請期待下一篇！
- 簡單投票原始碼：http://files.cnblogs.com/files/yanweidie/SimpleIP.rar
- TaskManagerSVN地址：http://code.taobao.org/svn/TaskManagerPub/Branch 使用svn checkout指令進行下載。
- GitHub地址：https://github.com/CrazyJson/TaskManager
- 體驗工具下載地址：TaskManager 解壓後檔案執行合併SQL,修改Config.xml資料庫連線,使用WSWinForm進行安裝。