ASP.NET視訊採集站核心技術分析

     程式碼如下：

string[] list=html.Split(new string[]{"
"},StringSplitOptions.RemoveEmptyEntries);
      加一些簡單的控制條件，然後從每一個字串片段中提取資訊放入類裡。
      如採集視訊縮圖：
           foreach (string s in list)
{
               begin = s.IndexOf("src")+5;
end = s.IndexOf("")-4;
v.ImgUrl = s.Substring(begin, end - begin + 1);
                         …………
                         }
        
      有了這樣的基礎，就可以進一步封裝成一些函式，便於快速採集了。如：
/// 

/// 獲取兩個日期段之間的所有視訊實體
/// 
/// 
/// 
/// 每天的最大視訊數
/// 
public static List<Video> GetVideoByDate(DateTime beginDate, DateTime endDate,int everydayMax)
{
ByDateVideoList = new List<Video>();
DateTime dt = beginDate;
    while (dt <= endDate)
{
ByDateVideoList.AddRange(GetTopVideo(GetTudouString(dt.ToString("yyyyMMdd")),everydayMax));
dt = dt.AddDays(1);
}
return ByDateVideoList;
}
       
       還有一個小細節。土豆網採用的是GBK編碼，我們如果也採用GBK編碼，搜尋引擎就會發現重複資料太大，所以我們必須要修改編碼。假設我們的網站使用UTF8編碼，如何將採集到的GBK編碼資料轉換成UTF8進行展示呢? 參考以下函式：
     
public static string ConvertEncoding(Encoding oldEncoding, Encoding newEncoding, string oldString)
{
byte[] ldBytes = oldEncoding.GetBytes(oldString);
byte[] newsBytes = Encoding.Convert(oldEncoding, newEncoding, oldBytes);
char[] newChars = new char[newEncoding.GetCharCount(newsBytes, 0, newsBytes.Length)];
newEncoding.GetChars(newsBytes, 0, newsBytes.Length, newChars, 0);
string newString = new string(newChars);
return newString;
}
     最後，很重要了！做一個簡單的URL Rewrite，方便搜尋引擎搜錄。按照Google排PR的原則，離根目錄越近、地址越短、get引數越少的地址更容易收錄並靠前。
我們可以這樣來做，在Global.asax.cs裡這樣寫
  protected void Application_BeginRequest(object sender, EventArgs e)

        {

            robot();



            string Id = Request.Path.Substring(Request.Path.LastIndexOf('/') + 1);

            if (Id.Length==16)

            {

                Server.Transfer("~/V.aspx?Id=" + Id.Substring(0,11));

            }

        }
     這樣，原本是 http://www.kangxiyoulaile.com/v.aspx?id=3IPFQqeKtKc 的地址就可以通過
http://www.kangxiyoulaile.com/3IPFQqeKtKc.aspx  來訪問。把網站上所有帶引數形式的內部連結都改成後者，就可以瞞過搜尋引擎了。
    我們還可以賤一點，做一些針對搜尋引擎的優化。例如以下程式碼是判斷搜尋引擎蜘蛛訪問的。我們大可以在判斷到訪問者是搜尋引擎蜘蛛之後，對頁面資料做一些更改。。嘿嘿。。由於這招太賤了，以下不演示具體細節。稍微改改下面的程式碼你就可以……
  /// 


        /// 判斷蜘蛛是否來過

        /// 


        /// 

        protected bool robot()

        {

            bool brtn = false;

            string king_robots = "mailto:Baiduspider+@Baidu%7CGooglebot@Google%7Cia_archiver@Alexa%7CIAArchiver@Alexa%7CASPSeek@ASPSeek%7CYahooSeeker@Yahoo%7Csohu-search@Sohu%7Chelp.yahoo.com/help/us/ysearch/slurp@Yahoo%7Csohu-search@SOHU%7CMSNBOT@MSN";

            string ls_spr;

            ls_spr = Request.ServerVariables["http_user_agent"].ToString();

            char[] delimiterChars = { '|' };

            char[] x = { '@' };

            string[] I1 = king_robots.Split(delimiterChars);
            for (int i = 0; i < I1.Length; i++)

            {

                string[] spider = I1[i].Split(x);

                if (ls_spr.IndexOf(spider[0].ToString()) > -1)

                {

                    brtn = true;

                    logrobots(spider[1].ToString()+"|"+Request.Path+"|");

                    break;

                }

            }

            return brtn;

        }
     好了！關鍵的技術都分析完了，我們點到為止吧，靠大家自己了！o(∩_∩)o
 1
			
			

			
			
                                                            

                    

                                                    來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/12639172/viewspace-610959/，如需轉載，請註明出處，否則將追究法律責任。