抓取網頁中的原始碼.

悠悠隱於市發表於2011-03-24

   首先在獲取html頁面的原始碼之前..

   要準備Apache裡面的兩個包:

   htmllexer.jar

   htmlparser.jar

   有了這兩個包方便,抓取網頁中的原始碼,抓取之後,生成一個txt文件..如果要獲取裡面的內容..就自己處理下就好了..

 

   具體程式碼如下:

 

package pack.java.url;
import java.io.File;
import java.io.FileOutputStream;
import org.htmlparser.Parser;   
import org.htmlparser.util.NodeList;
public class Test {   
    /**
     * 測試方法;
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception{   
        // TODO Auto-generated method stub 
        String url="http://www.baidu.com/";  
        //建立一個parser物件;
        Parser parser=new Parser(url);
        //設定字元編碼格式;
        parser.setEncoding("gb2312");   
        NodeList list=parser.parse(null);   
        //輸出;
        FileOutputStream outputStream = new FileOutputStream(new File("C:/pageData.txt"));
        outputStream.write(list.toHtml().getBytes());
    }   
}  

 

 

 

 

 

 

相關文章