星空网 > 软件开发 > Java

HtmlUnit 开发网络爬虫(一)

网络爬虫第一个要面临的问题,就是如何抓取网页,抓取其实很容易,没你想的那么复杂,一个开源HtmlUnit包,几行代码就OK啦!

通常在一个页面中会包含别的Url,在别的Url当中又会包含更多的Url。如果我们要对与该站点相关的Url全部都抓取过来。就相当于我们要对跟这个站有关的Url进行搜索。

 

常用的搜索算法有bfs和dfs,考虑到网页上的Url的重要程度还是以广度来分布的,所以这里采用bfs来搜索url。

到这里又会产生一些问题:

1,搜索过的url,并不需要重新访问
2,如何拼凑新的url
3,不要访问站外url,处理无法访问的url等.....

总之我们尽可能的根据实际的情况得到自己想要的url~所以我们尽可能编写合法的剪枝算法。

下面添上自己胡乱写的算法的框架,写的不好哈哈。

import java.io.IOException;import java.net.MalformedURLException;import java.util.HashMap;import java.util.HashSet;import java.util.LinkedList;import java.util.Map;import java.util.Queue;import java.util.Set;import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;import com.gargoylesoftware.htmlunit.WebClient;import com.gargoylesoftware.htmlunit.html.HtmlAnchor;import com.gargoylesoftware.htmlunit.html.HtmlPage;//引用HtmlUnitpublic class MyWalker {  static int num = 0;//暂时用num进行限制    final static WebClient webClient = new WebClient();  static Queue<String> Q = new LinkedList<String>();//存放被抓取的Url  static Set<String> linkUrl = new HashSet<String>();  static Map<String,Boolean> flagMap = new HashMap<String,Boolean>();//标记Url是否访问过    static{    webClient.getOptions().setCssEnabled(false);    webClient.getOptions().setJavaScriptEnabled(false);  }    private static String baseUrl = "http://xjasc.gov.cn";    //拼凑出可再次访问的url, 这里的拼凑是不完整的  private static String createUrl(String current, String u){
     return current + "/" + u; } //判断该链接是否合法 private static boolean isLegal(String url){ if(num > 100) return false; return true; } //页面是否坏掉 private static boolean isBadUrl(String url){ return false; } private static void bfs(){ Q.offer(baseUrl); linkUrl.add(baseUrl); flagMap.put(baseUrl,false); while(!Q.isEmpty()){ //得到当前的Url try { String tmpUrl = Q.poll(); if(flagMap.get(tmpUrl)==false){//该结点没有访问过 flagMap.put(tmpUrl, true);//标记为已经访问 HtmlPage page = webClient.getPage(tmpUrl); java.util.List<HtmlAnchor> achList=page.getAnchors(); for(HtmlAnchor ach:achList){ String newUrl = createUrl(tmpUrl, ach.getHrefAttribute()); if(isLegal(newUrl)){ System.out.println(newUrl); num++; linkUrl.add(newUrl); flagMap.put(newUrl,false); Q.offer(newUrl); } } } } catch (FailingHttpStatusCodeException e) { System.out.println(e.getStatusCode()); } catch (MalformedURLException e) { } catch (IOException e) { } } } public static void main(String[] args) { bfs(); } }

 




原标题:HtmlUnit 开发网络爬虫(一)

关键词:HTML

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

规避高关税之中转港,你知道怎么操作吗?:https://www.ikjzd.com/articles/97703
Shopify收款费率全方位对比,哪家收款渠道最靠谱?:https://www.ikjzd.com/articles/97705
哪些拒绝才是客户的真实拒绝 ?不放过任何机会!:https://www.ikjzd.com/articles/97707
最新FAK费率公布!亚洲、欧洲、地中海FAK费率汇总!:https://www.ikjzd.com/articles/97709
亚马逊运营的必经之路,5大绝招盘点!:https://www.ikjzd.com/articles/97710
投资一亿欧元!这家跨境服务商押宝卢森堡?:https://www.ikjzd.com/articles/97711
长治婚庆女司仪和主持人:https://www.vstour.cn/a/366176.html
北京丰台区水上乐园哪家好玩?:https://www.vstour.cn/a/366177.html
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流