如何使用JAVA来写个爬虫

本篇文章为大家展示了如何使用JAVA来写个爬虫,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

为丁青等地区用户提供了全套网页设计制作服务,及丁青网站建设行业解决方案。主营业务为成都做网站、成都网站设计、丁青网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

这篇文章其实是我很早之前就写好了的,这次重新整理一下。Java写爬虫可能很多朋友没有去试过,可能是由于这方面的资料比较少,也可能是Python写爬虫过于的方便。

 基本概念     

   jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.

     上面是官方给的jsoup官方解释,中文意思是  jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

总的来说,就是可以帮我们解析HTML页面,并且可以抓取html里面的内容。

开始写代码  

我们的目标是抓取菜鸟笔记上的信息(文章标题和链接         )        

如何使用JAVA来写个爬虫

public static void main(String[] args) {     try {         //下面这行代码是连接我们的目标站点,并且get到他的静态HTML代码    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();         //我们把获取到的document打印一下,看看里面到底是啥?    System.out.println(document);  } catch (IOException e) {    e.printStackTrace();  } }

看我们代码运行后的结果:

如何使用JAVA来写个爬虫

如何使用JAVA来写个爬虫

你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码

我们来分析一下这串html源码

如何使用JAVA来写个爬虫

发现这两个正是我们所想要得到的数据,我们继续抓取

public static void main(String[] args) {     try {    Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get();    //底下一行代码是我们进一步抓取到具体的HTML模块,div表示<div>标签,            //后面的post-intro表示的是div的class            //由于div.post-intro这个标签有多个(每个标题有一个),所以我们先获取到它的所有            Elements elements=document.select("div.post-intro");            //我们来遍历一下,因为div.post-intro有很多个    for(int i=0;i<elements.size();i++) {           //下面一行我们获取到文章的标题,可以结合图片来分析           // get(i)是为了获取每个div里面的<a>标签。后面的text(),就是获取<a></a>中的内容      String title=elements.select("a").get(i).text();           //attr是获取<a href="">里面的属性      String url=elements.select("a").get(i).attr("href");           //分别打印出来      System.out.println(title);      System.out.println("http://www.runoob.com/"+url);    }  } catch (IOException e) {    e.printStackTrace();  } }
 

如何使用JAVA来写个爬虫

上述内容就是如何使用JAVA来写个爬虫,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。

分享标题:如何使用JAVA来写个爬虫
分享地址:https://www.cdcxhl.com/article40/gdopeo.html

成都网站建设公司_创新互联,为您提供电子商务外贸网站建设标签优化网站营销网站建设网站改版

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都app开发公司