• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Springboot+JPA下实现简易爬虫–爬取豆瓣电视剧数据

开发技术 开发技术 5天前 10次浏览

Springboot+JPA下实现简易爬虫–爬取豆瓣电视剧数据


  前言:今天听到产品那边讨论一些需求,好像其中一点是用户要求我们爬虫,在网页上抓取一些数据然后存到我们公司数据库中,众所周知,爬虫的实现对于python语言可是专家,而对于我们使用的Java语言,我也不确定可不可以,趁着无事,上网参考了下资料,自己也写了些demo,所幸爬取数据成功了,由于我使用的基础demo项目是自己搭建的springboot+jpa的项目,因此也会在这个基础上进行爬虫的实现,文章会贴出具体的步骤以及重要的代码,至于项目的搭建就不介绍了,我的完整代码会同步至gitHub,大家可以参考使用,当然也可以使用自己的springboot项目。

gitHub地址:https://github.com/Slience-zae/mail-demo.git

1.材料准备

1.1首先打开豆瓣的网页,同时F12打开控制台

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 

 1.2 在控制台中找到接口url,请求头信息,以及相应数据格式和字段

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 

 

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 

 

 Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 在网页上准备的材料这些就可以了,接下来,该动手撰写代码了。

2.代码实现步骤

2.1 数据库创建表格

CREATE TABLE `subjects` (
  `id` varchar(255) NOT NULL COMMENT 'id',
  `title` varchar(255) DEFAULT NULL COMMENT '标题',
  `rate` decimal(10,2) DEFAULT NULL COMMENT '豆瓣评分',
  `url` varchar(255) DEFAULT NULL COMMENT '观影地址',
  `playable` tinyint(4) DEFAULT NULL COMMENT '是否可以观看:0是 1否',
  `cover` varchar(255) DEFAULT NULL COMMENT '封面图片地址',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

通过相应数据可以得知共有九个字段,但是我们主要保存的是数据主要信息,其中cover_x,cover_y,is_new对于我们来说没有什么意义,可以不保存到数据库,因此略过。

2.2 hibernate逆向生成实体

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

选中右键点击,选择Generate persistence Mapping,再选择By Database Schema,选中数据库的表,再选择生成实体的包位置,最后点击ok就能生成到指定位置了,生成后我们再加以修改一下实体,大体是这个样子。

import lombok.Data;
import javax.persistence.*;
import java.math.BigDecimal;
@Data
@Entity
@Table(name = "subjects")
public class Subjects {
    @Id
    private String id;//id
    private String title;//标题
    private BigDecimal rate;//豆瓣评分
    private String url;//观影地址
    private Boolean playable;//是否能够观看
    private String cover;//封面图片URL
    @Transient
    private Integer cover_x;
    @Transient
    private Integer cover_y;
    @Transient
    private Boolean is_new;
}

在此说明一下,之所以将cover_x,cover_y,is_new三个字段也添加进实体了,是为了防止接下来json数组转化List<Subjects>时发生异常,我已经在这三个字段上加了@Transient注解,因此三个字段不会映射数据库

2.3 编写向指定网址抓取json数据的工具

import org.springframework.boot.configurationprocessor.json.JSONObject;
import org.springframework.stereotype.Component;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
@Component
public class GetJson {
    public JSONObject getHttpJson(String url){
        try {
            URL realUrl = new URL(url);
            HttpURLConnection connection = (HttpURLConnection) realUrl.openConnection();
            //设置HTTP的请求头(参考材料准备截图的请求头信息)
            connection.setRequestProperty("Accept", "*/*");//设置浏览器可以接收的媒体类型
            connection.setRequestProperty("Connection", "keep-alive");//网页打开,建立连接
            connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3928.4 Safari/537.36");//客户端使用的操作系统和浏览器的名称和版本
            // 建立实际的连接
            connection.connect();
            //请求成功
            if (connection.getResponseCode() == 200) {
                InputStream is = connection.getInputStream();
                //创建字节数组输出流对象
                ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
                //10MB的缓存
                byte[] buffer = new byte[10485760];
                int len = 0;
                while ((len = is.read(buffer))!= -1) {
                    byteArrayOutputStream.write(buffer, 0, len);
                }
                String jsonString = byteArrayOutputStream.toString();
                byteArrayOutputStream.close();
                is.close();
                //转换成json数据返回
                return new JSONObject(jsonString);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
}

注意一点,设置连接对象的请求头信息的时候,要将我们在豆瓣上拿到的那几个参数设置成一样的,防止抓取数据失败,具体那几个参数是什么,已经在代码注释上加以说明了。

2.4 完整业务代码糅合实现

(1).在application.properties配置文件中加入以下代码

#豆瓣网址
douban_url= https://movie.douban.com/j/search_subjects

(2) dao层加入类

import com.maven.maildemo.entity.Subjects;
import org.springframework.data.jpa.repository.JpaSpecificationExecutor;
import org.springframework.data.repository.CrudRepository;

public interface SubjectsDao extends CrudRepository<Subjects, String>, JpaSpecificationExecutor<Subjects> {

}

(3) service,serviceImpl,controller层代码

import com.maven.maildemo.entity.Subjects;
import java.util.List;

public interface SubjectsService {
    /**
     * 在豆瓣网页上抓取电视剧信息保存并返回
     * @author zae
     * @param pageNumber 页码
     */
    List<Subjects> getAndSaveSubjectsList(Integer pageNumber) throws Exception;
}

 

import com.alibaba.fastjson.JSON;
import com.maven.maildemo.dao.SubjectsDao;
import com.maven.maildemo.entity.Subjects;
import com.maven.maildemo.service.SubjectsService;
import com.maven.maildemo.utils.GetJson;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.configurationprocessor.json.JSONArray;
import org.springframework.boot.configurationprocessor.json.JSONObject;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import java.util.ArrayList;
import java.util.List;

@Slf4j
@Service
@Transactional
public class SubjectsServiceImpl implements SubjectsService {

    @Value("${douban_url}")
    private String doubanUrl;

    @Autowired
    private GetJson getJson;

    private final String DOUBAN_PARM = "?type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=";

    @Autowired
    private SubjectsDao subjectsDao;

    @Override
    public List<Subjects> getAndSaveSubjectsList(Integer pageNumber) throws Exception {
        if(pageNumber>=0 && pageNumber <= 10000){
            String address = doubanUrl+DOUBAN_PARM+pageNumber;
            //获取json对象数据
            JSONObject httpJson = getJson.getHttpJson(address);
            if(httpJson != null){
                //取出json数据数组
                JSONArray subjectsArray = httpJson.getJSONArray("subjects");
                    if(subjectsArray!=null){
                        //将json数组转化为List
                        List<Subjects> subjectsList = JSON.parseArray(subjectsArray.toString(),Subjects.class);
                        for(Subjects subjects:subjectsList){
                            //爬出数据后,保存在数据库
                            subjectsDao.save(subjects);
                        }
                        return subjectsList;
                    }else{
                        return new ArrayList<>();
                    }
                }else{
                    return new ArrayList<>();
                }
        }
        return new ArrayList<>();
    }
}

 

import com.alibaba.fastjson.JSON;
import com.maven.maildemo.entity.Subjects;
import com.maven.maildemo.service.SubjectsService;
import io.swagger.annotations.Api;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;

@RestController
@RequestMapping("subjects")
@Api(description = "豆瓣")
public class SubjectsController {
    @Autowired
    private SubjectsService subjectsService;

    /**
     * 在豆瓣网页上抓取电视剧信息保存并返回
     * @param pageNumber 页码
     * @author zae
     * @return
     */
    @GetMapping(value = "/getAndSaveSubjectsList")
    String getAndSaveSubjectsList(@RequestParam Integer pageNumber){
        try {
            List<Subjects> subjectsList = subjectsService.getAndSaveSubjectsList(pageNumber);
            return subjectsList==null?null: JSON.toJSONString(subjectsList);
        } catch (Exception e) {
           return "爬取数据信息发生异常"+e.getMessage();
        }
    }
}

业务代码没啥复杂的,基本上都加注释了,看一下就好了。

3.测试

启动项目,打开swaager,找到刚刚写的接口,输入参数点击进行测试。

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 

 此时不出意外应该是执行成功了,打开数据库,看一下库里有没有我们爬下来的数据。

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

 

 发现库里有值,说明我们已经成功的将数据爬下来了。不仅仅豆瓣如此,其他网页数据也是类似的实现。

本人java爬虫学习借鉴博客:https://blog.csdn.net/qwe86314/article/details/91450098&nbsp; 博主是使用的mybatis结合实现,而我的是结合springboot+jpa的项目使用的。

如有问题,多多评论指教,文章编写不易,期待您的推荐和赞,

 


喜欢 (0)