• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

JD价格监控【docker版】

开发技术 开发技术 4个月前 (02-04) 33次浏览

快过年了,准备买些年货,于是频繁刷购物网站对比价格,搞得还是挺头大的。我想能不能做个应用抓取实时价格并在低于预期价格后进行提醒,于是就有了本篇文章。本文主要分享怎么将本地项目打包成镜像并推送到dockerhub上

最初用的是node+cheerio,请求商品页面通过选择器解析商品名称和价格。但是多次调试后页面会在页面内重定向,这样就抓取不到了,应该是触发了jd的反爬虫机制。在换了几种方式无果后将眼光投向了github,最终fork了一份由python实现的方案进行改善。

效果

JD价格监控【docker版】
JD价格监控【docker版】
JD价格监控【docker版】

技术栈

  1. 前端:Boostrap+Jquery
  2. 后端:Python+Flask
  3. 爬虫:requests+beautifulsoup4+PyExecJS
  4. 代理池:https://github.com/0xHJK/Proxies 简易实现

fork后新增自定义商品字段,增加钉钉通知,增加docker启动。

注意

  1. 需要调用nodejs来获取token,所以不仅需要python,还需要node环境。
  2. 因为配置文件需要自己设置,所以新增config文件夹方便文件挂载
# 基于python创建镜像
FROM python:3.7.0
# 设置工作目录
WORKDIR /usr/src/app
# 设置pip镜像
RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.com
# 把本地文件复制到镜像工作目录下
COPY . .
# 安装node环境
RUN wget https://npm.taobao.org/mirrors/node/latest-v12.x/node-v12.16.1-linux-x64.tar.xz && tar -xf node-v12.16.1-linux-x64.tar.xz -C /opt
# 设置环境变量
ENV EXECJS_RUNTIME=$PATH:/opt/node-v12.16.1-linux-x64/bin
RUN ln -s /opt/node-v12.16.1-linux-x64/bin/node /usr/local/bin/
RUN ln -s /opt/node-v12.16.1-linux-x64/bin/npm /usr/local/bin/
# 打印版本
RUN echo 'node 版本:' && node -v
RUN echo 'python 版本:' && python -V
# 安装依赖
RUN pip install --no-cache-dir -r requirements.txt
# 启动
CMD  cd web && python server.py

生成并推送本地镜像到dockerhub

  1. 生成本地镜像
    docker build -t jdspider .
  2. 修改本地镜像和dockerhub上一样
    docker tag jdspider yimijianfang/jd-spider:0.6
  3. 登录dockerhub
    docker login
  4. 推送
    docker push yimijianfang/jd-spider:0.6

不想上传到dockerhub还可以在本地打镜像压缩包

# 打包镜像到本地
docker save -o jdspider.tar jdspider
# 解压加载镜像
docker load -i jdspider.tar

使用方法

在宿主机上添加配置文件

cd /data/jd-spider/config
touch config.cfg
# config.cfg
[mail]
host     = smtp.qq.com
port     = 25
user     = xxx@qq.com
pass     = xxx
sender   = xxx@qq.com

[dingding]
webhook  = https://oapi.dingtalk.com/robot/send?access_token=xxx

[select]
option   = mail
# 启动docker
docker run --name jdspider -p 5858:5858 -v /data/jd-spider/config:/usr/src/app/web/config -d yimijianfang/jd-spider:0.6

打开http://ip:5858查看效果,另外如果使用邮箱需要申请开放25端口

github地址:https://github.com/yimijianfang/mall-monitor

其他项目,欢迎star

vue滑块验证组件 https://github.com/yimijianfang/vue-drag-verify
jquery音乐播放插件 https://github.com/yimijianfang/music
vue组件props自动生成器 https://github.com/yimijianfang/auto-props


程序员灯塔
转载请注明原文链接:JD价格监控【docker版】
喜欢 (0)