分布式新闻项目实战 - 13.项目部署_持续集成(Jenkins) ^_^ 完结啦 ~

发布时间:2025-12-09 19:39:03 浏览次数:4

欲买桂花同载酒,终不似,少年游。

系列文章目录

  • 项目搭建
  • App登录及网关
  • App文章
  • 自媒体平台(博主后台)
  • 自媒体文章审核
  • 延迟任务
  • kafka及文章上下架
  • App端文章搜索
  • 后台系统管理
  • Long类型精度丢失问题
  • 定时计算热点文章(xxl-Job)
  • 热点文章-实时计算(kafkaStream)
  • 项目部署_持续集成(Jenkins)

  • 文章目录

    • 系列文章目录
    • 一、概述
      • 1.1 什么是持续集成
      • 1.2 持续集成的好处
    • 二、软件开发模式
      • 2.1 软件开发生命周期
      • 2.2 瀑布模型
      • 2.3 敏捷开发
    • 三、Jenkins安装配置
      • 3.1 Jenkins介绍
      • 3.2 Jenkins环境搭建
        • 3.2.1 Jenkins镜像
        • 3.2.2 Jenkins安装配置(已完成)
          • 3.2.2.1 采用YUM方式安装
          • 3.2.2.2 采用RPM安装包方式
          • 3.2.2.3 配置
          • 3.2.2.4 密码
          • 3.2.2.5 插件
          • 3.2.2.6 创建管理员用户
          • 3.2.2.7 配置访问地址
          • 3.2.2.8 管理后台
        • 3.2.3 Jenkins插件安装
          • 3.2.3.1 Git安装配置
          • 3.2.3.2 Maven安装配置
          • 3.2.3.3 Docker安装配置
        • 3.2.4 Jenkins工具配置
    • 四、后端项目部署
      • 4.1 多环境切换
        • 4.1.1 项目环境
        • 4.1.2 微服务中多环境配置
        • 4.1.3 整体思路
      • 4.2 服务集成Docker配置
      • 4.3 jenkins打包配置
        • 4.3.1 基础依赖
        • 4.3.2 微服务
      • 4.4 部署服务到远程服务器上
        • 4.4.1 安装配置私有仓库
        • 4.4.2 jenkins中安装插件
        • 4.4.3 jenkins系统配置远程服务器链接
        • 4.4.4 jenkins项目创建与其他微服务相同
        • 4.4.5 设置参数
        • 4.4.6 构建执行Execute shell
        • 4.4.7 在远程服务器上执行脚本
        • 4.4.8 构建完成以后,可以登录130服务器,查看是否有相关的镜像和容器
        • 4.4.9 联调测试
    • 五、jenkins触发器配置
      • 5.1 URL触发远程构建
      • 5.2 其他工程构建后触发
      • 5.3 定时构建( Build periodically)
      • 5.4 轮询SCM(Poll SCM)



    一、概述

    1.1 什么是持续集成

    持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干

    持续集成的组成要素

    • 一个自动构建过程, 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的, 无需人工干预。
    • 一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般使用SVN或Git。
    • 一个持续集成服务器, Jenkins 就是一个配置简单和使用方便的持续集成服务器。

    1.2 持续集成的好处

  • 降低风险,由于持续集成不断去构建,编译和测试,可以很早期发现问题,所以修复的代价就少;
  • 对系统健康持续检查,减少发布风险带来的问题;
  • 减少重复性工作;
  • 持续部署,提供可部署单元包;
  • 持续交付可供使用的版本;
  • 增强团队信心;



  • 二、软件开发模式

    2.1 软件开发生命周期

    软件开发生命周期又叫做SDLC(Software Development Life Cycle),它是集合了计划、开发、测试和部署过程的集合。如下图所示 :


    • 需求分析
      这是生命周期的第一阶段,根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标。

    • 设计
      第二阶段就是设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划。计划可以使用图表,布局设计或者文字的方式呈现。

    • 实现
      第三阶段就是实现阶段,项目经理创建和分配工作给开者,开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度,可以需要数月或更长时间才能完成。

    • 测试
      测试人员进行代码测试 ,包括功能测试、代码测试、压力测试等。

    • 进化
      最后进阶段就是对产品不断的进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修改,bug修复,功能增加等。

    2.2 瀑布模型

    瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动,有点像生产线一样。
    在瀑布模型创建之初,没有其它开发的模型,有很多东西全靠开发人员去猜测,去开发。这样的模型仅适用于那些简单的软件开发, 但是已经不适合现在的开发了。

    下图对软件开发模型的一个阐述。

    优势劣势
    简单易用和理解各个阶段的划分完全固定,阶段之间产生大量的文档,极大地增加了工作量。
    当前一阶段完成后,您只需要去关注后续阶段。由于开发模型是线性的,用户只有等到整个过程的末期才能见到开发成果,从而增加了开发风险。
    为项目提供了按阶段划分的检查节点瀑布模型的突出缺点是不适应用户需求的变化。

    2.3 敏捷开发

    • 什么是敏捷开发?
      敏捷开发(Agile Development) 的核心是迭代开发(Iterative Development) 与 增量开发(Incremental Development)。

    • 何为迭代开发?
      对于大型软件项目,传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一次"大开发";迭代开发的方式则不一样,它将开发过程拆分成多个小周期,即一次"大开发"变成多次"小开发",每次小开发都是同样的流程,所以看上去就好像重复在做同样的步骤。

    • 何为增量开发?
      软件的每个版本,都会新增一个用户可以感知的完整功能。也就是说,按照新增功能来划分迭代。

    • 敏捷开发如何迭代?
      虽然敏捷开发将软件开发分成多个迭代,但是也要求,每次迭代都是一个完整的软件开发周期,必须按照软件工程的方法论,进行正规的流程管理。

    敏捷开发有什么好处?

    • 早期交付
      敏捷开发的第一个好处,就是早期交付,从而大大降低成本。

    • 降低风险
      敏捷开发的第二个好处是,及时了解市场需求,降低产品不适用的风险。




    三、Jenkins安装配置

    3.1 Jenkins介绍

    Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。

    官网: http://jenkins-ci.org/


    Jenkins的特征:

    • 开源的 Java语言开发持续集成工具,支持持续集成,持续部署。
    • 易于安装部署配置:可通过 yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
    • 消息通知及测试报告:集成 RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
    • 分布式构建:支持 Jenkins能够让多台计算机一起构建/测试。
    • 文件识别: Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
    • 丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如 git,svn,maven,docker等。

    Jenkins安装和持续集成环境配置

  • 首先,开发人员每天进行代码提交,提交到Git仓库
  • 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
  • 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。

  • 3.2 Jenkins环境搭建

    3.2.1 Jenkins镜像

    镜像资料: https://pan.baidu.com/s/1kyoR8WEZ1n43nmCLbtslZQ?pwd=abcd

    服务器: 用户名 root、密码:itcast、地址: http://192.168.200.100:16060/

    jenkins: 用户名:itcast 密码:itcast


    3.2.2 Jenkins安装配置(已完成)

    3.2.2.1 采用YUM方式安装

    # 加入jenkins安装源sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificatesudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key # 安装yum -y install jenkins

    3.2.2.2 采用RPM安装包方式

    Jenkins安装包下载地址: https://pkg.jenkins.io/redhat-stable/

    # 安装包下载wget https://pkg.jenkins.io/redhat-stable/jenkins-2.190.1-1.1.noarch.rpm # 执行安装rpm -ivh jenkins-2.190.1-1.1.noarch.rpm

    3.2.2.3 配置

    # 修改配置文件vi /etc/sysconfig/jenkins# 修改内容# 修改为对应的目标用户, 这里使用的是root$JENKINS_USER="root"# 服务监听端口JENKINS_PORT="16060"# 目录权限chown -R root:root /var/lib/jenkinschown -R root:root /var/cache/jenkinschown -R root:root /var/log/jenkins# 重启systemctl restart jenkins# 重启失败(错误信息)Starting Jenkins bash: /usr/bin/java: No such file or directory# 创建JAVA环境的软链接ln -s /usr/local/jdk/bin/java /usr/bin/java

    3.2.2.4 密码

    # 输入管理密码cat /var/lib/jenkins/secrets/initialAdminPassword

    3.2.2.5 插件

    3.2.2.6 创建管理员用户

    3.2.2.7 配置访问地址

    3.2.2.8 管理后台

    3.2.3 Jenkins插件安装

    在实现持续集成之前, 需要确保以下插件安装成功。

    • Maven Integration plugin: Maven 集成管理插件。
    • Docker plugin: Docker集成插件。
    • GitLab Plugin: GitLab集成插件。
    • Publish Over SSH:远程文件发布插件。
    • SSH: 远程脚本执行插件。

    安装方法:

  • 进入【系统管理】-【插件管理】

  • 点击标签页的【可选插件】,在过滤框中搜索插件名称

  • 3.2.3.1 Git安装配置

    # yum 安装方式yum -y install git# 安装依赖包yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-develyum -y install gcc perl-ExtUtils-MakeMaker# 如果之前有安装旧版本, 先做卸载, 没有安装则忽略yum remove git# 下载源码包cd /usr/localwget https://mirrors.edge.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gztar -xvf git-1.8.3.1.tar.gz# 也可以安装其他版本# 地址:https://mirrors.edge.kernel.org/pub/software/scm/git/# 编译安装cd git-1.8.3.1make prefix=/usr/local/git allmake prefix=/usr/local/git installecho "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrcsource /etc/bashrc# 检查git版本git version

    3.2.3.2 Maven安装配置

    # 下载安装包下载地址: https://maven.apache.org/download.cgi# 解压安装包cd /usr/localunzip -o apache-maven-3.6.1.zip # 上传本地仓库并解压# 环境变量配置vi /etc/profile# 增加export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.1export PATH=$PATH:$MAVEN_HOME/bin# 如果权限不够,则需要增加当前目录的权限chmod 777 /usr/local/maven/apache-maven-3.6.1/bin/mvn# 修改镜像仓库配置vi /usr/local/maven/apache-maven-3.6.1/conf/settings.xml# 需要把本机的仓库打包上传到服务器上(不上传会自动下载)# 然后指定上传后的仓库配置

    3.2.3.3 Docker安装配置

    # 更新软件包版本yum -y update# 卸载旧版本yum -y remove docker docker-common docker-selinux docker-engine# 安装软件依赖包yum install -y yum-utils device-mapper-persistent-data lvm2# 设置yum源为阿里云sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装后查看docker版本docker -v# 设置开机启动systemctl enable docker# 启动dockersystemctl start docker

    3.2.4 Jenkins工具配置

    全局工具配置:

    MAVEN配置全局设置:

    指定JDK配置:

    指定MAVEN 目录:

    指定DOCKER目录:




    四、后端项目部署

    4.1 多环境切换

    4.1.1 项目环境

    在项目开发部署的过程中,一般都会有三套项目环境

    • Development :开发环境
    • Production :生产环境
    • Test :测试环境

    例如:开发环境的mysql连接的是本地,生产环境需要连接线上的mysql环境

    4.1.2 微服务中多环境配置

    1. 在微服务中的bootstrap.yml中新增配置

    server:port: 51801spring:application:name: leadnews-usercloud:nacos:discovery:server-addr: 192.168.200.130:8848config:server-addr: 192.168.200.130:8848file-extension: ymlprofiles:active: dev

    2. 在nacos的配置中心中新增各个环境的配置文件,例如user微服务中新增:

    修改bootstrap.yml 添加内容

    spring:profiles:active: dev

    3. 创建对应的nacos的多环境配置:

    注意事项:

    其中DataID属性命名有规范:

    • prefix,默认使用${spring.application.name},也可以通过spring.cloud.nacos.config.prefix来配置。
    • spring.profile.active,即为当前环境对应的 profile,详情可以参考 Spring Boot文档。 注意:当 spring.profile.active 为空时,对应的连接符 - 也将不存在,dataId 的拼接格式变成 prefix.{prefix}.prefix.{file-extension}
    • file-exetension,为配置内容的数据格式,可以通过配置项 spring.cloud.nacos.config.file-extension 来配置。目前只支持 properties 和 yaml 类型。

    4.1.3 整体思路

    目标: 把黑马头条的app端相关的微服务部署到192.168.200.100这台服务器上


    4.2 服务集成Docker配置

    目标: 部署的每一个微服务都是先创建docker镜像后创建对应容器启动
    方式一: 本地微服务打包以后上传到服务器,编写Dockerfile文件完成。
    方式二: 使用dockerfile-maven-plugin插件,可以直接把微服务创建为镜像使用(更省事)

    服务集成Docker配置

    每个微服务都引入该依赖,以heima-leadnews-user微服务为例

    <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>heima-leadnews-service</artifactId><groupId>com.heima</groupId><version>1.0-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><artifactId>heima-leadnews-user</artifactId><properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target><docker.image>docker_storage</docker.image></properties><build><finalName>heima-leadnews-user</finalName><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><executions><execution><goals><goal>repackage</goal></goals></execution></executions></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.7.0</version><configuration><source>${java.version}</source><target>${java.version}</target></configuration></plugin><plugin><groupId>com.spotify</groupId><artifactId>dockerfile-maven-plugin</artifactId><version>1.3.6</version><configuration><repository>${docker.image}/${project.artifactId}</repository><buildArgs><JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE></buildArgs></configuration></plugin></plugins></build></project>

    服务集成Dockerfile文件

    # 设置JAVA版本FROM java:8# 指定存储卷, 任何向/tmp写入的信息都不会记录到容器存储层VOLUME /tmp# 拷贝运行JAR包ARG JAR_FILECOPY ${JAR_FILE} app.jar# 设置JVM运行参数, 这里限定下内存大小,减少开销ENV JAVA_OPTS="\-server \-Xms256m \-Xmx512m \-XX:MetaspaceSize=256m \-XX:MaxMetaspaceSize=512m"#空参数,方便创建容器时传参ENV PARAMS=""# 入口点, 执行JAVA运行命令ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]

    4.3 jenkins打包配置

    4.3.1 基础依赖

    在微服务运行之前需要在本地仓库中先去install所依赖的jar包,所以第一步应该是从git中拉取代码,并且把基础的依赖部分安装到仓库中

    1,父工程heima-leadnews

    2,找到自己指定的git仓库,设置用户名和密码

    3,把基础依赖信息安装到服务器上的本地仓库

    4,执行日志,部分截图,下面是从git中拉取代码

    执行日志,部分截图,编译打包

    4.4.1 安装配置私有仓库

    对于持续集成环境的配置,Jenkins会发布大量的微服务, 要与多台机器进行交互, 可以采用docker镜像的保存与导出功能结合SSH实现, 但这样交互繁琐,稳定性差, 而且不便管理, 这里我们通过搭建Docker的私有仓库来实现, 这个有点类似GIT仓库, 集中统一管理资源, 由客户端拉取或更新。

    1. 下载最新Registry镜像

    docker pull registry:latest

    2. 启动Registry镜像服务

    docker run -d -p 5000:5000 --name registry -v /usr/local/docker/registry:/var/lib/registry registry:latest

    映射5000端口; -v是将Registry内的镜像数据卷与本地文件关联, 便于管理和维护Registry内的数据。

    3. 查看仓库资源
    访问地址:http://192.168.200.100:5000/v2/_catalog

    启动正常, 可以看到返回:

    {"repositories":[]}

    目前并没有上传镜像, 显示空数据。如果上传成功, 可以看到数据:

    4. 配置Docker客户端
    正常生产环境中使用, 要配置HTTPS服务, 确保安全,内部开发或测试集成的局域网环境,可以采用简便的方式, 不做安全控制。

    先确保持续集成环境的机器已安装好Docker客户端, 然后做以下修改:

    vi /lib/systemd/system/docker.service

    修改内容:

    ExecStart=/usr/bin/dockerd --insecure-registry 192.168.200.100:5000

    指向安装Registry的服务IP与端口。重启生效:

    systemctl daemon-reoladsystemctl restart docker.service

    4.4.2 jenkins中安装插件

    4.4.3 jenkins系统配置远程服务器链接

    位置:Manage Jenkins–>Configure System

    需要添加凭证
    位置:Manage Jenkins–>Manage CreDentials

    添加链接到130服务器的用户名和密码


    4.4.4 jenkins项目创建与其他微服务相同

    创建项目参考之前创建过的用户微服务

    4.4.5 设置参数

    4.4.6 构建执行Execute shell

    maven命令

    clean install -Dmaven.test.skip=true dockerfile:build -f heima-leadnews/heima-leadnews-service/heima-leadnews-article/pom.xml

    shell脚本

    image_tag=$docker_registry/docker_storage/$JOB_NAMEecho '================docker镜像清理================'if [ -n "$(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )" ]then#删除之前的容器docker rm -f $(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )fi# 清理镜像docker image prune -f # 创建TAGdocker tag docker_storage/$JOB_NAME $image_tagecho '================docker镜像推送================'# 推送镜像docker push $image_tag# 删除TAGdocker rmi $image_tagecho '================docker tag 清理 ================'

    4.4.7 在远程服务器上执行脚本

    远程服务器执行的shell脚本

    echo '================拉取最新镜像================'docker pull $docker_registry/docker_storage/$JOB_NAMEecho '================删除清理容器镜像================'if [ -n "$(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )" ]then#删除之前的容器docker rm -f $(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )fi# 清理镜像docker image prune -f echo '===============启动容器================'docker run -d --net=host -e PARAMS="--spring.profiles.active=prod" --name $JOB_NAME $docker_registry/docker_storage/$JOB_NAME

    4.4.8 构建完成以后,可以登录130服务器,查看是否有相关的镜像和容器

    镜像

    容器

    4.4.9 联调测试

  • 参考jenkins中heima-leadnews-user微服务把app端网关部署起来
  • 修改本地nginx中的配置反向代理地址为100这台服务器:heima-leadnews-app.confupstream heima-app-gateway{server 192.168.200.100:51601;}
  • 启动nginx,打开页面进行测试



  • 五、jenkins触发器配置

    5.1 URL触发远程构建

    触发远程构建,修改jenkins的配置,如下

    触发构建url: http://192.168.200.100:16060/job/leadnews-admin/build?token=88888888

    5.2 其他工程构建后触发

    配置需要触发的工程


    5.3 定时构建( Build periodically)

    定时构建-定时表达式

    定时字符串从左往右分别为: 分 时 日 月 周

    组成部分含义取值范围
    第一部分minute (分)0~59
    第二部分hour(小时)0~23
    第三部分day(天)1~31
    第四部分month(月)1~12
    第五部分week(周)0~7,0 和 7 都是表示星期天
    • 符号H 表示一个随机数
    • 符号* 取值范围的任意值

    案例:

    • 每30分钟构建一次:H/30 * * * * 10:02 10:32
    • 每2个小时构建一次: H H/2 * * *
    • 每天的8点,12点,22点,一天构建3次: (多个时间点中间用逗号隔开) 0 8,12,22 * * *
    • 每天中午12点定时构建一次 H 12 * * *
    • 每天下午18点定时构建一次 H 18 * * *

    5.4 轮询SCM(Poll SCM)

    轮询SCM,是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建。

    Jenkins会定时扫描本地整个项目的代码,增大系统的开销,不建议使用。



    需要做网站?需要网络推广?欢迎咨询客户经理 13272073477