pythonに基づいてjenkins自動公開コードプラットフォームを実現
13249 ワード
前言:
Jenkins自動公開コードプラットフォームは私が2014年6月に構築したもので、現在までに50以上のプロジェクトのdev、beta、生産環境がjenkinsに接続されており、会社開発チームの大部分はGIT管理コードであり、一部はsvn管理コードである.私の実現原理はjenkinsを通じて新しいバージョンコードを構築し、pythonスクリプトで本番環境にパブリッシュすることです.ユーザーはjenkinsインタフェースで構築をクリックし、オンラインで公開コードの更新を完了し、関係者に公開に成功したことをメールで通知します.
一、Jenkinsインストール配置
1、java環境を配置します.(ここではjdk 7とtomcat 7を使っています)
2、jenkinsプロジェクトの配置
公式サイトからjenkinsパッケージをダウンロードし、サーバーのプログラムディレクトリにアップロードし、tomcat/webappsディレクトリの下のすべてのファイルを削除し、tomcatプロファイル指定プログラムディレクトリを変更すればよい.
tomcatを起動する:./startup.sh
ブラウザアクセス:http://172.20.0.1:8080/jenkins
二、Jenkinsプロジェクト構築
1、mavenプラグインをインストールします.一部の開発チームはmaven管理を使用しているため、ここにmavenプラグインをインストールする必要があります.インストールしたのは3.2.2バージョンです.
2、私服配置、以下の通り
3,jenkins操作インタフェース---システム管理---プラグイン管理ではgit、goプラグインをインストールし、svnはすでにデフォルトでインストールされている.開発プロジェクトがgo言語に役立つため、ここでgoプラグインをインストールする必要がある.
4,jenkins操作インタフェースに新規プロジェクトを作成し、フリースタイルソフトウェアプロジェクトまたはmavenプロジェクトを選択し、構成にソースコード管理アドレス、授権アカウント、Branches to build(ブランチ名)、pomを記入することができる.xml(具体的な項目に基づいて書く)、add-post-build-step-----execute shell;
5,execute shellボックスにサーバスクリプトアドレスを記入し、保存すればよい
三、Pythonリリーススクリプト
このスクリプトの機能は次のとおりです.
1、構築したコードパッケージをrsyncで生産環境サーバーに同期してディレクトリプログラムを中継する.
2,sshで本番環境サーバにログインしprogram_を呼び出すupdate.shスクリプトは、中継ディレクトリprogramの下のコードをサイトプログラムディレクトリに更新し、更新が完了した後、サイトがBUGにアクセスした場合、programの下の前のバージョンのコードをロールバックすることができる.
3、構築したコードパッケージと生産環境にアップロードしたコードパッケージはmd 5を通じて一致性を検証する.
4、プロジェクト構築の発表に成功した後、プロジェクト関係者にメールを送る.
5、このスクリプトを実行するログはファイルに出力され、問題を表示できます.
Jenkinsプラットフォームのプロジェクト構築操作については簡単ですが、私の文章が皆さんに役に立つことを望んでいます.問題があれば、私に相談してもいいし、アドバイスしてほしいです.
Jenkins自動公開コードプラットフォームは私が2014年6月に構築したもので、現在までに50以上のプロジェクトのdev、beta、生産環境がjenkinsに接続されており、会社開発チームの大部分はGIT管理コードであり、一部はsvn管理コードである.私の実現原理はjenkinsを通じて新しいバージョンコードを構築し、pythonスクリプトで本番環境にパブリッシュすることです.ユーザーはjenkinsインタフェースで構築をクリックし、オンラインで公開コードの更新を完了し、関係者に公開に成功したことをメールで通知します.
一、Jenkinsインストール配置
1、java環境を配置します.(ここではjdk 7とtomcat 7を使っています)
mkdir -p /data/webserver
cd /data/webserver
wget
rpm -ivh jdk-7u55-linux-x64.rpm
wget
tar zxvf apache-tomcat-7.0.53.tar.gz
cat > /etc/profile.d/development.sh <<EOF
export JAVA_HOME=/usr/java/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
EOF
source /etc/profile.d/development.sh2、jenkinsプロジェクトの配置
公式サイトからjenkinsパッケージをダウンロードし、サーバーのプログラムディレクトリにアップロードし、tomcat/webappsディレクトリの下のすべてのファイルを削除し、tomcatプロファイル指定プログラムディレクトリを変更すればよい.
<Host name="localhost" appBase="/data/www/jenkins"
unpackWARs="true" autoDeploy="true">tomcatを起動する:./startup.sh
ブラウザアクセス:http://172.20.0.1:8080/jenkins
二、Jenkinsプロジェクト構築
1、mavenプラグインをインストールします.一部の開発チームはmaven管理を使用しているため、ここにmavenプラグインをインストールする必要があります.インストールしたのは3.2.2バージョンです.
2、私服配置、以下の通り
vim /root/.m2/settings.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<!-- (~/.m2) maven -->
<servers>
<server>
<id>snapshots</id>
<username>deployment</username>
<password>deployment</password>
</server>
<server>
<id>releases</id>
<username>deployment</username>
<password>deployment</password>
</server>
</servers>
<mirrors>
<mirror>
<id>nexus</id>
<mirrorOf>*</mirrorOf>
<name>internal nexus repository</name>
<url>http://172.20.135.19:8080/nexus/content/groups/public/</url>
</mirror>
</mirrors>
<profiles>
<profile>
<id>nexus</id>
<repositories>
<repository>
<id>central</id>
<url>http://nisabi</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>central</id>
<url>http://nisabi</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
</profiles>
<activeProfiles>
<activeProfile>nexus</activeProfile>
</activeProfiles>
</settings>3,jenkins操作インタフェース---システム管理---プラグイン管理ではgit、goプラグインをインストールし、svnはすでにデフォルトでインストールされている.開発プロジェクトがgo言語に役立つため、ここでgoプラグインをインストールする必要がある.
4,jenkins操作インタフェースに新規プロジェクトを作成し、フリースタイルソフトウェアプロジェクトまたはmavenプロジェクトを選択し、構成にソースコード管理アドレス、授権アカウント、Branches to build(ブランチ名)、pomを記入することができる.xml(具体的な項目に基づいて書く)、add-post-build-step-----execute shell;
5,execute shellボックスにサーバスクリプトアドレスを記入し、保存すればよい
三、Pythonリリーススクリプト
#!/usr/bin/python
#coding=utf-8
'''
Created on 2014-6-19
@author: huangyishan
'''
import re,sys,os,time,datetime
import pexpect
import hashlib
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
prompt = '[$#>]'
ssh_newkey='Are you sure you want to continue connecting'
rsync_prompt='total size.*'
ip_list=["0.0.0,1","0.0.0.2"]
user="omadmin"
password="password"
local_path="/root/.jenkins/jobs/passport/workspace/wasabi-web-front/target/ROOT.war"
target_path="/data/program/front/ROOT.war"
log_path="/data/tmplog/passport/master/fabu_"
command="md5sum %s" %(target_path)
server_script_exec="sh /data/sh/program_update.sh"
cur_time = time.strftime('%Y_%m_%d_%H_%M')
log_file_name = log_path + cur_time + ".log"
recipientas_list=["[email protected]"]
itheme= ' '
email_server_IP='x.x.x.x'
mail_user="[email protected]"
mail_pass="password"
def send_email_succeed(recipientas_list,addresser,itheme,email_server_IP,log_file_name,server_ip,local_file_md5,target_file_md5):
msg = MIMEMultipart()
msg['Subject'] = itheme
msg['From'] = addresser
msg['To'] = ";".join(recipientas_list)
html_succeed = """\
<html>
<head></head>
<META http-equiv=Content-Type content="text/html; charset=utf-8">
<body>
<p>Hi, <br>
<font color="green" size=5 ><==== IP %s ====> passport.coocaa.com .</font><br><br><br>
<font size=5 > , , :</font><font color="green" size=5 > 137XXXX6716</font><br><br><br>
<font size=5 > MD5: </font><font color="green" size=5 >%s</font><br>
<font size=5 > MD5: </font><font color="green" size=5 >%s</font></font><br>
</p>
</body>
</html>"""%(server_ip, local_file_md5, target_file_md5)
part1 = MIMEText(html_succeed, 'html',_charset="utf-8")
#fp = open(log_file_name, 'rb')
#part2 = MIMEText(fp.read(), 'plain',_charset="utf-8")
#fp.close()
msg.attach(part1)
#msg.attach(part2)
try:
s = smtplib.SMTP()
s.connect(email_server_IP)
s.login(mail_user,mail_pass)
s.sendmail(addresser, recipientas_list, msg.as_string())
s.quit()
except Exception, e:
print str(e)
return False
def send_email_fail(recipientas_list,addresser,itheme,email_server_IP,log_file_name,server_ip,local_file_md5,target_file_md5):
msg = MIMEMultipart()
msg['Subject'] = itheme
msg['From'] = addresser
msg['To'] = ";".join(recipientas_list)
html_succeed = """\
<html>
<head></head>
<META http-equiv=Content-Type content="text/html; charset=utf-8">
<body>
<p>Hi, <br>
<font color="red" size=5 ><==== IP %s ====> ,</font><font size=5 > , .</font><br><br><br>
<font color="red" size=5 > , :</font><font color="green" size=5 > 137XXXX6716</font><br><br><br>
<font color="red" size=5 > MD5: </font><font color="green" size=5 >%s</font><br>
<font color="red" size=5 > MD5: </font><font color="green" size=5 >%s</font><br>
</p>
</body>
</html>
"""%(server_ip, local_file_md5, target_file_md5)
part1 = MIMEText(html_succeed, 'html',_charset="utf-8")
#fp = open(log_file_name, 'rb')
#part2 = MIMEText(fp.read(), 'plain',_charset="utf-8")
#fp.close()
msg.attach(part1)
#msg.attach(part2)
try:
s = smtplib.SMTP()
s.connect(email_server_IP)
s.login(mail_user,mail_pass)
s.sendmail(addresser, recipientas_list, msg.as_string())
s.quit()
except Exception, e:
print str(e)
return False
for server_ip in ip_list:
log_file = open(log_file_name, "a")
child=pexpect.spawn("/usr/bin/rsync -e 'ssh -p 22222' -avzcP %s %s@%s:%s" %(local_path, user, server_ip, target_path))
child.logfile=log_file
index = child.expect([ssh_newkey, 'password: ', pexpect.EOF, pexpect.TIMEOUT])
if index == 0:
child.sendline('yes')
child.expect ('password: ')
child.sendline(password)
child.expect(rsync_prompt,timeout=None)
elif index == 1:
child.sendline(password)
child.expect(rsync_prompt,timeout=None)
elif index == 2:
print "%s rsync: %s EOF ERROR %s" %('#'*10, server_ip, '#'*10)
elif index == 3:
print "%s rsync: %s TIMEOUT ERROR %s" %('#'*10, server_ip, '#'*10)
log_file.close()
child.close()
time.sleep(5)
log_file = open(log_file_name, "a")
child=pexpect.spawn("/usr/bin/ssh -p 22222 %s@%s" %(user, server_ip))
child.logfile=log_file
index = child.expect([ssh_newkey, 'password: ', pexpect.EOF, pexpect.TIMEOUT])
if index == 0:
child.sendline('yes')
child.expect ('password: ')
child.sendline(password)
child.expect (prompt)
child.sendline(command)
child.expect (prompt)
child.sendline('exit')
elif index == 1:
child.sendline(password)
child.expect (prompt)
child.sendline(command)
child.expect (prompt)
child.sendline('exit')
elif index == 2:
print "%s ssh: %s EOF ERROR %s" %('#'*10, server_ip, '#'*10)
elif index == 3:
print "%s ssh: %s TIMEOUT ERROR %s" %('#'*10, server_ip, '#'*10)
log_file.close()
child.close()
os.system("md5sum %s | awk '{print $1}' > /data/tmplog/passport/master/upload_file_local.log" %(local_path))
os.system("grep %s %s | awk '{print $1}' | egrep -v 'md5sum|omadmin' | tail -n 1 > /data/tmplog/passport/master/upload_file_remote.log" %(target_path, log_file_name))
for localmd5 in open("/data/tmplog/passport/master/upload_file_local.log"):
local_file_md5 = localmd5
for remotemd5 in open("/data/tmplog/passport/master/upload_file_remote.log"):
target_file_md5 = remotemd5
if target_file_md5 == local_file_md5:
log_file = open(log_file_name, "a")
child=pexpect.spawn("/usr/bin/ssh -p 22222 %s@%s" %(user, server_ip))
child.logfile=log_file
index = child.expect(['password: ', pexpect.EOF, pexpect.TIMEOUT])
if index == 0:
child.sendline(password)
child.expect (prompt)
child.sendline(server_script_exec)
child.expect (prompt)
child.sendline('exit')
elif index == 1:
print "%s script exec: %s EOF ERROR %s" %('#'*10, server_ip, '#'*10)
elif index == 2:
print "%s script exec: %s TIMEOUT ERROR %s" %('#'*10, server_ip, '#'*10)
send_email_succeed(recipientas_list,addresser,itheme,email_server_IP,log_file_name,server_ip,local_file_md5,target_file_md5)
else:
send_email_fail(recipientas_list,addresser,itheme,email_server_IP,log_file_name,server_ip,local_file_md5,target_file_md5)このスクリプトの機能は次のとおりです.
1、構築したコードパッケージをrsyncで生産環境サーバーに同期してディレクトリプログラムを中継する.
2,sshで本番環境サーバにログインしprogram_を呼び出すupdate.shスクリプトは、中継ディレクトリprogramの下のコードをサイトプログラムディレクトリに更新し、更新が完了した後、サイトがBUGにアクセスした場合、programの下の前のバージョンのコードをロールバックすることができる.
3、構築したコードパッケージと生産環境にアップロードしたコードパッケージはmd 5を通じて一致性を検証する.
4、プロジェクト構築の発表に成功した後、プロジェクト関係者にメールを送る.
5、このスクリプトを実行するログはファイルに出力され、問題を表示できます.
Jenkinsプラットフォームのプロジェクト構築操作については簡単ですが、私の文章が皆さんに役に立つことを望んでいます.問題があれば、私に相談してもいいし、アドバイスしてほしいです.