kk Blog —— 通用基础


date [-d @int|str] [+%s|"+%F %T"]
netstat -ltunp
sar -n DEV 1

git submodule管理项目子模块

https://www.cnblogs.com/nicksheng/p/6201711.html

使用场景

当项目越来越庞大之后，不可避免的要拆分成多个子模块，我们希望各个子模块有独立的版本管理，并且由专门的人去维护，这时候我们就要用到git的submodule功能。

常用命令

1
2
3
4
5

git clone <repository> --recursive 递归的方式克隆整个项目
git submodule add <repository> <path> 添加子模块
git submodule init 初始化子模块
git submodule update 更新子模块
git submodule foreach git pull 拉取所有子模块

如何使用

1. 创建带子模块的版本库

例如我们要创建如下结构的项目

1
2
3

project
  |--moduleA
  |--readme.txt

创建project版本库，并提交readme.txt文件

1
2
3
4
5
6
7
8

git init --bare project.git
git clone project.git project1
cd project1
echo "This is a project." > readme.txt
git add .
git commit -m "add readme.txt"
git push origin master
cd ..

创建moduleA版本库，并提交a.txt文件

1
2
3
4
5
6
7
8

git init --bare moduleA.git
git clone moduleA.git moduleA1
cd moduleA1
echo "This is a submodule." > a.txt
git add .
git commit -m "add a.txt"
git push origin master
cd ..

在project项目中引入子模块moduleA，并提交子模块信息

1
2
3
4
5
6
7
8

cd project1
git submodule add ../moduleA.git moduleA
git status
git diff
git add .
git commit -m "add submodule"
git push origin master
cd ..

使用git status可以看到多了两个需要提交的文件，其中.gitmodules指定submodule的主要信息，包括子模块的路径和地址信息，moduleA指定了子模块的commit id，使用git diff可以看到这两项的内容。这里需要指出父项目的git并不会记录submodule的文件变动，它是按照commit id指定submodule的git header，所以.gitmodules和moduleA这两项是需要提交到父项目的远程仓库的。

1
2
3
4
5
6

On branch master
Your branch is up-to-date with 'origin/master'.
Changes to be committed:
  (use "git reset HEAD <file>..." to unstage)
	new file:   .gitmodules
	new file:   moduleA

2. 克隆带子模块的版本库

方法一，先clone父项目，再初始化submodule，最后更新submodule，初始化只需要做一次，之后每次只需要直接update就可以了，需要注意submodule默认是不在任何分支上的，它指向父项目存储的submodule commit id。

1
2
3
4
5

git clone project.git project2
cd project2
git submodule init
git submodule update
cd ..

方法二，采用递归参数–recursive，需要注意同样submodule默认是不在任何分支上的，它指向父项目存储的submodule commit id。

1

git clone project.git project3 --recursive

3. 修改子模块

修改子模块之后只对子模块的版本库产生影响，对父项目的版本库不会产生任何影响，如果父项目需要用到最新的子模块代码，我们需要更新父项目中submodule commit id，默认的我们使用git status就可以看到父项目中submodule commit id已经改变了，我们只需要再次提交就可以了。

1
2
3
4
5
6
7
8
9
10
11
12
13

cd project1/moduleA
git branch
echo "This is a submodule." > b.txt
git add .
git commit -m "add b.txt"
git push origin master
cd ..
git status
git diff
git add .
git commit -m "update submodule add b.txt"
git push origin master
cd ..

4. 更新子模块

更新子模块的时候要注意子模块的分支默认不是master。

方法一，先pull父项目，然后执行git submodule update，注意moduleA的分支始终不是master。

1
2
3
4

cd project2
git pull
git submodule update
cd ..

方法二，先进入子模块，然后切换到需要的分支，这里是master分支，然后对子模块pull，这种方法会改变子模块的分支。

1
2
3
4
5

cd project3/moduleA
git checkout master
cd ..
git submodule foreach git pull
cd ..

5. 删除子模块

网上有好多用的是下面这种方法

1
2
3
4

git rm --cached moduleA
rm -rf moduleA
rm .gitmodules
vim .git/config

删除submodule相关的内容，例如下面的内容

1
2

[submodule "moduleA"]
	url = /Users/nick/dev/nick-doc/testGitSubmodule/moduleA.git

然后提交到远程服务器

1
2

git add .
git commit -m "remove submodule"

但是我自己本地实验的时候，发现用下面的方式也可以，服务器记录的是.gitmodules和moduleA，本地只要用git的删除命令删除moduleA，再用git status查看状态就会发现.gitmodules和moduleA这两项都已经改变了，至于.git/config，仍会记录submodule信息，但是本地使用也没发现有什么影响，如果重新从服务器克隆则.git/config中不会有submodule信息。

1
2
3
4

git rm moduleA
git status
git commit -m "remove submodule"
git push origin master

httpd log配置

https://infoheap.com/apache-log-latency-and-host/

\"V:%V D:%D\" serving time (after “D:”) and url host field “V:”.

%T记录的是以秒为单位的时间，这对于我们来说是不太够的。因为很多情况下，我们需要保证我们网页的响应速度在1秒以内。从Apache 2.0 开始，提供了一个新的参数 %D。可以记录服务器处理请求的微秒时间

再改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

vim /etc/httpd/conf/httpd.conf
LogFormat "%{ %Y-%m-%d %H:%M:%S}t %D %A %p %a %{REMOTE_PORT}e %>s %b %m %H \"%V\" \"%U\" \"%q\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\"" combined
LogFormat "%{ %Y-%m-%d %H:%M:%S}t %D %A %p %a %{REMOTE_PORT}e %>s %b %m %H \"%V\" \"%U\" \"%q\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\"" common

  LogFormat "%{ %Y-%m-%d %H:%M:%S}t %D %A %p %a %{REMOTE_PORT}e %>s %b %m %H \"%V\" \"%U\" \"%q\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\" \"%I\" \"%O\"" combinedio

2022-11-20 13:28:03 93852 192.168.20.17 80 19.2.2.40 36682 200 1 POST HTTP/1.1 "www.np.cn" "/ss/ss" "" "-" "-" "-" "-"


vim /etc/httpd/conf.d/ssl.conf
CustomLog logs/ssl_access_log \
	"%{ %Y-%m-%d %H:%M:%S}t %D %A %p %a %{REMOTE_PORT}e %>s %b %m %H \"%V\" \"%U\" \"%q\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\""
CustomLog logs/ssl_request_log \
	"%{ %Y-%m-%d %H:%M:%S}t %D %A %p %a %{REMOTE_PORT}e %>s %b %m %H \"%V\" \"%U\" \"%q\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\""

2022-11-20 13:28:50 35945 192.168.20.17 17881 175.44.120.10 55496 200 5572 GET HTTP/1.1 "www.np.cn" "/ss/login" "" "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:107.0) Gecko/20100101 Firefox/107.0" "TLSv1.2" "ECDHE-RSA-AES128-GCM-SHA256"

时间格式

1

%{ %Y-%m-%d %H:%M:%S %s}t

vim /etc/httpd/conf/httpd.conf

1
2
3
4

LogFormat "\"%h\" \"%l\" \"%u\" \"%{ %Y-%m-%d\" \"%H:%M:%S\" \"%s\"}t \"%P\" \"%p\" \"%H\" \"%m\" \"%U\" \"%q\" \"%>s\" \"%b\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\"" combined
LogFormat "\"%h\" \"%l\" \"%u\" \"%{ %Y-%m-%d\" \"%H:%M:%S\" \"%s\"}t \"%P\" \"%p\" \"%H\" \"%m\" \"%U\" \"%q\" \"%>s\" \"%b\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\"" common

LogFormat "\"%h\" \"%l\" \"%u\" \"%{ %Y-%m-%d\" \"%H:%M:%S\" \"%s\"}t \"%P\" \"%p\" \"%H\" \"%m\" \"%U\" \"%q\" \"%>s\" \"%b\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\" \"%I\" \"%O\"" combinedio

vim /etc/httpd/conf.d/ssl.conf

1
2
3
4
5
6
7
8
9
10

TransferLog logs/ssl_access_log
改为
CustomLog logs/ssl_access_log \
		"\"%h\" \"%l\" \"%u\" \"%{ %Y-%m-%d\" \"%H:%M:%S\" \"%s\"}t \"%P\" \"%p\" \"%H\" \"%m\" \"%U\" \"%q\" \"%>s\" \"%b\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\""

CustomLog logs/ssl_request_log \
	"%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"
改为
CustomLog logs/ssl_request_log \
	"\"%h\" \"%l\" \"%u\" \"%{ %Y-%m-%d\" \"%H:%M:%S\" \"%s\"}t \"%P\" \"%p\" \"%H\" \"%m\" \"%U\" \"%q\" \"%>s\" \"%b\" \"%{Referer}i\" \"%{User-Agent}i\" \"%{SSL_PROTOCOL}x\" \"%{SSL_CIPHER}x\""

处理

1
2

cat /var/log/httpd/access_log | awk -F'^"|" "|"$' '{ if (NF==20) { for(i=2;i<NF;i++) printf $i"   "; print ""; } }'
cat /var/log/httpd/ssl_access_log | awk -F'^"|" "|"$' '{ if (NF==20) { for(i=2;i<NF;i++) printf $i"   "; print ""; } }'

http://blog.sina.com.cn/s/blog_1512521570102wbua.html

定制日志文件的格式涉及到两个指令，即LogFormat指令和CustomLog指令，默认httpd.conf文件提供了关于这两个指令的几个 示例。

LogFormat指令定义格式并为格式指定一个名字，以后我们就可以直接引用这个名字。CustomLog指令设置日志文件，并指明日志文件所用 的格式（通常通过格式的名字）。

LogFormat指令的功能是定义日志格式并为它指定一个名字。例如，在默认的httpd.conf文件中，我们可以找到下面这行代码：

1

LogFormat "%h %l %u %t \"%r\" %>s %b" common

该指令创建了一种名为"common"的日志格式，日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息，这些信息按照格 式串规定的次序写入到日志文件。

Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

%…a: 远程IP地址
%…A: 本地IP地址
%…B: 已发送的字节数，不包含HTTP头
%…b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0。
%…{FOOBAR}e: 环境变量FOOBAR的内容
%…f: 文件名字
%…h: 远程主机
%…H 请求的协议
%…{Foobar}i: Foobar的内容，发送给服务器的请求的标头行。
%…l: 远程登录名字（来自identd，如提供的话）
%…m 请求的方法
%…{Foobar}n: 来自另外一个模块的注解"Foobar"的内容
%…{Foobar}o: Foobar的内容，应答的标头行
%…p: 服务器响应请求时使用的端口
%…P: 响应请求的子进程ID。
%…q 查询字符串（如果存在查询字符串，则包含"?"后面的部分；否则，它是一个空字符串。）
%…r: 请求的第一行
%…s: 状态。对于进行内部重定向的请求，这是指*原来*请求 的状态。如果用%…>s，则是指后来的请求。
%…t: 以公共日志时间格式表示的时间（或称为标准英文格式）
%…{format}t: 以指定格式format表示的时间
%…T: 为响应请求而耗费的时间，以秒计
%…u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）
%…v: 响应请求的服务器的ServerName
%…V: 依照UseCanonicalName设置得到的服务器名字

在所有上面列出的变量中，"…"表示一个可选的条件。如果没有指定条件，则变量的值将以"-“取代。分析前面来自默认httpd.conf文件的 LogFormat指令示例，可以看出它创建了一种名为"common"的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一 行代码，请求状态，以及发送的字节数。

有时候我们只想在日志中记录某些特定的、已定义的信息，这时就要用到"…"。如果在"%“和变量之间放入了一个或者多个HTTP状态代码，则只有当 请 求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：

1

LogFormat @4{Referer}i BrokenLinks

反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个"!“符号即可：

1

LogFormat %!200U SomethingWrong

linux下logrotate 配置和理解

1

systemctl restart rsyslog

https://blog.csdn.net/cjwid/article/details/1690101

一、logrotate 配置

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做"转储"。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行。 logrotate 程序还可以用于压缩日志文件，以及发送日志到指定的E-mail 。

logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

参数 功能
compress 通过gzip 压缩转储以后的日志
nocompress 不需要压缩时，用这个参数
copytruncate 用于还在打开中的日志文件，把当前日志备份并截断
nocopytruncate 备份日志文件但是不截断
create mode owner group 转储文件，使用指定的文件模式创建新的日志文件
nocreate 不建立新的日志文件
delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项，转储同时压缩。
errors address 专储时的错误信息发送到指定的Email 地址
ifempty 即使是空文件也转储，这个是 logrotate 的缺省选项。
notifempty 如果是空文件的话，不转储
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail 转储时不发送日志文件
olddir directory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
daily 指定转储周期为每天
weekly 指定转储周期为每周
monthly 指定转储周期为每月
rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
tabootext [+] list 让logrotate 不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和 ~
size size 当日志文件到达指定的大小时才转储，Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

二、缺省配置 logrotate

logrotate 缺省的配置 /etc/logrotate.conf。 Red Hat Linux 缺省安装的文件内容是：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# send errors to root
errors root
# create new (empty) log files after rotating old ones
create

# uncomment this if you want your log files compressed
#compress # 指定不压缩转储文件，如果需要压缩，去掉注释就可以了。

# RPM packages drop log rotation information into this directory
include /etc/logrotate.d

# no packages own lastlog or wtmp --we'll rotate them here
/var/log/wtmp {
	monthly
	create 0664 root utmp
	rotate 1
}

/var/log/lastlog {
	monthly
	rotate 1
}

# system-specific logs may be configured here

三、使用include 选项读取其他配置文件

include 选项允许系统管理员把分散到几个文件的转储信息，集中到一个 主要的配置文件。当 logrotate 从logrotate.conf 读到include 选项时，会从指定文件读入配置信息，就好像他们已经在/etc/logrotate.conf 中一样。

第13行 include /etc/logrotate.d 告诉 logrotate 读入存放在/etc/logrotate.d 目录中的日志转储参数，当系统中安装了RPM 软件包时，使用include 选项十分有用。RPM 软件包的日志转储参数一般存放在/etc/logrotate.d 目录。

include 选项十分重要，一些应用把日志转储参数存放在 /etc/logrotate.d 。

典型的应用有：apache, linuxconf, samba, cron 以及syslog。

这样，系统管理员只要管理一个 /etc/logrotate.conf 文件就可以了。

使用 prerotate 和 postrotate 选项

下面的例子是典型的脚本 /etc/logrotate.d/syslog，这个脚本只是对 /var/log/messages 有效。

1
2
3
4
5
6
7
8
9
10

/var/log/messages
{
	prerotate
		/usr/bin/chattr -a /var/log/messages
	endscript
	postrotate
		/usr/bin/kill -HUP syslogd
		/usr/bin/chattr +a /var/log/messages
	endscript
}

prerotate 命令指定转储以前的动作/usr/bin/chattr -a 去掉/var/log/messages文件的"只追加"属性 endscript 结束 prerotate 部分的脚本postrotate 指定转储后的动作

/usr/bin/killall -HUP syslogd

用来重新初始化系统日志守护程序 syslogd

/usr/bin/chattr +a /var/log/messages

重新为 /var/log/messages 文件指定"只追加"属性，这样防治程序员或用户覆盖此文件。

最后的 endscript 用于结束 postrotate 部分的脚本