kk Blog —— 通用基础

date [-d @int|str] [+%s|"+%F %T"]

indent 代码格式化

https://www.cnblogs.com/sky-heaven/p/9012508.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
常用的设置:
	indent -npro -kr -i8 -ts8 -sob -l80 -ss -bl  -bli 0

参数说明:
-npro或--ignore-profile  不要读取indent的配置文件.indent.pro。
-kr  指定使用Kernighan&Ritchie的格式。
-i8  --indent-level 设置缩排的格数为8。
-ts8 设置tab的长度
-sob或--swallow-optional-blank-lines  删除多余的空白行。
-l80 代码超过80换行
-ss或--space-special-semicolon  若for区段只有一行时,在分号前加上空格。
-ncs或--no-space-after-casts  不要在cast之后空一格。
-bl {分行显示
-bli 0 括号缩进为0
功能说明:调整C原始代码文件的格式。
语  法:indent [参数][源文件] 或 indent [参数][源文件][-o 目标文件]
补充说明:indent可辨识C的原始代码文件,并加以格式化,以方便程序设计师阅读。
参  数:
 -bad或--blank-lines-after-declarations  在声明区段或加上空白行。
 -bap或--blank-lines-after-procedures  在程序或加上空白行。
 -bbb或--blank-lines-after-block-comments  在注释区段后加上空白行。
 -bc或--blank-lines-after-commas  在声明区段中,若出现逗号即换行。
 -bl或--braces-after-if-line  if(或是else,for等等)与后面执行区段的"{"不同行,且"}"自成一行。
 -bli<缩排格数>或--brace-indent<缩排格数>  设置{ }缩排的格数。
 -br或--braces-on-if-line  if(或是else,for等等)与后面执行跛段的"{"不同行,且"}"自成一行。
 -bs或--blank-before-sizeof  在sizeof之后空一格。
 -c<栏数>或--comment-indentation<栏数>  将注释置于程序码右侧指定的栏位。
 -cd<栏数>或--declaration-comment-column<栏数>  将注释置于声明右侧指定的栏位。
 -cdb或--comment-delimiters-on-blank-lines  注释符号自成一行。
 -ce或--cuddle-else  将else置于"}"(if执行区段的结尾)之后。
 -ci<缩排格数>或--continuation-indentation<缩排格数>  叙述过长而换行时,指定换行后缩排的格数。
 -cli<缩排格数>或--case-indentation-<缩排格数>  使用case时,switch缩排的格数。
 -cp<栏数>或-else-endif-column<栏数>  将注释置于else与elseif叙述右侧定的栏位。
 -cs或--space-after-cast  在cast之后空一格。
 -d<缩排格数>或-line-comments-indentation<缩排格数>  针对不是放在程序码右侧的注释,设置其缩排格数。
 -di<栏数>或--declaration-indentation<栏数>  将声明区段的变量置于指定的栏位。
 -fc1或--format-first-column-comments  针对放在每行最前端的注释,设置其格式。
 -fca或--format-all-comments  设置所有注释的格式。
 -gnu或--gnu-style.  指定使用GNU的格式,此为预设值。
 -i<格数>或--indent-level<格数>  设置缩排的格数。
 -ip<格数>或--parameter-indentation<格数>  设置参数的缩排格数。
 -kr或--k-and-r-style.  指定使用Kernighan&Ritchie的格式。
 -lp或--continue-at-parentheses  叙述过长而换行,且叙述中包含了括弧时,将括弧中的每行起始栏位内容垂直对其排列。
 -nbad或--no-blank-lines-after-declarations  在声明区段后不要加上空白行。
 -nbap或--no-blank-lines-after-procedures  在程序后不要加上空白行。
 -nbbb或--no-blank-lines-after-block-comments  在注释区段后不要加上空白行。
 -nbc或--no-blank-lines-after-commas  在声明区段中,即使出现逗号,仍旧不要换行。
 -ncdb或--no-comment-delimiters-on-blank-lines  注释符号不要自成一行。
 -nce或--dont-cuddle-else  不要将else置于"}"之后。
 -ncs或--no-space-after-casts  不要在cast之后空一格。
 -nfc1或--dont-format-first-column-comments  不要格式化放在每行最前端的注释。
 -nfca或--dont-format-comments  不要格式化任何的注释。
 -nip或--no-parameter-indentation  参数不要缩排。
 -nlp或--dont-line-up-parentheses  叙述过长而换行,且叙述中包含了括弧时,不用将括弧中的每行起始栏位垂直对其排列。
 -npcs或--no-space-after-function-call-names  在调用的函数名称之后,不要加上空格。
 -npro或--ignore-profile  不要读取indent的配置文件.indent.pro。
 -npsl或--dont-break-procedure-type  程序类型与程序名称放在同一行。
 -nsc或--dont-star-comments  注解左侧不要加上星号(*)。
 -nsob或--leave-optional-semicolon  不用处理多余的空白行。
 -nss或--dont-space-special-semicolon  若for或while区段仅有一行时,在分号前不加上空格。
 -nv或--no-verbosity  不显示详细的信息。
 -orig或--original  使用Berkeley的格式。
 -pcs或--space-after-procedure-calls  在调用的函数名称与"{"之间加上空格。
 -psl或--procnames-start-lines  程序类型置于程序名称的前一行。
 -sc或--start-left-side-of-comments  在每行注释左侧加上星号(*)。
 -sob或--swallow-optional-blank-lines  删除多余的空白行。
 -ss或--space-special-semicolon  若for或swile区段今有一行时,在分号前加上空格。
 -st或--standard-output  将结果显示在标准输出设备。
 -T  数据类型名称缩排。
 -ts<格数>或--tab-size<格数>  设置tab的长度。
 -v或--verbose  执行时显示详细的信息。
 -version  显示版本信息。

如果你不想在参数上花太多时间来研究,你也可以在你的linux下的源代码里面,也就是/usr/src/linux/scripts/Lindent,找到Lindent脚本,这个是linux内核源代码格式,你可以直接拿过来用。比如

cp /usr/src/linux/scripts/Lindent /usr/bin $Lindent test.c

Lindent脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/bin/sh
PARAM="-npro -kr -i8 -ts8 -sob -l80 -ss -ncs -cp1"
RES=`indent --version`
V1=`echo $RES | cut -d' ' -f3 | cut -d'.' -f1`
V2=`echo $RES | cut -d' ' -f3 | cut -d'.' -f2`
V3=`echo $RES | cut -d' ' -f3 | cut -d'.' -f3`
if [ $V1 -gt 2 ]; then
  PARAM="$PARAM -il0"
elif [ $V1 -eq 2 ]; then
  if [ $V2 -gt 2 ]; then
    PARAM="$PARAM -il0";
  elif [ $V2 -eq 2 ]; then
    if [ $V3 -ge 10 ]; then
      PARAM="$PARAM -il0"
    fi
  fi
fi
indent $PARAM "$@"

hybrid slow start 混合慢启动算法

https://www.jianshu.com/p/f2edbaca4f2c

传统的单纯采用指数增长的慢启动算法有一个无法避免的问题,在临界进入拥塞避免阶段时,特别是在高带宽长距离网络中,容易出现大规模丢包,进而导致大量数据包重传,也有可能出现timeout,致使网络带宽利用率下降。

Hybrid Slow Start,它在传统的慢启动算法中加入了判断机制,强制从慢启动转入拥塞避免。这里主要说说其在CUBIC中是怎么实现的。

变量介绍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#define HYSTART_ACK_TRAIN      0x1 //进入拥塞避免的条件
#define HYSTART_DELAY          0x2 //进入拥塞避免的条件
#define HYSTART_MIN_SAMPLES    8   //表示至少取一个RTT的前8个ACK作为样本
#define HYSTART_DELAY_MIN      (4u<<3) 
#define HYSTART_DELAY_MAX      (16u<<3)
/* if x > HYSTART_DELAY_MAX,return HYSTART_DELAY_MAX 
 * else if x < HYSTART_DELAY_MIN,return HYATART_DELAY_MIN
 * else return x
 */
#define HYSTART_DELAY_THRESH clamp(x, HYSTART_DELAY_MIN, HYSTART_DELAY_MAX)
static int hystart __read_mostly = 1;
static int hystart_detect __read_mostly = HYSTART_ACK_TRAIN | HYSART_DELAY;
static int hystart_low_window __read_mostly = 16;
static int hystart_ack_delta __read_mostly = 2;

struct bictcp {
	...
	u32    delay_min;   //全局最小rtt
	u32    round_start; //记录慢启动的起始时间
	u32    curr_rtt;    //记录样本中的最小rtt
	u8      found;
	u8      sample_cnt; //样本计数变量
	...
};

两类退出slow start机制

在Hybrid Slow Start算法中给出了种类判断机制用来退出慢启动进入拥塞避免,分别是ACKs train length和Increase in packet delays。

ACKS train length

这里给出一段原文描述,在这段描述中说了怎么测ACKs train length以及为什么要用ACKs train length。

The ACK train length is measured by calculating the sum of inter-arrival times of all the closely spaced ACKs within an RTT round. The train length is strongly affected by the bottleneck bandwidth, routing delays and buffer sizes along the path, and is easily stretched out by congestion caused by cross traffic in the path, so by estimating the train length we can reliably find a safe exit point of Slow Start.

Increase in packet delays

同样还是一段原文描述,如果你问我为什么不直接翻译成中文,我不会回答你这个问题的。

Increase in packet delays during Slow Start may indicate the possibility of the bottleneck router being congested.

但是Increase in packet delays的测量会受到bursty transmission的影响,所以只测一个RTT中刚开始的几个数据包的往返时间来避免bursty transission的影响,在后面给出的code中会看到

函数实现

hystart重置函数

1
2
3
4
5
6
7
8
9
10
static inline void bictcp_hystart_reset(struct sock *sk)
{
	struct tcp_sock *tp = tcp_sk(sk);
	struct bictcp *ca = inet_csk_ca(sk);

	ca->round_start = ca->last_ack = bictcp_clock(); //记录慢启动的开始时间
	ca->end_seq = tp->snd_nxt;
	ca->curr_rtt = 0;   //重置样本最小rtt为0
	ca->sample_cnt = 0; //重置样本计数为0
}

Hybrid Slow Start实现的核心部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
static void hystart_update(struct sock *sk, u32 delay)
{
	struct tcp_sock *tp = tcp_sk(sk);
	struct bictcp *ca = inet_csk_ca(sk);

	//如果ca->found & hystart_detect为真,表示应该进入拥塞避免
	if (!(ca->found & hystart_detect)) {
		u32 now = bictcp_clock(); //获取当前时间

		/* first detection parameter - ack-train detection */
		/* 前后到来的两个ACK的间隔时间小于hystart_ack_delta才有效 */
		if ((s32)(now - ca->last_ack) <= hystart_ack_delta) {
			ca->last_ack = now;  //更新上一个ACK到来的时间
			/* 每次慢启动时会重置round_start为0,结合前面的if条件,下面的
			 * if成立的条件是:从慢启动开始到现在经过的时间如果大于
			 * delay_min>>4,那么可以进入拥塞避免了。至于为什么选
			 * delay_min>>4这个值,鬼知道。
			 */
			if ((s32)(now - ca->round_start) > ca->delay_min >> 4)
				ca->found |= HYSTART_ACK_TRAIN;
		}   

		/* obtain the minimum delay of more than sampling packets */
		/* 如果样本计数小于HYSTART_MIN_SAMPLES(默认为8) */
		if (ca->sample_cnt < HYSTART_MIN_SAMPLES) {
			if (ca->curr_rtt == 0 || ca->curr_rtt > delay)
				ca->curr_rtt = delay;/* 更新样本中的最小rtt */

			ca->sample_cnt++;
		} else {//如果样本大于8了,那么就可以判断是否要进入拥塞避免了
			/* 如果前面8个样本中的最小rtt大于全局最小rtt与阈值的和,那么表示网络出
			 * 现了拥塞,应立马进入拥塞避免阶段,HYSTART_DELAY_THRESH()的返
			 * 回值在前面的变量介绍中有说明。
			if (ca->curr_rtt > ca->delay_min +
				HYSTART_DELAY_THRESH(ca->delay_min>>4))
				ca->found |= HYSTART_DELAY;
		}   
		/*  
		 * Either one of two conditions are met,
		 * we exit from slow start immediately.
		 */
		/* 如果为真就进入拥塞避免 */
		if (ca->found & hystart_detect)
			tp->snd_ssthresh = tp->snd_cwnd;
	}   
}

snap 服务

删除snap,snap会自动更新,严重占带宽

1
2
3
4
5
6
7
8
snap list
sudo snap remove gtk-common-themes
...
sudo apt-get remove snapd

df -h | grep snap
sudo systemctl stop snap-core-6350.mount
sudo systemctl disable snap-core-6350.mount

https://m.linuxidc.com/Linux/2018-05/152385.htm

https://blog.csdn.net/wohu1104/article/details/106933152

概述

什么是snap,snap安装包是Canonical公司发布的全新的软件包管理方式,它类似一个容器拥有一个应用程序所有的文件和库,各个应用程序之间完全独立。所以使用snap包的好处就是它解决了应用程序之间的依赖问题,使应用程序之间更容易管理。但是由此带来的问题就是它占用更多的磁盘空间。

snap使用

snap软件包一般安装在/snap目录下

列出已经安装的snap包: sudo snap list

搜索要安装的snap包: sudo snap find XX

安装一个snap包: sudo snap install XX

更新一个snap包: sudo snap refresh XX # 后面不加包的名字的话那就是更新所有的snap包

把一个包还原到以前安装的版本: sudo snap revert XX

删除一个snap包: sudo snap remove XX

查询最近做的操作: snap changes

DKMS简介

https://www.cnblogs.com/wwang/archive/2011/06/21/2085571.html

DKMS全称是Dynamic Kernel Module Support,在内核版本变动之后可以自动重新生成新的模块。

安装

1
sudo apt-get install dkms

流程

DKMS主要的命令分别是add、build、install、uninstall和remove,另外,还可以执行"dkms status"查看目前DKMS系统维护的模块的状态。

DKMS要求我们的代码目录必须以" -“的格式命名。

命令

以hello-0.1为例,代码copy到"/usr/src/hello-0.1"

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 添加
sudo dkms add -m hello -v 0.1

# 编译
sudo dkms build -m hello -v 0.1
生成模块路径: /var/lib/dkms/hello/0.1/*/*/module/

# 安装
sudo dkms install -m hello -v 0.1

# 移除
sudo dkms uninstall -m hello -v 0.1

# 彻底删除,会把/var/lib/dkms下彻底删除
sudo dkms remove -m hello -v 0.1 --all

# 以上的每个步骤查看执行后的状态
dkms status

目录结构

1
2
3
4
/usr/src/hello-0.1/
├── dkms.conf
├── hello.c
└── Makefile

在Makefile中要使用变量$(KVERSION)指定内核版本号,这样我们在执行dkms时,就可以用“-k”选项来设定为哪个内核版本编译模块。

dkms.conf

1
2
3
4
5
6
7
PACKAGE_NAME="hello"
PACKAGE_VERSION="0.1"
CLEAN="make clean"
MAKE[0]="make all KVERSION=$kernelver"
BUILT_MODULE_NAME[0]="hello"
DEST_MODULE_LOCATION[0]="/updates"
AUTOINSTALL="yes"

PACKAGE_NAME和PACKAGE_VERSION和文件夹的命名是一致的。

CLEAN的命令是每次build的时候第一条执行的动作。

MAKE[0]用来设定编译的命令,一般情况下是不用设定的。在本例中,就可以把MAKE[0]这行删掉。但在下面这种情况下就需要设定了。比如,您的Makefile里有多个target,分别为all、debug、release等,不指定MAKE[0]时,编译会选择第一个target来执行,也就是make all,如果您想执行make release来编译,就需要在dkms.conf里明确设定。

BUILD_MODULE_NAME[0]用来指定模块的名称,一般情况下也可以不设定。

DEST_MODULE_LOCATION[0]用来设定模块安装的目的地址,本例是"/lib/module/$(KVERSION)/updates"。

AUTOINSTALL=“yes"表示在Linux引导之后DKMS会自动对这个模块执行Build和Install的动作,当然如果模块已经处于该状态的话,相应的动作是不用再执行的。

基于DKMS制作驱动程序的DEB安装包

制作DEB包依赖于dh-make,请首先执行 sudo apt-get install dh-make 安装。

在模块处于"Built State"的条件下,执行 sudo dkms mkdeb -m hello -v 0.1 可以在目录“/var/lib/dkms/hello/0.1/deb”下生成deb包。

DKMS还提供了mktarball和mkrpm来制作tarball和RPM安装包。

static_key 机制

https://www.dazhuanlan.com/2019/10/10/5d9f4b6a20f82/

简单来说,如果你对代码性能很敏感,而且大多数情况下分支路径是确定的,可以考虑使用static keys。static keys可以代替普通的变量进行分支判断,目的是用来优化频繁使用if-else判断的问题,这里涉及到指令分支预取的一下问题。简单地说,现代cpu都有预测功能,变量的判断有可能会造成硬件预测失败,影响流水线性能。虽然有likely和unlikely,但还是会有小概率的预测失败。

定义一个static_key

1
struct static_key key = STATIC_KEY_INIT_FALSE;

注意:这个key及其初始值必须是静态存在的,不能定义为局部变量或者使用动态分配的内存。通常为全局变量或者静态变量。 其中的STATIC_KEY_INIT_FALSE表示这个key的默认值为false,对应的分支默认不进入,如果是需要默认进入的,用STATIC_KEY_INIT_TRUE,这里如果不赋值,系统默认为STATIC_KEY_INIT_FALSE,在代码运行中不能再用STATIC_KEY_INIT_FALSE/STATIC_KEY_INIT_TRUE进行赋值。 判断语句

对于默认为false(STATIC_KEY_INIT_FALSE)的,使用

1
2
3
4
if (static_key_false(&key))
	do unlikely code
else
	do likely code

对于默认为true(STATIC_KEY_INIT_TRUE)的,使用

1
2
3
4
if (static_key_true((&static_key)))
	do the likely work;
else
	do unlikely work

修改判断条件

使用static_key_slow_inc让分支条件变成true,使用static_key_slow_dec让分支条件变成false,与其初始的默认值无关。该接口是带计数的, 也就是:

初始值为STATIC_KEY_INIT_FALSE的,那么: static_key_slow_inc; static_key_slow_inc; static_key_slow_dec 那么 if (static_key_false((&static_key)))对应的分支会进入,而再次static_key_slow_dec后,该分支就不再进入了。

初始值为STATIC_KEY_INIT_TRUE的,那么: static_key_slow_dec; static_key_slow_dec; static_key_slow_inc 那么 if (static_key_true((&static_key)))对应的分支不会进入,而再次static_key_slow_inc后,该分支就进入了。

static-key的内核实现

static_key_false的实现:

对X86场景其实现如下,其它架构下的实现类似。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
static __always_inline bool static_key_false(struct static_key *key)
{
	return arch_static_branch(key);
}

static __always_inline bool arch_static_branch(struct static_key *key)
{
	asm_volatile_goto("1:"
		".byte " __stringify(STATIC_KEY_INIT_NOP) "nt"
		".pushsection __jump_table,  "aw" nt"
		_ASM_ALIGN "nt"
		_ASM_PTR "1b, %l[l_yes], %c0 nt"
		".popsection nt"
		: :  "i" (key) : : l_yes);
	return false;
l_yes:
	return true;
}

其中的asm_volatile_goto宏 使用了asm goto,是gcc的特性,其允许在嵌入式汇编中jump到一个C语言的label,详见gcc的manual(https://gcc.gnu.org/onlinedocs/gcc/Extended-Asm.html), 但是本处其作用只是将C语言的label “l_yes”传递到嵌入式汇编中。

STATIC_KEY_INITIAL_NOP其实就是NOP指令

.pushsection __jump_table 是通知编译器,以下的内容写入到段 __jump_table

_ASM_PTR “1b, %l[l_yes], %c0 ,是往段__jump_table中写入label “1b"、C label "l_yes"和输入参数struct static_key *key的地址,这些信息对应于struct jump_entry 中的code、target、key成员,在后续的处理中非常重要。

.popsection表示以下的内容回到之前的段,其实多半就是.text段。

可见,以上代码的作用就是:执行NOP指令后返回false,同时把NOP指令的地址、代码"return true"对应地址、struct static_key *key的地址写入到段__jump_table。由于固定返回为false且为always inline,编译器会把

1
2
3
4
if (static_key_false((&static_key)))
	do the unlikely work;
else
	do likely work

优化为:

1
2
3
4
5
nop
do likely work
retq
l_yes:
do the unlikely work;

正常场景,就没有判断了。

static_key_true的实现:

1
2
3
4
static __always_inline bool static_key_true(struct static_key *key)
{
	return !static_key_false(key);
}

执行static_key_slow_inc(&key)后,底层通过gcc提供的goto功能,再结合c代码编写的动态修改内存功能,就可以让使用key的代码从执行false分支变成执行true分支。当然这个更改代价时比较昂贵的,不是所有的情况都适用。