kk Blog —— 通用基础

date [-d @int|str] [+%s|"+%F %T"]

TIME-WAIT

1. tw_reuse,tw_recycle 必须在客户端和服务端 timestamps 开启时才管用

1
cat /proc/sys/net/ipv4/tcp_timestamps

2. tw_reuse 只对客户端起作用

开启后超过1s的time-wait sk被reuse, 如下代码。否则inet_hash_connect会继续尝试寻在可用端口。

tcp_v4_connect() -> inet_hash_connect() -> __inet_check_established() -> twsk_unique() -> tcp_twsk_unique()

vim net/ipv4/tcp_ipv4.c

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
int tcp_twsk_unique(struct sock *sk, struct sock *sktw, void *twp)
{
        const struct tcp_timewait_sock *tcptw = tcp_twsk(sktw);
        struct tcp_sock *tp = tcp_sk(sk);

        if (tcptw->tw_ts_recent_stamp &&
            (twp == NULL || (sysctl_tcp_tw_reuse &&
                             get_seconds() - tcptw->tw_ts_recent_stamp > 1))) {
                tp->write_seq = tcptw->tw_snd_nxt + 65535 + 2;
                if (tp->write_seq == 0)
                        tp->write_seq = 1;
                tp->rx_opt.ts_recent       = tcptw->tw_ts_recent;
                tp->rx_opt.ts_recent_stamp = tcptw->tw_ts_recent_stamp;
                sock_hold(sktw);
                return 1;
        }

        return 0;
}

3. tw_recycle 和 TCP_TIMEWAIT_LEN

tw_recycle 对客户端和服务器同时起作用,有两个作用:
a) 开启后在 3*RTO 后回收 sk。没开启在 TCP_TIMEWAIT_LEN = 60 后回收 sk。
b) tcp会缓存每个连接最新的时间戳,后续请求中如果时间戳小于缓存的时间戳,相应的数据包会被丢弃。如果多个客户端在NAT后面就会出问题。

有些内核删除了b功能,如tlinux。 https://github.com/torvalds/linux/commit/4396e46187ca5070219b81773c4e65088dac50cc

最新的内核删除了a、b两个功能,且 TCP_TIMEWAIT_LEN 不可配置。。。

4. tcp_max_tw_buckets

1
cat /proc/sys/net/ipv4/tcp_max_tw_buckets

time-wait sk 的最大数量。

设置成0就部不分配time-wait sk,只回一个ack,如果ack丢了下次就只能回rst了,测试的时候可以用。

5. 服务端处于 time-wait 时收包处理

TIME_WAIT状态下对接收到的数据包如何处理

centos 设置默认启动内核

https://www.4spaces.org/centos7-change-kernel-order/

查看当前默认启动内核

1
grub2-editenv list

查看所有内核

1
2
cat /boot/grub2/grub.cfg | grep menuentry
menuentry 'CentOS Linux (3.10.0-693.5.2.el7.x86_64) 7 (Core)' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.10.0-693.el7.x86_64-advanced-a5c5c2e2-9baf-46e5-9703-ee9d6b421f66' {

设置新的启动内核

1
grub2-set-default 'CentOS Linux (3.10.0-693.5.2.el7.x86_64) 7 (Core)'

gitignore 排除包含

想忽略某个文件夹,但又不想忽略这个文件夹下的某个子目录或文件

1
2
3
application/*
!application/language/
!application/README

nginx proxy_pass

https://www.cnblogs.com/xuey/p/9515996.html


nginx中有两个模块都有proxy_pass指令

ngx_http_proxy_module的proxy_pass

1
2
3
4
5
语法: proxy_pass URL;
场景: location, if in location, limit_except
说明: 设置后端代理服务器的协议(protocol)和地址(address),以及location中可以匹配的一个可选的URI。
	协议可以是"http"或"https"。地址可以是一个域名或ip地址和端口,或者一个 unix-domain socket 路径。  
详见官方文档: http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_pass

ngx_stream_proxy_module的proxy_pass

1
2
3
4
语法: proxy_pass address;
场景: server
说明: 设置后端代理服务器的地址。这个地址(address)可以是一个域名或ip地址和端口,或者一个 unix-domain socket路径。  
详见官方文档: http://nginx.org/en/docs/stream/ngx_stream_proxy_module.html#proxy_pass

两个proxy_pass的关系和区别

在两个模块中,两个proxy_pass都是用来做后端代理的指令。

ngx_stream_proxy_module模块的proxy_pass指令只能在server段使用使用, 只需要提供域名或ip地址和端口。可以理解为端口转发,可以是tcp端口,也可以是udp端口。 ngx_http_proxy_module模块的proxy_pass指令需要在location段,location中的if段,limit_except段中使用,处理需要提供域名或ip地址和端口外,还需要提供协议,如"http"或"https",还有一个可选的uri可以配置。

proxy_pass的具体用法

ngx_stream_proxy_module模块的proxy_pass指令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
server {
  listen 127.0.0.1:12345;
  proxy_pass 127.0.0.1:8080;
}

server {
  listen 12345;
  proxy_connect_timeout 1s;
  proxy_timeout 1m;
  proxy_pass example.com:12345;
}

server {
  listen 53 udp;
  proxy_responses 1;
  proxy_timeout 20s;
  proxy_pass dns.example.com:53;
}

server {
  listen [::1]:12345;
  proxy_pass unix:/tmp/stream.socket; #设置源站地址
}

ngx_http_proxy_module模块的proxy_pass指令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
server {
  listen    80;
  server_name www.test.com;

  # 正常代理,不修改后端url的
  location /some/path/ {
      proxy_pass http://127.0.0.1;
  }

  # 修改后端url地址的代理(本例后端地址中,最后带了一个斜线)
  location /testb {
      proxy_pass http://www.other.com:8801/;
  }

  # 使用 if in location
  location /google {
      if ( $geoip_country_code ~ (RU|CN) ) {
          proxy_pass http://www.google.hk;
      }
  }

  location /yongfu/ {
      # 没有匹配 limit_except 的,代理到 unix:/tmp/backend.socket:/uri/
      proxy_pass http://unix:/tmp/backend.socket:/uri/;

      # 匹配到请求方法为: PUT or DELETE, 代理到9080
      limit_except PUT DELETE {
          proxy_pass http://127.0.0.1:9080;
      }
  }

}

proxy_pass后端服务器的url(request_uri)情况分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
server {
  listen    80;
  server_name www.test.com;

  # 情形A
  # 访问 http://www.test.com/testa/aaaa
  # 后端的request_uri为: /testa/aaaa
  location ^~ /testa/ {
      proxy_pass http://127.0.0.1:8801;
  }
  
  # 情形B
  # 访问 http://www.test.com/testb/bbbb
  # 后端的request_uri为: /bbbb
  location ^~ /testb/ {
      proxy_pass http://127.0.0.1:8801/;
  }

  # 情形C
  # 下面这段location是正确的
  location ~ /testc {
      proxy_pass http://127.0.0.1:8801;
  }

  # 情形D
  # 下面这段location是错误的
  #
  # nginx -t 时,会报如下错误: 
  #
  # nginx: [emerg] "proxy_pass" cannot have URI part in location given by regular 
  # expression, or inside named location, or inside "if" statement, or inside 
  # "limit_except" block in /opt/app/nginx/conf/vhost/test.conf:17
  # 
  # 当location为正则表达式时,proxy_pass 不能包含URI部分。本例中包含了"/"
  location ~ /testd {
      proxy_pass http://127.0.0.1:8801/;   # 记住,location为正则表达式时,不能这样写!!!
  }

  # 情形E
  # 访问 http://www.test.com/ccc/bbbb
  # 后端的request_uri为: /aaa/ccc/bbbb
  location /ccc/ {
      proxy_pass http://127.0.0.1:8801/aaa$request_uri;
  }

  # 情形F
  # 访问 http://www.test.com/namea/ddd
  # 后端的request_uri为: /yongfu?namea=ddd
  location /namea/ {
      rewrite /namea/([^/]+) /yongfu?namea=$1 break;
      proxy_pass http://127.0.0.1:8801;
  }

  # 情形G
  # 访问 http://www.test.com/nameb/eee
  # 后端的request_uri为: /yongfu?nameb=eee
  location /nameb/ {
      rewrite /nameb/([^/]+) /yongfu?nameb=$1 break;
      proxy_pass http://127.0.0.1:8801/;
  }

  access_log /data/logs/www/www.test.com.log;
}

server {
  listen    8801;
  server_name www.test.com;
  
  root    /data/www/test;
  index   index.php index.html;

  rewrite ^(.*)$ /test.php?u=$1 last;

  location ~ \.php$ {
      try_files $uri =404;
      fastcgi_pass unix:/tmp/php-cgi.sock;
      fastcgi_index index.php;
      include fastcgi.conf;
  }

  access_log /data/logs/www/www.test.com.8801.log;
}

小结

情形A和情形B进行对比,可以知道proxy_pass后带一个URI,可以是斜杠(/)也可以是其他uri,对后端request_uri变量的影响。

情形D说明,当location为正则表达式时,proxy_pass不能包含URI部分(proxy_pass在以下情况下,指令中不能有URI,正则表达式位置、命名的地点、if 块),

情形E通过变量($request_uri, 也可以是其他变量),对后端的request_uri进行改写。

情形F和情形G通过rewrite配合break标志,对url进行改写,并改写后端的request_uri。需要注意,proxy_pass地址的URI部分在情形G中无效,不管如何设置,都会被忽略。

nginx https代理配置

https://segmentfault.com/a/1190000019563509


NGINX解决HTTPS代理的方式都属于透传(隧道)模式,即不解密不感知上层流量。具体的方式有如下7层和4层的两类解决方案。

HTTP CONNECT隧道 (7层解决方案)

客户端给代理服务器发送HTTP CONNECT请求。

代理服务器利用HTTP CONNECT请求中的主机和端口与目的服务器建立TCP连接。

代理服务器给客户端返回HTTP 200响应。

客户端和代理服务器建立起HTTP CONNECT隧道,HTTPS流量到达代理服务器后,直接通过TCP透传给远端目的服务器。代理服务器的角色是透传HTTPS流量,并不需要解密HTTPS。

NGINX ngx_http_proxy_connect_module模块

NGINX作为反向代理服务器,官方一直没有支持HTTP CONNECT方法。但是基于NGINX的模块化、可扩展性好的特性,阿里的@chobits提供了ngx_http_proxy_connect_module模块,来支持HTTP CONNECT方法,从而让NGINX可以扩展为正向代理。

NGINX stream (4层解决方案)

NGINX官方从1.9.0版本开始支持ngx_stream_core_module模块,模块默认不build,需要configure时加上 --with-stream 选项来开启。

ngx_stream_ssl_preread_module模块

要在不解密的情况下拿到HTTPS流量访问的域名,只有利用TLS/SSL握手的第一个Client Hello报文中的扩展地址SNI (Server Name Indication)来获取。NGINX官方从1.11.5版本开始支持利用ngx_stream_ssl_preread_module模块来获得这个能力,模块主要用于获取Client Hello报文中的SNI和ALPN信息。对于4层正向代理来说,从Client Hello报文中提取SNI的能力是至关重要的,否则NGINX stream的解决方案无法成立。同时这也带来了一个限制,要求所有客户端都需要在TLS/SSL握手中带上SNI字段,否则NGINX stream代理完全没办法知道客户端需要访问的目的域名。

1
2
3
4
5
6
7
8
9
stream {
	resolver 114.114.114.114;
	server {
		listen 443;
		ssl_preread on;
		proxy_connect_timeout 5s;
		proxy_pass $ssl_preread_server_name:$server_port;
	}
}

test

openssl带servername参数来指定SNI

1
openssl s_client -connect www.baidu.com:443 -servername www.baidu.com