kk Blog —— 通用基础

date [-d @int|str] [+%s|"+%F %T"]

haproxy splice

www.haproxy.org/download/1.5/doc/configuration.txt 或 configuration.txt

旧版编译加

1
USE_TCPSPLICE=1

比较新的加

1
USE_LINUX_SPLICE=1

默认编译会加入

编译加入了也要在配置文件中开启才有效

1
2
3
option splice-auto
option splice-request
option splice-response

在global中关闭splice功能

1
nosplice

haproxy log

http://sharadchhetri.com/2013/10/16/how-to-enable-logging-of-haproxy-in-rsyslog/

After installing the HAproxy 1.4 in CentOS 6.4 bydefault logging of haproxy was not enable.To enable the logging of HAProxy you have to enable it in rsyslog(In CentOS 6.4 minimal installation,rsyslog version 5.2 is shipped). To setup logging in HAproxy,follow the given below steps

Step 1:

In Global Section of haproxy.cfg put the value log 127.0.0.1 local0 .Like given below

1
2
global
	log 127.0.0.1   local0

Step 2:

Create new haproxy configuration file in /etc/rsyslog.d . Here we are keeping the log in localhost or in other words we should say HAproxy server

Note:

local0.=info -/var/log/haproxy.log defines the http log will be saved in haproxy.log

local0.notice -/var/log/haproxy-status.log defines the Server status like start,stop,restart,down,up etc. will be saved in haproxy-status.log

UDPServerRun 514 means opening UDP port no. 514 to listen haproxy messages

1
2
3
4
5
6
7
8
9
vi /etc/rsyslog.d/haproxy.conf

$ModLoad imudp
$UDPServerRun 514 
$template Haproxy,"%msg%\n"
local0.=info -/var/log/haproxy.log;Haproxy
local0.notice -/var/log/haproxy-status.log;Haproxy
### keep logs in localhost ##
local0.* ~ 

Step 3:

Now restart the HAproxy service

1
/etc/init.d/haproxy restart

After restarting the haproxy service two logs will be created itself i.e haproxy.log and haproxy-status.log

Step 4:

Check your logrotae file for haproxy also so that logs keep on rotating and compress itself. If bydefault it is not present in /etc/logrotate.d directory then create a new file called haproxy and paste the given below code.

Here I am keeping the logs upto 120 days hence rotate 120 and daily is written in file.

1
2
3
4
5
6
7
8
9
10
11
12
13
cat /etc/logrotate.d/haproxy

/var/log/haproxy.log {
	missingok
	notifempty
	sharedscripts
	rotate 120
	daily
	compress
	postrotate
		reload rsyslog >/dev/null 2>&1 || true
	endscript
}

haproxy安装配置

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上.

haproxy 配置中分成五部分内容,分别如下:

1、global:参数是进程级的,通常是和操作系统相关。这些参数一般只设置一次,如果配置无误,就不需要再次进行修改

2、defaults:配置默认参数,这些参数可以被用到frontend,backend,Listen组件

3、frontend:接收请求的前端虚拟节点,Frontend可以更加规则直接指定具体使用后端的backend

4、backend:后端服务集群的配置,是真实服务器,一个Backend对应一个或者多个实体服务器

5、Listen Fronted和backend的组合体

一、安装HAProxy

1.下载最新haproxy安装包

官网:http://www.haproxy.org ,如果不能访问,可以使用在线代理访问下载。下载:http://fossies.org/linux/misc/haproxy-1.5.14.tar.gzhaproxy-1.5.14.tar.gz

2.上传到linux的haproxy用户根目录下,并解压:
1
tar -zxvf haproxy-1.5.14.tar.gz 

创建目录/home/haproxy/haproxy

3.安装

CentOS5编译新的haproxy需要在Makefile中禁掉USE_ACCEPT4

1
2
3
cd haproxy-1.5.14
make  TARGET=linux26 ARCH=x86_64 PREFIX=/home/haproxy/haproxy   #将haproxy安装到/home/haproxy/haproxy ,TARGET是指定内核版本
make install PREFIX=/home/haproxy/haproxy  

进入/home/haproxy/haproxy 目录创建/home/haproxy/haproxy/conf目录,复制配置examples

1
cp  /home/haproxy/haproxy-1.5.14/examples/haproxy.cfg  /home/haproxy/haproxy/conf/
4.修改配置

配置说明如下:(参考:http://freehat.blog.51cto.com/1239536/1347882)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
###########全局配置#########
global
	log 127.0.0.1   local0          #[日志输出配置,所有日志都记录在本机,通过local0输出]
	log 127.0.0.1   local1 notice   #定义haproxy 日志级别[error warringinfo debug]
	daemon                          #以后台形式运行harpoxy
	nbproc    1                     #设置进程数量
	maxconn   4096                  #默认最大连接数,需考虑ulimit-n限制
	#pidfile  /var/run/haproxy.pid  #haproxy 进程PID文件
	#ulimit-n 819200                #ulimit 的数量限制
	#chroot   /usr/share/haproxy    #chroot运行路径
	#debug                          #haproxy 调试级别,建议只在开启单进程的时候调试
	#quiet

########默认配置############
defaults
	log      global
	mode     http                  #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
	option   httplog               #日志类别,采用httplog
	option   dontlognull           #不记录健康检查日志信息
	retries  2                     #两次连接失败就认为是服务器不可用,也可以通过后面设置
	option   forwardfor            #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
	option   httpclose             #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现
	#option  redispatch            #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器,以后将不支持
	option   abortonclose          #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
	maxconn  4096                  #默认的最大连接数
	timeout  connect  5000ms       #连接超时
	timeout  client 30000ms        #客户端超时
	timeout  server 30000ms        #服务器超时
	#timeout check 2000            #心跳检测超时
	#timeout http-keep-alive10s    #默认持久连接超时时间
	#timeout http-request   10s    #默认http请求超时时间
	#timeout queue          1m     #默认队列超时时间
	balance  roundrobin            #设置默认负载均衡方式,轮询方式
	#balance source                #设置默认负载均衡方式,类似于nginx的ip_hash
	#balnace leastconn             #设置默认负载均衡方式,最小连接数

########统计页面配置########
listen admin_stats
	bind 0.0.0.0:1080               #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称
	mode http                       #http的7层模式
	option httplog                  #采用http日志格式
	#log 127.0.0.1 local0 err       #错误日志记录
	maxconn 10                      #默认的最大连接数
	stats refresh 30s               #统计页面自动刷新时间
	stats uri /stats                #统计页面url
	stats realm XingCloud\ Haproxy  #统计页面密码框上提示文本
	stats auth admin:admin          #设置监控页面的用户和密码:admin,可以设置多个用户名
	stats auth  Frank:Frank         #设置监控页面的用户和密码:Frank
	stats hide-version              #隐藏统计页面上HAProxy的版本信息
	stats  admin if TRUE            #设置手工启动/禁用,后端服务器(haproxy-1.4.9以后版本)
	
########设置haproxy 错误页面#####
errorfile 403 /home/haproxy/haproxy/errorfiles/403.http
errorfile 500 /home/haproxy/haproxy/errorfiles/500.http
errorfile 502 /home/haproxy/haproxy/errorfiles/502.http
errorfile 503 /home/haproxy/haproxy/errorfiles/503.http
errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

########frontend前端配置##############
frontend main
	bind *:80         #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。
	acl web hdr(host) -i www.abc.com  #acl后面是规则名称,-i是要访问的域名,如果访问www.abc.com这个域名就分发到下面的webserver 的作用域。
	acl img hdr(host) -i img.abc.com  #如果访问img.abc.com.cn就分发到imgserver这个作用域。
	use_backend webserver if web
	use_backend imgserver if img

########backend后端配置##############
backend webserver             #webserver作用域
	mode http
	balance   roundrobin                  #balance roundrobin 轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等参数
	option  httpchk /index.html HTTP/1.0  #健康检查, 检测文件,如果分发到后台index.html访问不到就不再分发给它
	server  web1 10.16.0.9:8085  cookie 1 weight 5 check inter 2000 rise 2 fall 3
	server  web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3
	#cookie 1表示serverid为1,check inter 1500 是检测心跳频率  
	#rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
backend imgserver
	mode http
	option  httpchk /index.php
	balance     roundrobin                          
	server      img01 192.168.137.101:80  check inter 2000 fall 3
	server      img02 192.168.137.102:80  check inter 2000 fall 3
listen tcptest  
	bind 0.0.0.0:5222  
	mode tcp  
	option tcplog                  #采用tcp日志格式  
	balance source  
	#log 127.0.0.1 local0 debug  
	server s1 192.168.100.204:7222    weight 1  
	server s2 192.168.100.208:7222    weight 1
5.加上日志支持
1
2
3
4
# vim /etc/syslog.conf
在最下边增加
local1.*        /home/haproxy/haproxy/logs/haproxy.log
local0.*        /home/haproxy/haproxy/logs/haproxy.log
1
2
3
# vim /etc/sysconfig/syslog
修改: SYSLOGD_OPTIONS="-r -m 0"
重启日志服务 service syslog restart
6.启动服务

启动服务:

1
# /home/haproxy/haproxy/sbin/haproxy -f /home/haproxy/haproxy/conf/haproxy.cfg

重启服务:

1
# /home/haproxy/haproxy/sbin/haproxy -f /home/haproxy/haproxy/conf/haproxy.cfg -st `cat /home/haproxy/haproxy/conf/haproxy.pid`

停止服务:

1
# killall haproxy
7.监控

访问:http://192.168.101.125:1080/stats

同时运行多个squid

http://wenku.baidu.com/link?url=UXFXZVxSsQMyXVzoTA5y3Oal6s5zknpozLhfodYZ7d43R_XpziB08h28ynXZy3Sq8r-XH1tdXGvxD_X2Pa_aI4f6pFTBgGXMm0QRaRbEYmq

多代理(SQUID)同时运行的配置方法 

作成日期:2012/8/24 

多代理用途: 

1、HTTP反向加速;  2、权限控制部分客户端,而权限控制选项是全局设置时; 

总之,一般的代理服务器运行一个即可,当有特殊要求的时候,才有此需要,HTTP反向代理本文没有涉及,仅是为了权限控制,一台机器同一网卡运行了2个Squid,对于HTTP反向代理,有兴趣者可自行研究配置。  

环境: 

1、 Cent OS 5  2、 Squid (Version 2.6.STABLE21) 
3、 DELL R710  

配置: 

在配置多Squid同时运行时,我的服务器已经安装配置好的Squid,并正常运行,如果你的服务器还不具备此条件,请先配置好Squid,并确保可以正确运行。 

1、 复制一份Squid .conf配置文件 
2、 编辑新文件,配置如下的选项与第一个Squid区分开 

项目 参数 备注
端口 8080 端口可自定,但要注意两个问题,与原有的Squid 默认的3128区分开,并且与系统已经存在的服务占用端口区分开,避免冲突发生。
缓存目录 指定一个新目录与第一个Squid区分开 TAG: cache_dir, 注意,新的目录必须将权限设定为777。
系统日志 指定一个新目录与第一个Squid区分开 TAG: access_log TAG: cache_log TAG: cache_store_log 以上日志存放地点可自定与第一个Squid区分开即可,注意,新的目录必须将权限设定为777。
PID文件 指定一个新目录与第一个Squid区分开 TAG: pid_filename 第1个Suqid的PID文件默认存放地点是/VAR/RUN 重新指定新的目录,避免与第1个Squid文件冲突。

3、初始化缓存目录 
命令如下:squid -z -f 新的配置文件  注意,"-f"参数后面一定要写上新配置文件,一般设定2个Squid同时运行时,都是这一步没有处理或者处理错误,比如没有加"-f"参数的话,就会初始化原有的Squid缓存目录 而不是新squid缓存目录。 

4、运行第2个代理服务器 
命令如下:squid -D -f 新的配置文件  

var script = document.createElement(‘script’); script.src = ‘http://static.pay.baidu.com/resource/baichuan/ns.js’; document.body.appendChild(script);

 维护: 

至此,服务器上已经运行两个代理服务器,使用不同的端口,就会通过不同代理服务器进行网络连接,设定配置文件,可为客户端设定不同的网络权限。   

1、关于配置文件的更新后Reload  如更新第1个代理,使用默认系统命令:squid -k reconfigure      如更新第2个代理,squid -k reconfigure -f 新的配置文件   

2、第2个代理的自动启动 
当系统重新时,想第2个代理随机启动,请参照以下脚本(第1个代理启动,可以在系统中设定): 

1
2
3
4
5
6
7
8
9
10
11
12
13
#! /bin/sh 
echo "Start special squid”             #输出一些提示信息 
squid -D -f /etc/squid/squidnew.conf   #我的新配置文件在/etc/squid下面 
echo "Please wait ...."                #输出一些提示信息 
sleep 5                             #等待5秒,给Squid启动时间,实际可能不需要怎么久 
cd /var/cache/squidnew/             #进入缓存目录,我的PID文件放在这里 
if [ -s squid.pid ];                #判断PID文件是否存在,存在squid启动成功,否则失败      
then                                              
	echo "Squid start success"      
else 
	echo "Squid start failed" 
fi
exit 0 

将该脚本放置到启动目录,自行启动即可,另外我不是自行启动,因有时候不运行,如自行启动,可将判断的部分删除,因为系统启动,可能看不到脚本提示信息。 

关于关闭Squid,请使用多次的 squid -k shutdown 命令关闭服务, 同时使用ps -ef |grep squid 判断代理服务是否全部关闭完成。 

调试过程如有问题,使用tail -f /var/log/messages 排错也是个不错的办法。  

备注: 

另外,系统究竟可以运行多少个Squid?没有测试,猜测如CPU足够快、内存足够大,应该可以运行很多副本。

gdb break/watch/catch

http://sourceware.org/gdb/current/onlinedocs/gdb

gdb break 断点设置(一)
gdb watch 断点设置(二)
gdb catch 断点设置(三)
gdb 断点删除(四)


二、断点设置

gdb断点分类:

以设置断点的命令分类:

breakpoint 可以根据行号、函数、条件生成断点。 watchpoint 监测变量或者表达式的值发生变化时产生断点。 catchpoint 监测信号的产生。例如c++的throw,或者加载库的时候。

gdb中的变量从1开始标号,不同的断点采用变量标号同一管理,可以 用enable、disable等命令管理,同时支持断点范围的操作,比如有些命令接受断点范围作为参数。

1、break及break变种详解:

相关命令有break,tbreak,rbreak,hbreak,thbreak,后两种是基于硬件的,先不介绍。

break 与 tbeak

break,tbreak可以根据行号、函数、条件生成断点。tbreak设置方法与break相同,只不过tbreak只在断点停一次,过后会自动将断点删除,break需要手动控制断点的删除和使能。

break 可带如下参数:
linenum 本地行号,即list命令可见的行号
filename:linenum 制定个文件的行号
function 函数,可以是自定义函数也可是库函数,如open
filename:function 制定文件中的函数
condtion 条件
*address 地址,可是函数,变量的地址,此地址可以通过info add命令得到。

例如:

1
2
3
4
5
6
break 10    
break test.c:10
break main
break test.c:main
break system
break open

如果想在指定的地址设置断点,比如在main函数的地址出设断点。可用info add main 获得main的地址如0x80484624,然后用break *0x80484624.

条件断点

就是在如上述指定断点的同时指定进入断点的条件。

例如:(假如有int 类型变量 index)

1
2
break 10 if index == 3
tbreak 12 if index == 5
rbreak

rbreak 可以跟一个规则表达式。rbreak + 表达式的用法与grep + 表达式相似。即在所有与表达式匹配的函数入口都设置断点。

rbreak list* 即在所有以 list 为开头字符的函数地方都设置断点。

rbreak ^list_ 功能与上同。

查看断点信息
1
2
3
4
5
6
7
8
9
10
info break [break num ]
info break 可列出所有断点信息,info break 后也可设置要查看的break num如:
info break 1 列出断点号是1的断点信息

Num        Type                    Disp Enb  Address      What
 1       breakpoint                keep y    <MULTIPLE>
 stop only if i==1
 breakpoint already hit 1 time
 1.1                                    y    0x080486a2 in void foo<int>() at t.cc:8
 1.2                                    y    0x080486ca in void foo<double>() at t.cc:8

2、watch

1
watch [-l|-location] expr [thread threadnum] [mask maskvalue]

-l 与 mask没有仔细研究,thread threadnum 是在多线程的程序中限定只有被线程号是threadnum的线程修改值后进入断点。

经常用到的如下命令: watch
为表达式(变量)expr设置一个观察点。变量量表达式值有变化时,马上停住程序。

表达式可以是一个变量, 例如:watch value_a

表达式可以是一个地址, 例如:watch (int )0x12345678 可以检测4个字节的内存是否变化。

表达式可以是一个复杂的语句表达式, 例如:watch a*b + c/d

watch 在有些操作系统支持硬件观测点,硬件观测点的运行速度比软件观测点的快。如果系统支持硬件观测的话,当设置观测点是会打印如下信息:Hardware watchpoint num: expr

如果不想用硬件观测点的话可如下设置:set can-use-hw-watchpoints

watch两个变种 rwatch,awatch,这两个命令只支持硬件观测点如果系统不支持硬件观测点会答应出不支持这两个命令的信息:,

rwatch
当表达式(变量)expr被读时,停住程序。

awatch
当表达式(变量)的值被读或被写时,停住程序。

info watchpoints
列出当前所设置了的所有观察点。

watch 所设置的断点也可以用控制断点的命令来控制。如 disable、enable、delete等。

可以为停止点设定运行命令

1
2
3
commands [bnum]
... command-list ...
end

为断点号bnum指写一个命令列表。当程序被该断点停住时,gdb会依次运行命令列表中的命令。

例如:

1
2
3
4
5
break foo if x>0
commands
printf "x is %d/n",x
continue
end

断点设置在函数foo中,断点条件是x>0,如果程序被断住后,也就是,一旦x的值在foo函数中大于0,GDB会自动打印出x的值,并继续运行程序。

注意:watch 设置也是断点,如果调试的时候设置的断点(任何种类的断点)过多的时候,watch断点会被忽略,有时候没有任何提示,这是我在测试的时候发现的,只有把多余的断点删除后才可用。


在调试的时候通常用catchpoints来捕获事件,如c++的异常等。捕获点的设置通过catch与tcatch两个命令。

tcatch所设置的断点停止一次后自动删除,设置断点的方法与catch相同。

用法:catch event

这些event事件如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
throw
	The throwing of a C++ exception.
catch
	The catching of a C++ exception.
exception

exception unhandled
	An exception that was raised but is not handled by the program.
assert
	Ada 语言 assert断言失败时,断点被踩到。
exec
	调用exec时断点被踩到。
syscall
syscall [name | number] ...
	通过系统函数的名称和系统号,来设置捕获点,当所设定的系统调用时,断点被踩到。
	因为经常在linux用c语言,所以主要用到的event是最后四个,其他的没有仔细研究。

例如:

1
2
catch syscall open
catch syscall 5

这两个捕获断点一样。


断点的删除与断点的设置同样的重要。删除断点的命令有两个: delete, clear

delete

用法:
delete [breakpoints num] [range…]

delete可删除单个断点,也可删除一个断点的集合,这个集合用连续的断点号来描述。

例如:

1
2
delete 5
delete 1-10
clear

用法:
clear
删除所在行的多有断点。

clear location
clear 删除所选定的环境中所有的断点
clear location location描述具体的断点。

例如:

1
2
3
4
clear list_insert         //删除函数的所有断点
clear list.c:list_delet   //删除文件:函数的所有断点
clear 12                  //删除行号的所有断点
clear list.c:12           //删除文件:行号的所有断点

clear 删除断点是基于行的,不是把所有的断点都删除。