kk Blog —— 通用基础


date [-d @int|str] [+%s|"+%F %T"]
netstat -ltunp

避免僵死进程

一、两次fork避免僵死进程

如果在一个进程A中启动了一个子进程B,但是B的执行时间可能很长,也可能很短。因此,既不希望A调用wait或者waitpid来等待B的完成(如果B执行时间太长,A的时间就耗费在等待B的完成了,虽然waitpid有WNOHANG选项,但免不了多次调用waitpid来看B是否完成);也不希望如果B执行时间太短了,然后A又不用wait或waitpid去获取B的退出状态,那么B就一直处于僵死状态直到A终止(这样造成了资源的浪费)。

此时,可以使用一个小trick。就是调用两次fork,让B的父进程变成init进程(pid=1的那个进程,所有孤儿进程的父进程)。这样,A进程可以想干嘛干嘛去,B进程也可以想执行多久就执行多久了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
#include <unistd.h>
#include <sys/wait.h>
int main()
{
	pid_t pid;
	if ((pid=fork()) < 0) {
		printf("fork 1 error\n");
		exit(-1);
	} else if(pid==0){ //第一个子进程
		if ((pid=fork()) < 0) {
			printf("fork 2 error\n");
			exit(-1);
		} else if(pid>0) {
			//第二次fork产生的子进程(第二个子进程)的父进程,其实就是第一次fork产生的子进程(第一个子进程)
			exit(0); //第一个子进程结束,那么它的子进程(第二个子进程)将由init进程领养,init进程成为第二个子进程的父进程
		}
		//第二个子进程(就是我们前面说的B进程)可以做他想做的事情了
		................
	}
	if (waitpid(pid,NULL,0) != pid) //获取第一个子进程的终止状态,不让它变成僵死进程
		printf("waitpid error\n");
	//父进程(就是我们前面说的A进程)也可以做他想做的事情了
	.........
	return 0;
}

二、通过信号机制

子进程退出时向父进程发送SIGCHILD信号,父进程处理SIGCHILD信号。在信号处理函数中调用wait进行处理僵尸进程。测试程序如下所示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <stdlib.h>
#include <signal.h>

static void sig_child(int signo)
{
	pid_t pid;
	int stat;
	//处理僵尸进程
	while ((pid = waitpid(-1, &stat, WNOHANG)) >0)
		printf("child %d terminated.\n", pid);
}

int main()
{
	pid_t pid;
	//创建捕捉子进程退出信号
	signal(SIGCHLD, sig_child);
	pid = fork();
	if (pid < 0) {
		perror("fork error:");
		exit(1);
	} else if (pid == 0) {
		printf("I am child process,pid id %d.I am exiting.\n",getpid());
		exit(0);
	}
	printf("I am father process.I will sleep two seconds\n");
	//等待子进程先退出
	sleep(2);
	//输出进程信息
	system("ps -o pid,ppid,state,tty,command");
	printf("father process is exiting.\n");
	return 0;
}

父进程可以忽略 SIGCLD 软中断而不必要 wait()。可以这样做到(在支持它的系统上,比如Linux): 

1
2
3
4
5
6
7
8
int main()
{
	signal(SIGCLD, SIG_IGN); /* now I don't have to wait()! */
	.......
	fork();
	fork();
	fork(); /* Rabbits, rabbits, rabbits! */
}

设置线程的栈空间

include <pthread.h>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
pthread_attr_t thread_attr;
size_t stack_size;
int status;

status = pthread_attr_init (&thread_attr);
if (status != 0)
	err_abort (status, "Create attr");

status = pthread_attr_setdetachstate (&thread_attr, PTHREAD_CREATE_DETACHED);

if (status != 0)
	err_abort (status, "Set detach");
//通常出现的问题之一,下面的宏没有定义
#ifdef _POSIX_THREAD_ATTR_STACKSIZE
	//得到当前的线程栈大小
	status = pthread_attr_getstacksize (&thread_attr, &stack_size);
	if (status != 0)
		err_abort (status, "Get stack size");
	printf ("Default stack size is %u; minimum is %u\n", stack_size, PTHREAD_STACK_MIN);

	//设置当前的线程的大小
	status = pthread_attr_setstacksize (&thread_attr, PTHREAD_STACK_MIN*1024);
	if (status != 0)
		err_abort (status, "Set stack size");

	//得到当前的线程栈的大小
	status = pthread_attr_getstacksize (&thread_attr, &stack_size);
	if (status != 0)
		err_abort (status, "Get stack size");
	printf ("Default stack size is %u; minimum is %u\n", stack_size, PTHREAD_STACK_MIN);
#endif

curl模拟post

经常会遇到需要post提交东西的时候
这时候用curl是非常方便的
例子:

1
2
3
4
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
-e "http://www.xxx.com/poll.shtml" \
-d "2880[]=105&pid=2880&p=最佳&count=1&receipt=1&poll=投票" \
http://survey.xxx.com/poll/poll.php

这里 -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
的意思就是申明自己用的是windows2000下的ie6的浏览器;

-e "http://www.xxx.com/poll.shtml" 的意思就是refer是这个页面;

-d后面的参数都是将用post方式提交到服务器去的

最后面的就是将要post到的url地址

mysql 导入、导出

source 导入

mysql>use 数据库
然后用source,后面参数为脚本文件(如这里用到的.sql)

1
mysql>source /home/abcdxyzk/chai.sql

命令导入

1
mysql -upx -ppx px < pxbak.sql

导出表结构和数据

配合git做数据库备份, 加 –skip-extended-insert 不要合并插入数据。

1
mysqldump --skip-extended-insert -h localhost -uroot -p123456 database table > dump.sql

导出单个数据表结构(包含数据)

1
2
3
mysqldump -h localhost -uroot -p123456 -d database > dump.sql

mysqldump -h localhost -uroot -p123456 -d database table > dump.sql

导出整个数据库结构(不包含数据)

1
mysqldump -d -h localhost -uroot -p123456 database table > dump.sql

on DUPLICATE KEY UPDATE

MySQL 当记录不存在时插入,当记录存在时更新 网上基本有三种解决方法。

第一种:

示例一:插入多条记录

假设有一个主键为 client_id 的 clients 表,可以使用下面的语句:

1
2
3
4
5
6
INSERT INTO clients
(client_id,client_name,client_type)
SELECTsupplier_id,supplier_name,'advertising'
FROMsuppliers
WHEREnotexists(select*fromclients
whereclients.client_id=suppliers.supplier_id);
示例一:插入单条记录
1
2
3
4
5
6
INSERTINTOclients
(client_id,client_name,client_type)
SELECT10345,'IBM','advertising'
FROMdual
WHEREnotexists(select*fromclients
whereclients.client_id=10345);

使用 dual 做表名可以让你在 select 语句后面直接跟上要插入字段的值,即使这些值还不存在当前表中。

第二种:

1
INSERT 中ON DUPLICATE KEY UPDATE的使用

如果您指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE或PRIMARY KEY中出现重复值,则执行旧行UPDATE。例如,如果列a被定义为UNIQUE,并且包含值1,则以下两个语句具有相同的效果:

1
mysql>INSERT INTO table (a,b,c) VALUES (1,2,3)      ->ON DUPLICATE KEY UPDATE c=c+1;mysql>UPDATE table SET c=c+1 WHERE a=1;

如果行作为新记录被插入,则受影响行的值为1;如果原有的记录被更新,则受影响行的值为2。

注释:如果列b也是唯一列,则INSERT与此UPDATE语句相当:

1
mysql>UPDATE table SET c=c+1 WHERE a=1 OR b=2 LIMIT 1;

如果a=1 OR b=2与多个行向匹配,则只有一个行被更新。通常,您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)从INSERT…UPDATE语句的INSERT部分引用列值。换句话说,如果没有发生重复关键字冲突,则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT…UPDATE语句中有意义,其它时候会返回NULL。

示例:

1
mysql>INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)      ->ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

本语句与以下两个语句作用相同:

1
mysql>INSERT INTO table (a,b,c) VALUES (1,2,3)      ->ON DUPLICATE KEY UPDATE c=3;mysql>INSERT INTO table (a,b,c) VALUES (4,5,6)      ->ON DUPLICATE KEY UPDATE c=9;

当您使用ON DUPLICATE KEY UPDATE时,DELAYED选项被忽略。

第三种:

REPLACE语句

我们在使用时可能会经常遇到这种情况。如果一个表在一个字段上建立了唯一索引,当我们再向这个表中使用已经存在的键值插入一条记录,那将会抛出一个主键冲突的错误。当然,我们可能想用新记录的值来覆盖原来的记录值。如果使用传统的做法,必须先使用DELETE语句删除原先的记录,然后再使用INSERT插入新的记录。而在MySQL中为我们提供了一种新的解决方案,这就是REPLACE语句。使用REPLACE插入一条记录时,如果不重复,REPLACE就和INSERT的功能一样,如果有重复记录,REPLACE就使用新记录的值来替换原来的记录值。

使用REPLACE的最大好处就是可以将DELETE和INSERT合二为一,形成一个原子操作。这样就可以不必考虑在同时使用DELETE和INSERT时添加事务等复杂操作了。

在使用REPLACE时,表中必须有唯一索引,而且这个索引所在的字段不能允许空值,否则REPLACE就和INSERT完全一样的。

在执行REPLACE后,系统返回了所影响的行数,如果返回1,说明在表中并没有重复的记录,如果返回2,说明有一条重复记录,系统自动先调用了DELETE删除这条记录,然后再记录用INSERT来插入这条记录。如果返回的值大于2,那说明有多个唯一索引,有多条记录被删除和插入。

REPLACE的语法和INSERT非常的相似,如下面的REPLACE语句是插入或更新一条记录。

1
REPLACE INTO users (id,name,age) VALUES(123, '赵本山', 50);

插入多条记录:

1
2
REPLACE INTO users(id, name, age)
VALUES(123, '赵本山', 50), (134,'Mary',15);

REPLACE也可以使用SET语句

1
REPLACE INTO users SET id = 123, name = '赵本山', age = 50;

上面曾提到REPLACE可能影响3条以上的记录,这是因为在表中有超过一个的唯一索引。在这种情况下,REPLACE将考虑每一个唯一索引,并对每一个索引对应的重复记录都删除,然后插入这条新记录。假设有一个table1表,有3个字段a, b, c。它们都有一个唯一索引。

1
CREATE TABLE table1(a INT NOT NULL UNIQUE,b INT NOT NULL UNIQUE,c INT NOT NULL UNIQUE);

假设table1中已经有了3条记录

1
2
3
4
a b c
1 1 1
2 2 2
3 3 3

下面我们使用REPLACE语句向table1中插入一条记录。

1
REPLACE INTO table1(a, b, c) VALUES(1,2,3);

返回的结果如下

1
Query OK, 4 rows affected (0.00 sec)

在table1中的记录如下

1
2
a b c
1 2 3

我们可以看到,REPLACE将原先的3条记录都删除了,然后将(1, 2, 3)插入。总结:虽然没有具体测试,感觉第一种最费资源了(只是感觉),不过你要是没有主键的话也只能用他了。第二种和第三种的区别是:1)insert是先尝试插入,若主键存在则更新。REPLACE是先尝试插入,若主键存在则删除原纪录再插入。2)如果有多个唯一关键字发生冲突(不同关键字的冲突发生在不同记录),比如现在有2个字段2条记录冲突了(没条记录冲突一个字段),则insert是选择排序后在前面的一条进行更新,REPLACE是删除那两条记录,然后插入新记录。