kk Blog —— 通用基础


date [-d @int|str] [+%s|"+%F %T"]
netstat -ltunp
sar -n DEV 1

进程通信--命令行ipcs,ipcrm

内核的 shmall 和 shmmax 参数

/proc/sys/kernel/

shmmax = 配置了最大的内存segment的大小

shmmin = 最小的内存segment的大小

shmmni = 整个系统的内存segment的总个数

shmseg = 每个进程可以使用的内存segment的最大个数


https://www.jb51.net/article/40805.htm

ipcs用法

1
2
3
4
ipcs -a  是默认的输出信息 打印出当前系统中所有的进程间通信方式的信息
ipcs -m  打印出使用共享内存进行进程间通信的信息
ipcs -q  打印出使用消息队列进行进程间通信的信息
ipcs -s  打印出使用信号进行进程间通信的信息

输出格式的控制

1
2
3
4
5
ipcs -t  输出信息的详细变化时间
ipcs -p  输出ipc方式的进程ID
ipcs -c  输出ipc方式的创建者/拥有者
ipcs -c  输出ipc各种方式的在该系统下的限制条件信息
ipcs -u  输出当前系统下ipc各种方式的状态信息(共享内存,消息队列,信号)

ipcrm 命令

移除一个消息对象。或者共享内存段,或者一个信号集,同时会将与ipc对象相关链的数据也一起移除。当然,只有超级管理员,或者ipc对象的创建者才有这项权利啦

ipcrm用法

1
2
3
4
5
6
ipcrm -M shmkey   移除用shmkey创建的共享内存段
ipcrm -m shmid    移除用shmid标识的共享内存段
ipcrm -Q msgkey   移除用msqkey创建的消息队列
ipcrm -q msqid    移除用msqid标识的消息队列
ipcrm -S semkey   移除用semkey创建的信号
ipcrm -s semid    移除用semid标识的信号

进程通信--信号量

https://blog.csdn.net/guoping16/article/details/6584043/

https://www.cnblogs.com/fangshenghui/p/4039946.html

一 为什么要使用信号量

为了防止出现因多个程序同时访问一个共享资源而引发的一系列问题,我们需要一种方法,它可以通过生成并使用令牌来授权,在任一时刻只能有一个执行线程访问 代码的临界区域。临界区域是指执行数据更新的代码需要独占式地执行。而信号量就可以提供这样的一种访问机制,让一个临界区同一时间只有一个线程在访问它, 也就是说信号量是用来调协进程对共享资源的访问的。其中共享内存的使用就要用到信号量。

二 信号量的工作原理

由于信号量只能进行两种操作等待和发送信号,即P(sv)和V(sv),他们的行为是这样的:

P(sv):如果sv的值大于零,就给它减1;如果它的值为零,就挂起该进程的执行

V(sv):如果有其他进程因等待sv而被挂起,就让它恢复运行,如果没有进程因等待sv而挂起,就给它加1.

三 信号量的使用

1、创建信号量

semget函数创建一个信号量集或访问一个已存在的信号量集。

1
2
#include <sys/sem.h>
int semget (key_t key, int nsem, int oflag);

返回值是一个称为信号量标识符的整数,semop和semctl函数将使用它。

参数nsem指定集合中的信号量数。(若用于访问一个已存在的集合,那就可以把该参数指定为0)

参数oflag可以是SEM_R(read)和SEM_A(alter)常值的组合。(打开时用到),也可以是IPC_CREAT或IPC_EXCL;

2、打开信号量

使用semget打开一个信号量集后,对其中一个或多个信号量的操作就使用semop(op–operate)函数来执行。

1
2
#include <sys/sem.h>
int semop (int semid, struct sembuf * opsptr, size_t nops);

参数opsptr是一个指针,它指向一个信号量操作数组,信号量操作由sembuf结构表示:

1
2
3
4
5
6
7
struct sembuf {
	short sem_num;    // 除非使用一组信号量,否则它为0
	short sem_op; // 信号量在一次操作中需要改变的数据,通常是两个数,
			// 一个是-1,即P(等待)操作,一个是+1,即V(发送信号)操作
	short sem_flg;    // 通常为SEM_UNDO,使操作系统跟踪信号,并在进程没有释放该信号量而终止时,
			// 操作系统释放信号量
};

参数nops规定opsptr数组中元素个数。

sem_op值: (1)若sem_op为正,这对应于进程释放占用的资源数。sem_op值加到信号量的值上。(V操作)
(2)若sem_op为负,这表示要获取该信号量控制的资源数。信号量值减去sem_op的绝对值。(P操作)
(3)若sem_op为0,这表示调用进程希望等待到该信号量值变成0

如果信号量值小于sem_op的绝对值(资源不能满足要求),则:
(1)若指定了IPC_NOWAIT,则semop()出错返回EAGAIN。
(2)若未指定IPC_NOWAIT,则信号量的semncnt值加1(因为调用进程将进 入休眠状态),然后调用进程被挂起直至:①此信号量变成大于或等于sem_op的绝对值;②从系统中删除了此信号量,返回EIDRM;③进程捕捉到一个信 号,并从信号处理程序返回,返回EINTR。(与消息队列的阻塞处理方式 很相似)

3、信号量是操作

semctl函数对一个信号量执行各种控制操作。

1
2
#include <sys/sem.h>
int semctl (int semid, int semnum, int cmd, union semun arg);
参数semid 信号量集标识符
参数semnum 信号量集数组上的下标,表示某一个信号量
参数cmd指定以下10种命令中的一种,在semid指定的信号量集合上执行此命令。
1
2
3
4
5
6
7
8
9
10
IPC_STAT    读取一个信号量集的数据结构semid_ds,并将其存储在semun中的buf参数中。
IPC_SET     设置信号量集的数据结构semid_ds中的元素ipc_perm,其值取自semun中的buf参数。
IPC_RMID    将信号量集从内存中删除。
GETALL      用于读取信号量集中的所有信号量的值。
GETNCNT     返回正在等待资源的进程数目。
GETPID      返回最后一个执行semop操作的进程的PID。
GETVAL      返回信号量集中的一个单个的信号量的值。
GETZCNT     返回这在等待完全空闲的资源的进程数目。
SETALL      设置信号量集中的所有的信号量的值。
SETVAL      设置信号量集中的一个单独的信号量的值。
参数 arg
1
2
3
4
5
6
union semun {
	short val;             /* SETVAL用的值 */
	struct semid_ds* buf;  /* IPC_STAT、IPC_SET用的semid_ds结构 */
	unsigned short* array; /* SETALL、GETALL用的数组值 */
	struct seminfo *buf;   /* 为控制IPC_INFO提供的缓存 */
} arg;

四 信号量值的初始化

semget并不初始化各个信号量的值,这个初始化必须通过以SETVAL命令(设置集合中的一个值)或SETALL命令(设置集合中的所有值) 调用semctl来完成。

SystemV信号量的设计中,创建一个信号量集并将它初始化需两次函数调用是一个致命的缺陷。一个不完备的解决方案是:在调用semget时指定IPC_CREAT | IPC_EXCL标志,这样只有一个进程(首先调用semget的那个进程)创建所需信号量,该进程随后初始化该信号量。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
#include <stdio.h>
#include <sys/types.h>
#include <sys/ipc.h>
#include <sys/sem.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <assert.h>
#include <time.h>
#include <unistd.h>
#include <sys/wait.h>

#define MAX_SEMAPHORE 10
#define SEMKEY    1

union semun {
	int val;
	struct semid_ds *buf;
	unsigned short *array;
	struct seminfo *_buf;
} arg;

int main()
{
	key_t key;
	int semid ,ret, i;
	unsigned short buf[MAX_SEMAPHORE];
	struct sembuf sb[MAX_SEMAPHORE];
	pid_t pid;

	semid = semget(SEMKEY, MAX_SEMAPHORE, IPC_CREAT|0666);
	if (semid == -1) {
		fprintf(stderr, "Error in semget: %s\n", strerror(errno));
		return -1;
	}
	printf("Semaphore get, ID is: %d\n",semid);

	for (i = 0; i < MAX_SEMAPHORE; i++)
		buf[i] = 0;

	arg.array = buf;
	ret = semctl(semid, 0, SETALL, arg);
	if (ret == -1) {
		fprintf(stderr, "Error in semctl: %s\n", strerror(errno));
		return -2;
	}
	printf("Semaphore Init!\n");

	pid = fork();
	if (pid < 0) {
		fprintf(stderr, "Create Process Error!: %s\n",strerror(errno));
		return -3;
	}

	if (pid == 0) {
		sleep(5);
		// 子进程产生信号
		printf("  child wake up.\n");
		for (i = 0; i < MAX_SEMAPHORE; i ++) {
			sb[i].sem_num = i;
			sb[i].sem_op = +1;
			sb[i].sem_flg = 0;
		}

		printf("  child start to inc resource.\n");
		ret = semop(semid, sb, 10);
		if (ret == -1) {
			fprintf(stderr, "子进程产生信号失败: %s\n", strerror(errno));
			exit(-1);
		}
		printf("  child exiting successfully.\n");
		exit(0);
	}

	printf("parent wake up....\n");
	// 此时父进程的阻塞,因为初始化为0
	for (i = 0; i < MAX_SEMAPHORE; i++) {
		sb[i].sem_num = i;
		sb[i].sem_op = -1;
		sb[i].sem_flg = 0;
	}
	printf("parent is asking for resource...\n");
	ret = semop(semid, sb, 10); //p()
	if (ret == 0) {
		printf("parent got the resource!\n");
	}

	// 父进程等待子进程退出
	waitpid(pid, NULL, 0);

	ret = semctl(semid, 0, IPC_RMID);
	if (ret == -1) {
		fprintf(stderr, "semaphore删除失败: %s\n", strerror(errno));
		return -4;
	}

	printf("parent exiting.\n");
	return 0;
}

进程通信--共享内存

https://blog.csdn.net/xy913741894/article/details/72571260

https://www.cnblogs.com/fangshenghui/p/4039720.html

1. 共享内存,存在于每个进程的进程地址空间中,通过页表+MMU机制映射为同一块物理内存,因此,它属于每个进程,由于它并不需要系统调用干预和数据复制,它的效率是非常高的,它比我们所学的几种IPC机制(信号量,管道,消息队列)都要快。

2. 既然它性能最好,为什么还需要有其他的IPC机制?直接用它不就好了吗?它虽然很快,但是它不提供同步互斥机制,这样子一来就需要我们程序员来提供,带来了编程的难度。

Linux下相关函数

1、shmget函数

该函数用来创建共享内存,它的原型为:

1
int shmget(key_ t key, size_t size, int shmflg);

第一个参数,与信号量的semget函数一样,程序需要提供一个参数key(非0整数),它有效地为共享内存段命名,shmget函数成功时返回一个与key相关的共享内存标识符(非负整数),用于后续的共享内存函数。调用失败返回-1.

第二个参数,size以字节为单位指定需要共享的内存容量

第三个参数,shmflg是权限标志,它的作用与open函数的mode参数一样,如果要想在key标识的共享内存不存在时,创建它的话,可以与IPC_CREAT做或操作。共享内存的权限标志与文件的读写权限一样,举例来说,0644,它表示允许一个进程创建的共享内存被内存创建者所拥有的进程向共享内存读取和写入数据,同时其他用户创建的进程只能读取共享内存。

2、shmat函数

第一次创建完共享内存时,它还不能被任何进程访问,shmat函数的作用就是用来启动对该共享内存的访问,并把共享内存连接到当前进程的地址空间。它的原型如下:

1
void *shmat(int shm_id, const void *shm_addr, int shmflg);

第一个参数,shm_id是由shmget函数返回的共享内存标识。

第二个参数,shm_addr指定共享内存连接到当前进程中的地址位置,通常为空,表示让系统来选择共享内存的地址。

第三个参数,shm_flg是一组标志位,通常为0。

3、shmdt函数

该函数用于将共享内存从当前进程中分离。注意,将共享内存分离并不是删除它,只是使该共享内存对当前进程不再可用。它的原型如下:

1
int shmdt(const void *shmaddr);

参数shmaddr是shmat函数返回的地址指针,调用成功时返回0,失败时返回-1.

4、shmctl函数

与信号量的semctl函数一样,用来控制共享内存,它的原型如下:

1
int shmctl(int shm_id, int command, struct shmid_ds *buf);

第一个参数,shm_id是shmget函数返回的共享内存标识符。

第二个参数,command是要采取的操作,它可以取下面的三个值 :

IPC_STAT:把shmid_ds结构中的数据设置为共享内存的当前关联值,即用共享内存的当前关联值覆盖shmid_ds的值。
IPC_SET: 如果进程有足够的权限,就把共享内存的当前关联值设置为shmid_ds结构中给出的值
IPC_RMID:删除共享内存段

第三个参数,buf是一个结构指针,它指向共享内存模式和访问权限的结构。

简单互斥机制的样例

确定两个线程的可以用,更多线程需要信号量或互斥锁

shmread.c

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#include<unistd.h>
#include<stdlib.h>
#include<stdio.h>
#include<sys/shm.h>

#define TEXT_SZ 2048
struct shared_use_st {
	int written;/* 作为一个标志,非0:表示可读,0表示可写 */
	char text[TEXT_SZ];/* 记录写入和读取的文本 */
};

#define MEM_KEY (1234)

int main()
{
	int running = 1; //程序是否继续运行的标志
	void *shm = NULL; //分配的共享内存的原始首地址
	struct shared_use_st *shared;//指向shm
	int shmid; //共享内存标识符
	//创建共享内存
	shmid = shmget((key_t)MEM_KEY, sizeof(struct shared_use_st), 0666|IPC_CREAT);
	if (shmid == -1) {
		fprintf(stderr,"shmget failed\n");
		return -1;
	}
	//将共享内存连接到当前进程的地址空间
	shm = shmat(shmid, 0, 0);
	if (shm == (void*)-1) {
		fprintf(stderr,"shmat failed\n");
		return -2;
	}
	printf("\nMemory attached at shmid=%d shm=%p\n", shmid, shm);
	//设置共享内存
	shared = (struct shared_use_st*)shm;
	shared->written = 0;
	//读取共享内存中的数据
	while (running) {
		//没有进程向共享内存定数据有数据可读取
		while (shared->written == 0) {
			sleep(1); //有其他进程在写数据,不能读取数据
		}
		printf("You wrote: %s", shared->text);
		sleep(rand() % 3);
		//输入了end,退出循环(程序)
		if (strncmp(shared->text, "end", 3) == 0)
			running = 0;
		//读取完数据,设置written使共享内存段可写
		shared->written = 0;
	}
	//把共享内存从当前进程中分离
	if (shmdt(shm) == -1) {
		fprintf(stderr,"shmdt failed\n");
		return -3;
	}
	//删除共享内存
	if (shmctl(shmid, IPC_RMID, 0) == -1) {
		fprintf(stderr,"shmctl(IPC_RMID) failed\n");
		return -4;
	}
	return 0;
}

shmwrite.c

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
#include<unistd.h>
#include<stdlib.h>
#include<stdio.h>
#include<string.h>
#include<sys/shm.h>

#define TEXT_SZ 2048
struct shared_use_st {
	int written;/* 作为一个标志,非0:表示可读,0表示可写 */
	char text[TEXT_SZ];/* 记录写入和读取的文本 */
};

#define MEM_KEY (1234)

int main()
{
	int running = 1;
	void *shm = NULL;
	struct shared_use_st *shared = NULL;
	char buffer[BUFSIZ +1];//用于保存输入的文本
	int shmid;
	//创建共享内存
	shmid = shmget((key_t)MEM_KEY, sizeof(struct shared_use_st), 0666|IPC_CREAT);
	if (shmid == -1) {
		fprintf(stderr,"shmget failed\n");
		return -1;
	}
	//将共享内存连接到当前进程的地址空间
	shm = shmat(shmid, (void*)0, 0);
	if (shm == (void*)-1) {
		fprintf(stderr,"shmat failed\n");
		return -2;
	}
	printf("Memory attached at shmid=%d shm=%p\n", shmid, shm);
	//设置共享内存
	shared = (struct shared_use_st*)shm;
	//向共享内存中写数据
	while (running) {
		//数据还没有被读取,则等待数据被读取,不能向共享内存中写入文本
		while (shared->written == 1) {
			sleep(1);
			printf("Waiting...\n");
		}
		//向共享内存中写入数据
		printf("Enter some text: ");
		fgets(buffer, BUFSIZ, stdin);
		strncpy(shared->text, buffer, TEXT_SZ);
		//写完数据,设置written使共享内存段可读
		shared->written = 1;
		//输入了end,退出循环(程序)
		if (strncmp(buffer, "end", 3) == 0)
			running = 0;
	}
	//把共享内存从当前进程中分离
	if (shmdt(shm) == -1) {
		fprintf(stderr,"shmdt failed\n");
		return -3;
	}
	return 0;
}