kk Blog —— 通用基础


date [-d @int|str] [+%s|"+%F %T"]
netstat -ltunp
sar -n DEV 1

PHP数组实际占用内存大小的分析

https://www.cnblogs.com/ghjbk/p/6953562.html

一般来说,PHP数组的内存利用率只有 1/10, 也就是说,一个在C语言里面100M 内存的数组,在PHP里面就要1G。下面我们可以粗略的估算PHP数组占用内存的大小,首先我们测试1000个元素的整数占用的内存:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<?php  
	echo memory_get_usage() , '<br>';  
	$start = memory_get_usage();  
	$a = Array();  
	for ($i=0; $i<1000; $i++) {  
		$a[$i] = $i + $i;  
	}  
	$mid =  memory_get_usage();  
	echo memory_get_usage() , '<br>';  
	for ($i=1000; $i<2000; $i++) {  
		$a[$i] = $i + $i;  
	}  
	$end =  memory_get_usage();  
	echo memory_get_usage() , '<br>';  
	echo 'argv:', ($mid - $start)/1000 ,'bytes' , '<br>';  
	echo 'argv:',($end - $mid)/1000 ,'bytes' , '<br>';  

输出是:

1
2
3
4
5
353352
437848
522024
argv:84.416bytes
argv:84.176bytes

大概了解1000 个元素的整数数组需要占用 82k 内存,平均每个元素占用 84 个字节。而纯 C 中整体只需要 4k(一个整型占用4byte * 1000 )。memory_get_usage() 返回的结果并不是全是被数组占用了,还要包括一些 PHP 运行本身分配的一些结构,可能用内置函数生成的数组更接近真实的空间:

1
2
3
4
5
6
7
8
<?php  
	$start = memory_get_usage();  
	$a = array_fill(0, 10000, 1);  
	$mid = memory_get_usage(); //10k elements array;  
	echo 'argv:', ($mid - $start )/10000,'byte' , '<br>';  
	$b = array_fill(0, 10000, 1);  
	$end = memory_get_usage(); //10k elements array;  
	echo 'argv:', ($end - $mid)/10000 ,'byte' , '<br>';  

得到:

1
2
argv:54.5792byte
argv:54.5784byte

从这个结果来看似乎一个数组元素大约占用了54个字节左右。

首先看一下32位机C语言各种类型占用的字节:

1
2
3
4
5
6
7
8
9
10
#include "stdafx.h"  
//#include <stdio.h>  
   
int main() {  
		printf("int:%d\nlong:%d\ndouble:%d\nchar*:%d\nsize_t:%d\n",   
		sizeof(int), sizeof(long),   
		sizeof(double), sizeof(char *),   
		sizeof(size_t));  
	return   0;   
}  
1
2
3
4
5
6
7
8
int:4
long:4
double:8
har*:4
size_t:4
在PHP中都使用long类型来代表数字,没有使用int类型
大家都明白PHP是一种弱类型的语言,它不会去区分变量的类型,没有int float char *之类的概念。
我们看看php在zend里面存储的变量,PHP中每个变量都有对应的 zval, Zval结构体定义在Zend/zend.h里面,其结构:
1
2
3
4
5
6
7
8
typedef struct _zval_struct zval;  
struct _zval_struct {  
	/* Variable information */  
	zvalue_value value;    /* The value 1 12字节(32位机是12,64位机需要8+4+4=16) */  
	zend_uint refcount__gc; /* The number of references to this value (for GC) 4字节 */  
	zend_uchar type;      /* The active type 1字节*/  
	zend_uchar is_ref__gc;  /* Whether this value is a reference (&) 1字节*/  
};  

PHP使用一种UNION结构来存储变量的值,即zvalue_value 是一个union,UNION变量所占用的内存是由最大

成员数据空间决定。

1
2
3
4
5
6
7
8
9
10
typedef union _zvalue_value {  
	long lval;                  /* long value */  
	double dval;              /* double value */  
	struct {                  /* string value */  
		char *val;  
		int len;  
	} str;   
	HashTable *ht;              /* hash table value */  
	zend_object_value obj;      /*object value */  
} zvalue_value;  

最大成员数据空间是struct str,指针占 *val 用4字节,INT占用4字节,共8字节。

struct zval占用的空间为8+4+1+1 = 14字节,

其实呢,在zval中数组,字符串和对象还需要另外的存储结构,数组则是一个 HashTable:

HashTable结构体定义在Zend/zend_hash.h.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
typedef struct _hashtable {  
	uint nTableSize;//4  
	uint nTableMask;//4  
	uint nNumOfElements;//4  
	ulong nNextFreeElement;//4  
	Bucket *pInternalPointer;   /* Used for element traversal 4*/  
	Bucket *pListHead;//4  
	Bucket *pListTail;//4  
	Bucket **arBuckets;//4  
	dtor_func_t pDestructor;//4  
	zend_bool persistent;//1  
	unsigned char nApplyCount;//1  
	zend_bool bApplyProtection;//1  
#if ZEND_DEBUG  
	int inconsistent;//4  
#endif  
} HashTable;  

HashTable 结构需要 39 个字节,每个数组元素存储在 Bucket 结构中:

1
2
3
4
5
6
7
8
9
10
11
typedef struct bucket {  
	ulong h;          /* Used for numeric indexing            4字节 */  
	uint nKeyLength;      /* The length of the key (for string keys)  4字节 */  
	void *pData;          /* 4字节*/  
	void *pDataPtr;           /* 4字节*/  
	struct bucket *pListNext; /* PHP arrays are ordered. This gives the next element in that order 4字节 */  
	struct bucket *pListLast; /* and this gives the previous element         4字节 */  
	struct bucket *pNext;     /* The next element in this (doubly) linked list     4字节 */  
	struct bucket *pLast;     /* The previous element in this (doubly) linked list     4字节 */  
	char arKey[1];            /* Must be last element   1字节*/  
} Bucket;  

Bucket 结构需要 33 个字节,键长超过四个字节的部分附加在 Bucket 后面,而元素值很可能是一个 zval 结构,另外每个数组会分配一个由 arBuckets 指向的 Bucket 指针数组, 虽然不能说每增加一个元素就需要一个指针,但是实际情况可能更糟。这么算来一个数组元素就会占用 54 个字节,与上面的估算几乎一样。

一个空数组至少会占用 14(zval) + 39(HashTable) + 33(arBuckets) = 86 个字节,作为一个变量应该在符号表中有个位置,也是一个数组元素,因此一个空数组变量需要 118 个字节来描述和存储。从空间的角度来看,小型数组平均代价较大,当然一个脚本中不会充斥数量很大的小型数组,可以以较小的空间代价来获取编程上的快捷。但如果将数组当作容器来使用就是另一番景象了,实际应用经常会遇到多维数组,而且元素居多。比如10k个元素的一维数组大概消耗540k内存,而10k x 10 的二维数组理论上只需要 6M 左右的空间,但是按照 memory_get_usage 的结果则两倍于此,[10k,5,2]的三维数组居然消耗了23M,小型数组果然是划不来的。