python中list的实现
- Author : Jasper Yang
在python中实现list是十分有趣的事情,list在现实使用中是那么的强大而令人喜爱,所以,下面让我们一起来一探究竟。
>>> l = []
>>> l.append(1)
>>> l.append(2)
>>> l.append(3)
>>> l
[1, 2, 3]
>>> for e in l:
... print e
...
1
2
3
如你所见,list是可迭代的
List object C structure
一个list对象在 CPython 中是以如下的数据结构保存的。ob_item存储了一系列指向数据的指针。allocated里面存储的是该list在内存分配的大小(slots)
typedef struct {
PyObject_VAR_HEAD
PyObject **ob_item;
Py_ssize_t allocated;
} PyListObject;
List initialization
看看当我们初始化一个list是会发生什么,e.g. l =[]
arguments: size of the list = 0
returns: list object = []
PyListNew:
nbytes = size * size of global Python object = 0
allocate new list object
allocate list of pointers (ob_item) of size nbytes = 0
clear ob_item
set list's allocated var to 0 = 0 slots
return list object
很重要的一点,我们需要注意到 allocated slots (内存分配的空间大小)和list的size的区别。list的size和 len(l) 是一样的。allocated slots的个数就是内存中分配了得slot(可以理解成内存的block)个数。你会很经常看到 allocated 比size还要大。这个是为了避免多次的重新分配内存空间(realloc c函数),后面我们会介绍更多。
Append
我们往list里append数据后会发生什么呢~?c的内置函数 app1()会被调用。
arguments: list object, new element
returns: 0 if OK, -1 if not
app1:
n = size of list
call list_resize() to resize the list to size n+1 = 0 + 1 = 1
list[n] = list[0] = new element
return 0
让我们来看看这个list_resize()。它超量地分配了比所需的内存更多的内存空间。
增长模式如下:0,4,8,16,25,35,46,58,72,88…
arguments: list object, new size
returns: 0 if OK, -1 if not
list_resize:
new_allocated = (newsize >> 3) + (newsize < 9 ? 3 : 6) = 3
new_allocated += newsize = 3 + 1 = 4
resize ob_item (list of pointers) to size new_allocated
return 0
现在有4个slot分配给了这个list去存储指针,你可以看到l[0]指向了我们刚刚append进去的整数对象。虚线方块代表了没用到的slot。
We continue by adding one more element: l.append(2). list_resize is called with n+1 = 2 but because the allocated size is 4, there is no need to allocate more memory. Same thing happens when we add 2 more integers: l.append(3), l.append(4). The following diagram shows what we have so far.
我们继续append更多元素:l.append(2)。list_resize() 被调用了,n = n + 1。但是因为n还是小于 allocated = 4 ,所以没有必要去重新分配内存空间,同样的我们继续append 3 和 4。结果不变。
Insert
让我们在位置1的地方插入整数5: l.insert(1,5),ins1() 会被调用。
现在分配的内存slot个数变成了8,这个增长的规律和我们之前讲的一模一样。
Pop
当我们使用弹出:l.pop(),listpop()会被调用,并且如果list的size小于allocated的一半时,list会收缩,也就是allocated会变小。
arguments: list object
returns: element popped
listpop:
if list empty:
return null
resize list with size 5 - 1 = 4. 4 is not less than 8/2 so no shrinkage
set list object size to 4
return last element
你可以看到slot 4 仍然指向了原来的整数区域,但是list的size已经缩小了,也就是slot4已经不属于这个list了。
当我们再pop一次后发现,size已经小于allocated的一半了,于是allocated变成了6。
Remove
python 的 list 还有个特殊的移除元素的方法:l.remove(5) ,这里移除的不是第5个slot而是那个指向的值是5的slot。listremove() 会被调用。
arguments: list object, element to remove
returns none if OK, null if not
listremove:
loop through each list element:
if correct element:
slice list between element's slot and element's slot + 1
return none
return null
切分list并移除元素(也就是上面代码中的slice),会调用list_ass_slice()。过程如下。
arguments: list object, low offset, high offset
returns: 0 if OK
list_ass_slice:
copy integer 5 to recycle list to dereference it
shift elements from slot 2 to slot 1
resize list to 5 slots
return 0
希望你们能从我翻译的这篇文章中学到东西,提高自己