问题一:
numba.errors.UntypedAttributeError: Failed at nopython (nopython frontend)
Unknown attribute 'fill' of type array(float64, 2d, C)
经过查阅以下文档: numba.pydata.org/numba-doc/latest/reference/numpysupported.html
发现numba并不支持 np.fill()。因此将代码改成:
background = np.zeros((sourceIm.shape[0], sourceIm.shape[1])) # supported
for i, j in np.ndindex(background.shape): # np.fill not supported by numba
background[i,j] = threshold
background=background.astype(np.float32)
问题二:
numba.errors.TypingError: Failed at nopython (nopython frontend)
Internal error at <numba.typeinfer.CallConstraint object at 0x7f726d5ba8>:
numba.errors.InternalError: 'Integer' object has no attribute 'ndim'
[1] During: resolving callee type: Function(<function where at 0x7f86f67bf8>)
[2] During: typing of call at test_depth_im.py (24)
查看错误出现位置,发现在np.where(),但查询上述文档,发现numba是支持np.where()的。于是怀疑是数据类型未指明导致nopython模式无法启动。
在np.where()之前添加如下两行代码,以检查numba推断出的类型:
@njit(float32[:,:,:](float32[:,:,:], float32),parallel=True, fastmath=True)
def depthFilter(depthInfo, threshold):
#print(numba.typeof(depthInfo))
#print(numba.typeof(threshold))
不料竟然又报错:
numba.errors.TypingError: Failed at nopython (nopython frontend)
Untyped global name 'numba': cannot determine Numba type of <class 'object'>
numba.errors.UntypedAttributeError: Failed at nopython (nopython frontend)
Unknown attribute 'typeof' of type Module(<module 'numba' from '/usr/lib/python3/dist-packages/numba/__init__.py'>)
解决方法: 将函数上方的njit装饰器注释掉即可 ()
数据类型为:
array(int32, 3d, C)
float64
于是考虑将数据类型转化一致
1. 数组需要用np.astype()转换: x=x.astype(np.float32)
2. 标量通过加点: 7300 -> 7300. 并在装饰器中指明signature为 float32
否则可能遇到如下错误:
Traceback (most recent call last):
File "test_depth_im.py", line 47, in <module>
depthFilter(float(x),7300.)
TypeError: only size-1 arrays can be converted to Python scalars
或者:
numba.errors.TypingError: Failed at nopython (nopython frontend)
Invalid usage of type(CPUDispatcher(<function SQDIFF at 0x7f8afcc840>)) with parameters (array(float64, 2d, C), array(float32, 2d, A))
Known signatures:
* (array(float32, 2d, A), array(float32, 2d, A)) -> float32
* parameterized
总之,使用装饰器的signature功能显示指出形参和返回值类型,并在函数调用前做好类型转换,确保形参类型一致。
回到一开始的np.where()报错问题,幸好看到了这个链接:github.com/numba/numba/issues/3650
depthInfo = np.where(depthInfo<threshold, depthInfo, threshold)
在普通的python代码中,如果threshold是标量,depthInfo无论是几维的数组,代码都是没有问题的。但是如果使用如上的numba装饰器对代码加速,则出现问题二一开始的错误。根据issue中的解决方法,我们需要构造一个维度和尺寸一样的数组,并将其填满需要替换的值:
background = np.zeros((depthInfo.shape[0], depthInfo.shape[1], depthInfo.shape[2])) # supported
for i,j,k in np.ndindex(background.shape):
background[i,j,k]=threshold
background=background.astype(np.float32)
depthInfo = np.where(depthInfo<threshold, depthInfo, background) # supported
numba不再报错了。
问题三:
numba.errors.InternalError: tuple index out of range
[1] During: typing of static-get-item at test_depth_im.py (28)
同样出现在以上代码中(修改前),这主要是维度一致的问题,如果depthInfo和background维度不一样就会报这个错误;此外,装饰器signature中的数组维度应与实际数据一致。
总结:
1. numba 的nopython模式对数据类型的一致性要求很高,在使用较复杂的数据(多维矩阵、浮点数(小数))进行运算时,最好提前做好类型转换和声明的工作,以免产生谷歌都搜不到的错误。
2. numba支持的numpy类型和函数等可以查阅官方文档:numba.pydata.org/numba-doc/latest/reference/numpysupported.html
3.使用以上numba装饰器对numpy加速的结果:
序号 | numba编译时间(s) | numba加速执行时间(s) | 无numba加速执行时间(s) |
1 | 1.359856367111206 | 0.05226278305053711 | 3.891127586364746 |
2 | 1.3733365535736084 | 0.052794694900512695 | 2.9139089584350586 |
3 | 1.3658461570739746 | 0.052443504333496094 | 2.358830451965332 |
threshold