目前主流的推理框架有:阿里的mnn,腾讯的ncnn,NVIDIA的TensorRT,Intel的OpenVINO
深度学习推理框架
MNN 深度神经网络推理引擎
MNN专栏--MirrorYuChen
- MNN框架学习(一):编译及使用
- MNN框架学习(二):使用MNN部署模型
MNN · 语雀 MNN帮助文档
FP16与INT8_Jaaaaayu的博客
那些年,AI芯片里的浮点(FloatPoint)格式 - 知乎
CNN加速器中的NC4HW4内存排布格式_FPGA硅农的博客
__attribute__ 机制使用_天涯路linux的博客
__attribute__ 用法_wiggens的博客
使用 Clang 优化Flag进行编译_Incredibuild的博客
OpenCL简介_叶~子的博客
OpenCL学习入门_奔跑的小蘑菇的博客
(三)MNN与Opencl联合编译_li三河的博客
linux opencl编译
OpenGL ES glad 下载和使用_猿说编程的博客
GLFW的使用说明_自己の圣诞的博客
Apple Developer Documentation
GitHub - loyinglin/LearnMetal: Metal 入门教程
LunarXchange 官网