文章目录
- Paddle-Lite
- Paddle2ONNX
- 其它经验
Paddle-Lite
from： https://github.com/PaddlePaddle/Paddle-Lite
Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位于支持包括移动端、嵌入式以及边缘端在内的多种硬件平台。
当前 Paddle Lite 不仅在百度内部业务中得到全面应用，也成功支持了众多外部用户和企业的生产任务。
快速入门
使用 Paddle Lite，只需几个简单的步骤，就可以把模型部署到多种终端设备中，运行高性能的推理任务，使用流程如下所示：
一. 准备模型
Paddle Lite 框架直接支持模型结构为 PaddlePaddle 深度学习框架产出的模型格式。目前 PaddlePaddle 用于推理的模型是通过 save_inference_model 这个 API 保存下来的。 如果您手中的模型是由诸如 Caffe、Tensorflow、PyTorch 等框架产出的，那么您可以使用 X2Paddle 工具将模型转换为 PaddlePaddle 格式。
二. 模型优化
Paddle Lite 框架拥有优秀的加速、优化策略及实现，包含量化、子图融合、Kernel 优选等优化手段。优化后的模型更轻量级，耗费资源更少，并且执行速度也更快。 这些优化通过 Paddle Lite 提供的 opt 工具实现。opt 工具还可以统计并打印出模型中的算子信息，并判断不同硬件平台下 Paddle Lite 的支持情况。您获取 PaddlePaddle 格式的模型之后，一般需要通该 opt 工具做模型优化。opt 工具的下载和使用，请参考模型优化方法。
三. 下载或编译
Paddle Lite 提供了 Android/iOS/X86/macOS 平台的官方 Release 预测库下载，我们优先推荐您直接下载 Paddle Lite 预编译库。
Paddle Lite 已支持多种环境下的源码编译，为了避免复杂、繁琐的环境搭建过程，我们建议您使用 Docker 开发环境 进行编译。当然，您也可以根据宿主机和目标设备的 CPU 架构和操作系统，在源码编译方法中找到相应的环境搭建及编译指南，自行完成编译环境的搭建。
四. 预测示例
…
Paddle2ONNX
from: https://github.com/PaddlePaddle/Paddle2ONNX/
Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括 TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。
安装
pip install paddle2onnx使用
其它经验
官方issue：https://github.com/PaddlePaddle/PaddleOCR/issues
PaddleOCR存在奇奇怪怪的问题，好像2.5版本 比较稳定
