File tree 3 files changed +7
-7
lines changed
advanced_guide/performance_improving/inference_improving
3 files changed +7
-7
lines changed Original file line number Diff line number Diff line change 2
2
3
3
百度的昆仑芯⽚是一款⾼性能的 AI SoC 芯⽚,⽀持推理和训练。昆仑芯⽚采⽤百度的先进 AI 架构,⾮常适合常⽤的深度学习和机器学习算法的云端计算需求,并能适配诸如⾃然语⾔处理、⼤规模语⾳识别、⾃动驾驶、⼤规模推荐等多种终端场景的计算需求。
4
4
5
- Paddle Inference 集成了[ Paddle-Lite 预测引擎] ( https://paddle-lite.readthedocs.io/zh/latest /demo_guides/baidu_xpu .html ) 在昆仑 xpu 上进行预测部署。
5
+ Paddle Inference 集成了[ Paddle-Lite 预测引擎] ( https://www.paddlepaddle.org.cn/lite/develop /demo_guides/kunlunxin_xpu .html ) 在昆仑 xpu 上进行预测部署。
6
6
7
7
## 编译注意事项
8
8
Original file line number Diff line number Diff line change 2
2
3
3
Paddle-Lite 为 Paddle-Mobile 的升级版,定位支持包括手机移动端在内更多场景的轻量化高效预测,支持更广泛的硬件和平台,是一个高性能、轻量级的深度学习预测引擎。在保持和 PaddlePaddle 无缝对接外,也兼容支持其他训练框架产出的模型。
4
4
5
- 完整使用文档位于 [ Paddle-Lite 文档] ( https://paddle-lite.readthedocs.io/zh/latest/ ) 。
5
+ 完整使用文档位于 [ Paddle-Lite 文档] ( https://www.paddlepaddle.org.cn/lite ) 。
6
6
7
7
## 特性
8
8
@@ -16,7 +16,7 @@ Paddle-Lite 为 Paddle-Mobile 的升级版,定位支持包括手机移动端
16
16
支持量化模型,结合[ PaddleSlim 模型压缩工具] ( https://github.com/PaddlePaddle/models/tree/v1.5/PaddleSlim ) 中量化功能,可以提供高精度高性能的预测能力。
17
17
在 Huawei NPU, FPGA 上也具有有很好的性能表现。
18
18
19
- 最新性能数据位于 [ Benchmark 文档] ( https://paddle-lite.readthedocs.io/zh/latest/benchmark /benchmark.html ) 。
19
+ 最新性能数据位于 [ Benchmark 文档] ( https://www.paddlepaddle.org.cn/lite/develop/performance /benchmark.html ) 。
20
20
21
21
### 通用性
22
22
硬件方面,Paddle-Lite 的架构设计为多硬件兼容支持做了良好设计。除了支持 ARM CPU、Mali GPU、Adreno GPU,还特别支持了华为 NPU,以及 FPGA 等边缘设备广泛使用的硬件。即将支持支持包括寒武纪、比特大陆等 AI 芯片,未来会增加对更多硬件的支持。
Original file line number Diff line number Diff line change @@ -150,13 +150,13 @@ Paddle Lite 可以在 ARM CPU 上部署 PaddleSlim 动态离线量化方法、
150
150
151
151
Paddle Lite 部署量化模型的方法和常规非量化模型完全相同,主要包括使用 opt 工具进行模型优化、执行预测。
152
152
153
- Paddle Lite 的详细说明,请参考[ 文档] ( https://paddle-lite.readthedocs.io/zh/latest/index.html ) 。
153
+ Paddle Lite 的详细说明,请参考[ 文档] ( https://www.paddlepaddle.org.cn/lite ) 。
154
154
155
- Paddle Lite 部署动态离线量化方法产出的量化模型,请参考[ 文档] ( https://paddle-lite.readthedocs.io/zh/latest /user_guides/quant_post_dynamic.html ) 。
155
+ Paddle Lite 部署动态离线量化方法产出的量化模型,请参考[ 文档] ( https://www.paddlepaddle.org.cn/lite/develop /user_guides/quant /quant_post_dynamic.html ) 。
156
156
157
- Paddle Lite 部署静态离线量化方法产出的量化模型,请参考[ 文档] ( https://paddle-lite.readthedocs.io/zh/latest /user_guides/quant_post_static.html ) 。
157
+ Paddle Lite 部署静态离线量化方法产出的量化模型,请参考[ 文档] ( https://www.paddlepaddle.org.cn/lite/develop /user_guides/quant /quant_post_static.html ) 。
158
158
159
- Paddle Lite 部署量化训练方法产出的量化模型,请参考[ 文档] ( https://paddle-lite.readthedocs.io/zh/latest /user_guides/quant_aware.html ) 。
159
+ Paddle Lite 部署量化训练方法产出的量化模型,请参考[ 文档] ( https://www.paddlepaddle.org.cn/lite/develop /user_guides/quant_aware.html ) 。
160
160
161
161
** 模型量化前后性能对比**
162
162
You can’t perform that action at this time.
0 commit comments