三行Python代码实现深度学习推理：Infery全面解析

Infery — 仅用3行Python代码运行深度学习推理

想象一下，通过一个友好而强大的API即可掌握所有框架的力量——这正是Infery的核心价值。作为Python运行时引擎，Infery将优化模型的推理过程转化为轻量简易的流程，仅需三行代码即可支持主流框架和硬件类型。

为什么选择Infery？

1. 多框架支持让开发更高效 :high_voltage:

• 统一简化的API：深度学习和库的持续演进使开发者常陷入不同库API的学习与整合困境。Infery集成了所有API的最佳实践，提供始终更新的Python库
• 依赖管理自动化：安装多个深度学习库常导致环境冲突。例如同时安装Torch、ONNX和TensorFlow时，需寻找能共存的NumPy版本。Infery经过多环境和边缘案例测试，确保安装成功
• 预编译优化：业务逻辑编译为.dll/.so文件，释放Python代码最佳性能
• 驱动安装简化：通过跨平台方案自动安装所需驱动，减少环境配置负担

2. 与Deci Lab模型优化无缝协作 ⚙️

作为独立库，Infery结合Deci Lab可在几分钟内优化和部署模型，在保持精度的同时提升目标硬件上的推理性能。用户反馈："使用infery整合的分类模型性能提升33%，十分钟完成非常酷！"

3. 极致简易 — 仅需3行代码 :chequered_flag:

与Deci Lab配合使用时，只需三次复制粘贴即可为优化模型运行本地推理。

Infery能做什么？

作为框架和硬件无关的Python运行时库，Infery可轻松在各种硬件上运行模型推理——无论是经过优化、图编译器编译还是原始版本。比专用推理服务器更轻量易用，支持Windows、Mac、Linux等跨平台环境，含GPU和CPU两个版本（NVIDIA GPU需预装CUDA库）。

支持框架包括：

• TensorFlow
• Keras
• ONNX Runtime
• TorchScript
• Intel OpenVino
• NVIDIA TensorRT

依赖项详情参见：https://docs.deci.ai/docs/infery-pre-requisites

三步骤使用指南

1. 加载模型

快速验证模型在特定硬件和框架下的兼容性。例如检查为Intel CPU优化的OpenVino模型能否在MacBook上加载。Infery能快速检测模型与硬件的兼容性，并提供明确的错误指导。

>>> import infery, numpy as np
__init__ -INFO- Infery成功导入，检测到8个CPU和0个GPU
>>> model = infery.load('mobilenet_v2.onnx', framework_type='onnx')
infery_manager -INFO- 正在加载mobilenet_v2.onnx到CPU
infery_manager -INFO- 成功加载mobilenet_v2.onnx到CPU

2. 运行推理

支持所有主流框架和硬件的模型推理。以内存中已加载的YOLO目标检测模型为例，仅需三行代码即可获得带边界框的输出图像，无需额外配置文件。

>>> inputs = np.random.random((1,3,224,224)).astype('float32')
>>> model.predict(inputs)
[array([[-3.26097205e-11,  5.07557718e-10, ...]], dtype=float32)]

3. 模型基准测试

提供开箱即用的基准测试接口，输入批次大小和维度即可获取准确性能指标：

>>> model.benchmark(batch_size=1, input_dims=(3,224,224))
infery_manager -INFO- 正在以批次大小1和维度(3,224,224)测试模型...
<ModelBenchmarks: { "batch_inf_time": "2.80 ms", "throughput": "357.32 fps"}>

立即开始使用

1. 安装：pip install infery 或 pip install infery-gpu
2. 通过Deci Lab优化模型（社区版免费）
3. 使用Infery运行优化模型（详见文档）

随着框架和硬件生态演进，Infery将持续支持更多框架并保持库的活跃更新，确保用户始终使用最高效的代码和最广泛的支持矩阵。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码