Skip to content

OrtBackend + CUDA 12.X (onnxruntime >1.17) 无法兼容fastdeploy1.1.0 #2833

@jjqcat

Description

@jjqcat

fastdeploy1.1.0 在 windows 适配50显卡,整理到博客了。支持Onnxruntime后端的Openvino/cuda推理,TensorRT推理。
https://www.cnblogs.com/PiaoLingJiLu/articles/18980975

注意我的TRT 是其它程序预先生成的。 所以我把自带的TRT创建(BUILD)跳过去,提高初始执行速度(4s-》0.3s) 。尚未验证过自动fastdeploy自动创建trt.

Originally posted by @wujingxin521 in #2626

Metadata

Metadata

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions