TopsInference是一个高性能的深度学习推理（Inference）加速引擎，可以为深度学习应用提供低延迟、高吞吐率的推理部署。
Advantage
在多个cluster上运行不同的模型
在多个cluster上运行一个模型的不同实例
支持ONNX/TensorFlow/PyTorch等多种主流模型框架
FP16/FP32优化
INT8量化
算子融合
算子的自动调优
动态批处理的自动切分
动态范围的优化预编译
动态绑定不同形状实现
支持使用开放接口扩展算子，并以插件方式注册到TopsInference
