mistral.rs

AI 工具

Rust 编写的极速大模型推理引擎，在 CPU、CUDA、Metal、WebGPU 上跑 Llama、Mistral、Qwen、GGUF 模型，自带 OpenAI 兼容 API。