youbbs
youbbs
1103 0 0

LLaMA.go 引入REST API以构建您自己的GPT服务

LLaMA.go 是一个重要的里程碑,内部有可扩展的服务器,允许使用REST API访问GPT模型,您可以将其集成到您的微服务网格中,或者构建自己的创业公司:)

他们团队已经发布了所有主要平台的预编译版本。此外,还可以免费使用转换后的7B和13B型号。

所有模型计算都在常规CPU/RAM上进行,因此根本不需要GPU访问。

目前还不支持模型量化,因此您需要至少32 Gb的RAM才能使用7B模型。

llama-go-v1.4.0-macos \
    --model ~/models/llama-7b-fp32.bin \
    --prompt "Why Golang is so popular?" \
0

See Also

Nearby


Discussion

Login Topics