Yzma:用 Go 直接调用 llama.cpp 推理引擎的内部实现

在上一篇文章我们研究了推理的实际情况是——模型如何逐个标记输入提示并构建响应。我提到了两个可以让你本地运行这个循环的Go项目:伊兹玛,使得 Go 称llama.cpp推理引擎直接,以及克朗克,它会在其上构建一个友好的 SDK。

今天我们打开yzma,看看整个过程是如何组合起来的。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论