在上一篇文章我们研究了推理的实际情况是——模型如何逐个标记输入提示并构建响应。我提到了两个可以让你本地运行这个循环的Go项目:伊兹玛,使得 Go 称llama.cpp推理引擎直接,以及克朗克,它会在其上构建一个友好的 SDK。今天我们打开yzma,看看整个过程是如何组合起来的。