8GB 显存还能跑什么模型?
像2050这样的模型现在还能用来做点什么吗?我是说用于办公场景,加载嵌入、重排序以及聊天模型——不需要同时运行,但还有人在用小型模型吗?
有没有什么不错的新型号问世?我觉得小型模型似乎已经被弃用了。我对世界知识不太在意,我更看重工具使用能力,最好还能支持多语言。
如果有视觉能力就更好了,不过在资源有限的情况下也只能将就了。
参与讨论
像2050这样的模型现在还能用来做点什么吗?我是说用于办公场景,加载嵌入、重排序以及聊天模型——不需要同时运行,但还有人在用小型模型吗?
有没有什么不错的新型号问世?我觉得小型模型似乎已经被弃用了。我对世界知识不太在意,我更看重工具使用能力,最好还能支持多语言。
如果有视觉能力就更好了,不过在资源有限的情况下也只能将就了。