Ollama 0.1.34 版本现已推出¶
就在几天前(2024年5月3日),Ollama推出了他们的模型库软件的最新版本。但作为 Ollama 的忠实用户,我觉得这次更新特别有意思,值得一提。其中有个特别的亮点,待会儿再详细说明。
新版本更新亮点
新版本有三个主要的更新亮点。
首先,他们修复了一些bug。具体来说,他们:
修复了模型不会结束运行导致API挂起的问题。
修复了在苹果硅芯片Mac上出现的一系列内存溢出问题
修复了在运行Mixtral架构模型时出现的内存溢出问题
其次,推出了几个新的模型供下载和使用。包括:
Llama 3: 由Meta推出的新模型,是目前最强大的公开可用大型语言模型
Phi 3 Mini: 由Microsoft推出的新型3.8B参数轻量级、最先进的开源模型。
Moondream: 一款小型视觉语言模型,专为边缘设备高效运行设计。
Llama 3 Gradient 1048K: 一款经过Gradient优化的Llama 3版本,支持最高1M词元的上下文窗口。
Dolphin Llama 3: 未受审查的Dolphin模型,由Eric Hartford训练,基于Llama 3,具备多种指令、对话和编程技能。
Qwen 110B: 首款超过100B参数的Qwen模型,在性能评估中表现突出
Llama 3 Gradient: 另一个经过优化的Llama 3版本,同样支持最高1M词元的上下文窗口。
第三个,也许是最让人兴奋的更新是关于并发性能的提升。这还处于实验阶段,但它将允许你:
如果系统内存足够,同时运行两个或更多的大型语言模型
对一个大型语言模型发起两个或更多的请求
你可以通过两个新的环境变量来控制以上两种方式(或同时使用两者)。这些变量应设为整数值,含义很直接:
OLLAMA_NUM_PARALLEL: 允许单个模型同时处理多个请求
OLLAMA_MAX_LOADED_MODELS: 允许同时加载多个模型
想了解如何在macOS、Linux和Windows上设置这些变量的详细信息,请查看Ollama的常见问题解答。比如,我使用的是Windows系统,我需要创建新的系统环境变量。
资源: