AD赞助商
立即入驻AD

Ollama

1个月前发布 7 00

本地运行Llama和其他大语言模型

收录时间:
2025-03-19

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama2、CodeLlama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统​​​​。

此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的RESTAPI​​。

该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。

Ollama安装包获取

获取Ollama安装包,扫码关注回复:Ollama

Ollama支持的模型

Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中,以下是可以下载的开源模型示例:

模型参数大小文件大小下载运行命令
DeepSeek-R11.5B、7B、14B、32B等12-320GBollamarundeepseek-r1
NeuralChat7B4.1GBollamarunneural-chat
Starling7B4.1GBollamarunstarling-lm
Mistral7B4.1GBollamarunmistral
Llama27B3.8GBollamarunllama2
CodeLlama7B3.8GBollamaruncodellama
Llama2Uncensored7B3.8GBollamarunllama2-uncensored
Llama213B13B7.3GBollamarunllama2:13b
Llama270B70B39GBollamarunllama2:70b
OrcaMini3B1.9GBollamarunorca-mini
Vicuna7B3.8GBollamarunvicuna

数据统计

相关导航

暂无评论

none
暂无评论...