在本地启动并运行大型语言模型

ollama

Run Llama 2, Code Llama, and other models. Customize and create your own.
运行 Llama 2、Code Llama 和其他模型。自定义并创建您自己的。

installation

macOS
Windows preview
Linux:

curl -fsSL https://ollama.com/install.sh | sh

Arch Linux:

sudo pacman -S ollama
# or
sudo pacman -S ollama-cuda

Docker and cpu only

# CPU only
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# Run model locally
docker exec -it ollama ollama run llama2

preview

本人Intel核显，视频是在朋友的电脑上运行的。