是否曾想过拥有一个完全私有、无需联网、响应迅速的个人 AI 助手？大语言模型（LLM）在各种任务中的表现令人惊艳，但它们通常依赖强大的 GPU 和云计算资源。llama.cpp 的出现，为本地运行 LLM 提供了一种全新可能：无需昂贵显卡，也无需连接互联网，我们也能在个人电脑上畅快使用大模型。

llama.cpp 是一个由 Georgi Gerganov 开发的开源项目，它彻底改变了我们在本地设备上运行大型语言模型 (LLM) 的方式。它以 C/C++ 编写，并针对 CPU 进行了高度优化，使得许多原本需要强大 GPU 才能运行的复杂模型，现在也能在个人电脑上流畅运行，包括 macOS、Windows 和 Linux 系统。

llama.cpp 提供了两种主要的使用方式

• 命令行界面 (CLI)
• Server Web UI。

一、命令行界面（CLI）：极简高效的交互方式

CLI (Command Line Interface) 是 llama.cpp 最基础也是最核心的交互方式。它让你能直接通过终端命令来加载模型并进行文本生成。

特点与优势

• 直接控制： CLI 提供了对模型运行参数最直接的控制。你可以精确调整上下文长度、温度、重复惩罚等参数，以微调模型的输出行为。
• 资源效率： 作为 CPU 优化项目，CLI 模式通常具有非常高的资源效率，尤其是在内存和处理速度方面。
• 脚本化友好： 对于开发者或高级用户来说，CLI 命令可以轻松集成到 shell 脚本中，实现自动化任务或批处理。
• 快速测试： 如果你只想快速测试一个模型或进行简单的交互，CLI 是最快的入门方式。

典型使用场景

• 模型功能与性能基准测试： 快速加载不同模型版本，评估其在特定任务上的表现和资源消耗。
• 自动化文本生成： 在 CI/CD 流程中集成 LLM 的文本生成能力，例如自动生成代码注释、测试用例或文档草稿。
• 特定任务微调前的数据生成： 利用模型生成大量特定格式的文本数据，用于后续的数据集构建或模型训练。
• 离线批量处理： 对大量输入数据进行 LLM 推理，无需网络连接或复杂的服务器架构。

如何使用

1. 加载模型并进行交互式对话：

./llama-cli -m path/to/your/model.gguf -i

llama-cli是主程序，-m 指定模型路径，-i 启用交互模式

2. 一次性生成文本：

./llama-cli -m path/to/your/model.gguf -p "请给我讲一个关于未来的短故事。" -n 256

-p 提供初始提示，-n指定生成最大 token 数量

二、Server Web UI：图形化体验与本地 API 服务

Server Web UI 是 llama.cpp 提供的另一种高级功能，它将模型封装成一个本地 HTTP 服务器，并允许通过 Web 浏览器或其他应用程序与之交互。这种方式为用户提供了更友好、更直观的图形界面，并扩展了模型的应用范围。

特点与优势

• 用户友好界面： 无需命令行知识，普通用户也能通过直观的网页界面与模型进行对话，就像使用 ChatGPT 一样。
• API 接口： 服务器提供与 OpenAI API 兼容的 RESTful API，这意味着许多为 OpenAI 模型设计的第三方工具、应用程序和前端界面可以直接连接到你的本地 llama.cpp 服务器。
• 可扩展性： 通过 API，你可以轻松地将本地 LLM 集成到自己的应用程序、聊天机器人或自动化流程中，而无需深入了解 llama.cpp 的底层实现。
• 多用户或多会话支持： 服务器模式通常可以更好地管理并发请求，适合同时处理多个用户或多个独立的对话会话。

典型使用场景

• 个人 AI 助理： 搭建一个私有的本地聊天机器人，用于日常交流、写作辅助、知识查询等。
• 开发者工具： 作为本地 LLM 后端，供开发中的应用程序调用，用于测试、原型设计等。
• 桌面应用集成： 任何需要 LLM 能力的桌面应用都可以通过连接到本地 llama-server 来获取支持。

如何使用

1. 启动 llama-server：

./llama-server -m path/to/your/model.gguf

默认情况下，服务器会在 http://127.0.0.1:8080 上启动。

2. 通过 Web 浏览器访问：
   服务器启动后，你可以在浏览器中打开 http://127.0.0.1:8080 来访问 llama.cpp 提供的基本 Web UI。