标签: LM Studio

  • LM Studio 本地大模型教程:VS Code 使用 Claude Code 实现本地 LLM 调用与部署

    通过 LM Studio 的 Anthropic‑兼容本地服务,将本地 LLM 模型与 Claude Code 集成,使用户能够在 VS Code 或终端 中直接调用本地部署的语言模型进行交互。实现与本地模型的对接。支持更大的上下文长度、流式输出和函数调用等高级功能

    1. 环境说明

    • 操作系统:Windows 11
    • 本地模型工具:LM Studio
    • 编辑器:Visual Studio Code
    • VSCode 插件:Claude Code

    2. 安装 LM Studio

    2.1 下载并安装

    1. 访问 LM Studio 官网,下载 Windows 版本安装包。
    2. 安装完成后启动 LM Studio。
    3. 在“Models”页面下载大模型,例如:
       openai/gpt-oss-20b

    2.2 开启 Developer Mode(本地 API 访问)

    1. 打开:
       Settings → Developer → Local Server
    1. 设置监听地址:
       http://localhost:1234
    1. 启动 API Server,确保浏览器或 VSCode 可以访问:
       http://localhost:1234

    2.3 加载模型

    1. 点击 Load Model
    2. 选择模型:
       openai/gpt-oss-20b
    1. 设置模型参数:
    • Context length:100000
    • GPU Offload:16 (根据显存大小调整)

    ⚠️ 注意:20B 模型对显存要求高,建议显卡显存≥24GB,或者使用 CPU Offload 功能。

    3. VSCode 配置 Claude Code

    3.1 安装插件

    1. 打开 VSCode。
    2. 扩展市场搜索:
       Claude Code
    1. 点击安装。

    3.2 配置环境变量

    1. 打开命令面板:Ctrl + Shift + P
    2. 输入:
       Preferences: Open Settings (JSON)
    1. 添加以下配置:
    {
        "workbench.colorTheme": "Experimental Light",
        "claudeCode.preferredLocation": "panel",
        "claudeCode.environmentVariables": [
            {
                "name": "ANTHROPIC_BASE_URL",
                "value": "http://localhost:1234"
            },
            {
                "name": "ANTHROPIC_AUTH_TOKEN",
                "value": "lmstudio"
            }
        ]
    }

    3.3 测试连接

    1. 在 VSCode 中打开 Claude Code 面板。
    2. 尝试发送一条简单的指令,例如:
       Hello
    1. 如果能正确返回结果,说明 VSCode 已经成功连接到本地 LM Studio 模型。
  • 在 VS Code编辑器中使用 LM Studio API + Continue 打造智能开发环境

    在日常开发中大语言模型(LLM)已经成为许多开发者的得力助手。LM Studio 提供了本地运行大模型的能力,而 Continue 插件则能在 VS Code 中无缝调用这些模型,带来智能补全、对话和代码生成体验。通过 Continue 插件接入 LM Studio 的 API,我们可以让本地或局域网部署的 AI 模型无缝集成到开发环境中。

    这种组合不仅能提供媲美云端的 AI 开发体验,还能保障数据隐私、不依赖外网。在代码补全、错误排查、文档生成等场景中,都能显著提升效率。

    一、准备工作

    1. 安装 LM Studio
    • 前往 LM Studio 官网下载并安装。
    • 启动后,根据需求下载模型(如 gpt-oss-20bQwen 等)。
    1. 安装 VS Code 与 Continue 插件
    • 打开 VS Code → Extensions → 搜索 Continue 并安装。
    • 安装完成后,左侧工具栏会出现 Continue 图标。

    二、启动 LM Studio API 服务

    1. 打开 LM Studio,进入 开发者模式
    2. 加载所需模型(例如 gpt-oss-20b)。
    3. 启动 API 服务,默认会监听本地或局域网 IP 上的指定端口,例如:
    http://192.168.1.100:1234/v1

    三、配置 Continue 插件

    Continue 的配置文件默认路径如下:

    • Windows: C:\Users\<用户名>\.continue\config.yaml
    • macOS/Linux: ~/.continue/config.yaml

    示例配置:

    name: Local Agent
    version: 1.0.0
    schema: v1
    models:
      - name: gpt-oss-20b
        provider: lmstudio
        model: openai/gpt-oss-20b
        apiBase: http://192.168.1.100:1234/v1/

    ⚠️ 注意:如果需要局域网访问,请将 localhost 替换为实际 IP 地址。

    四、开始使用

    1. 打开 VS Code,点击左侧 Continue 图标。
    2. 在对话框中选择你配置好的模型(如 gpt-oss-20b)。
    3. 输入问题,即可与模型对话,体验智能补全、调试和代码生成。
  • 在 Zed编辑器中集成本地 AI:配置 Zed 编辑器 + LM Studio API

    AI 助手在开发领域的普及越来越多的开发者开始依赖它们来提升编码效率。Zed 作为一款现代、轻量且速度极快的编辑器,不仅界面优雅,还原生支持接入远程 AI 模型,为我们提供了一个绝佳的平台。

    如果您在享受 AI 带来的便利时,又对数据隐私、网络延迟或 API 费用心存顾虑,那么将 Zed 编辑器 与 LM Studio 结合将是一个完美的解决方案。通过在本地或局域网中部署私有 AI 模型,可以在 Zed 编辑器中无缝使用 AI 辅助开发,既安全又高效。

    配置 Zed 编辑器 + LM Studio,让本地或局域网部署的 AI 模型无缝集成到开发环境中。

    配置步骤

    1. 启动 LM Studio API 服务

    您需要在 LM Studio 中启动一个本地 API 服务。

    1. 打开 LM Studio,进入开发者模块。
    2. 加载您所需的 AI 模型,例如 gpt-oss-20b。
    3. 启动 API 服务。该服务会默认监听您本地或局域网 IP 上的指定端口。

    例如

    http://192.168.1.100:1234/api/v0

    2. 修改 Zed 配置文件

    Zed 的配置文件在:

    • macOS / Linux: ~/.config/zed/settings.json
    • Windows: %APPDATA%\Zed\settings.json

    在配置文件中,添加以下核心配置:

    // Zed settings
    {
      "agent": {
        "inline_assistant_model": {
          "provider": "lmstudio",
          "model": "openai/gpt-oss-20b"
        },
        "default_model": {
          "provider": "lmstudio",
          "model": "openai/gpt-oss-20b"
        }
      },
      "language_models": {
        "lmstudio": {
          "api_url": "http://192.168.1.100:1234/api/v0"
        }
      },
      "ui_font_size": 16,
      "buffer_font_size": 15,
      "theme": {
        "mode": "system",
        "light": "Ayu Light",
        "dark": "Ayu Dark"
      }
    }

    请注意以下关键配置项:

    • provider: 确保设置为 “lmstudio”,以便 Zed 识别此服务提供商。
    • model: 这里需要填入您在 LM Studio 中加载的模型标识,例如 “openai/gpt-oss-20b”。
    • api_url: 填写 LM Studio API 服务的完整访问地址。

    3. 验证效果

    完成配置后,重新启动 Zed。
    打开 Inline Assist 功能,输入测试代码或指令,如果能得到 AI 输出,即表示配置成功。

  • 在个人 PC 上选择 Ollama 还是 LM Studio

    随着大语言模型的普及,越来越多用户希望将它们部署在本地设备上,以获得离线使用、隐私保护和更低延迟的优势。Ollama 和 LM Studio 是两款常见的本地部署工具,它们各具特点,适用于不同类型的用户

    一、Ollama 简介

    Ollama 是一个轻量级的本地大语言模型运行框架,通过命令行即可完成模型的下载、运行与交互。它以“开箱即用”为目标,简化了本地部署流程,同时保留了较高的灵活性和可扩展性。

    主要特点:

    • 命令行驱动,适合技术用户;
    • 支持主流模型(如 LLaMA、Mistral、Gemma 等);
    • 提供本地 REST API 接口;
    • 模型管理与更新简便;
    • 支持 macOS、Windows、Linux;
    • 开源项目
      优点:
    • 使用灵活,支持自动化脚本与集成;
    • 模型运行效率高,资源控制好;
    • 自定义模型与镜像构建功能强大;
    • 社区活跃,支持快速反馈与迭代。

    不足:

    • 无图形界面,初学者入门有门槛;
    • 高级功能配置依赖命令行与配置文件。

    二、LM Studio 简介

    LM Studio 是一款图形化的本地语言模型运行工具,主打易用性,面向非技术用户快速上手。内置 Hugging Face 模型库浏览器,可通过界面选择、下载、运行模型。

    主要特点:

    • 图形界面,适合所有用户;
    • 内置模型市场,支持一键下载;
    • 支持对话式模型交互;
    • 可开启本地 API 服务接口;
    • 支持 macOS、Windows(Linux 支持计划中);
    • 闭源软件,当前未公开源代码。

    优点:

    • 使用门槛低,界面清晰直观;
    • 操作流程完整,适合内容创作与教学演示;
    • 支持 GGUF 模型导入,兼容性良好。

    不足:

    • 不支持命令行控制或脚本化自动操作;
    • API 接口功能相对基础;
    • 开源性不足,透明度受限。

    三、API 调用功能对比

    功能项OllamaLM Studio
    是否支持 API
    启动方式命令行中自动启动 REST 服务GUI 中启用 “Open Local Server” 选项
    默认端口http://localhost:11434http://localhost:1234(可自定义)
    接口格式JSON,类似 OpenAI APIJSON,兼容 OpenAI 接口规范
    流式输出支持(stream: true)支持(SSE)
    高级功能支持模型管理、嵌入生成、多线程等主要用于文本生成,功能相对简单

    四、选择建议

    使用场景推荐工具
    技术开发者、需命令行控制Ollama
    普通用户、内容创作LM Studio
    需要灵活脚本化操作Ollama
    追求图形化体验LM Studio
    重视开源与可控性Ollama
    快速试用与界面管理LM Studio

    Ollama 和 LM Studio 都可以作为个人 PC 上运行本地语言模型的有效方案。前者面向技术用户,提供完整的 CLI 与 API 控制能力,适合复杂工作流集成与开发使用;后者主打易用与界面化,适合内容生成和日常交互使用。两者不冲突,可并存使用,根据不同任务切换工具。