启鑫的黑板报

标签： LLM

  • 在个人 PC 上选择 Ollama 还是 LM Studio

    随着大语言模型的普及，越来越多用户希望将它们部署在本地设备上，以获得离线使用、隐私保护和更低延迟的优势。Ollama 和 LM Studio 是两款常见的本地部署工具，它们各具特点，适用于不同类型的用户

    一、Ollama 简介

    Ollama 是一个轻量级的本地大语言模型运行框架，通过命令行即可完成模型的下载、运行与交互。它以“开箱即用”为目标，简化了本地部署流程，同时保留了较高的灵活性和可扩展性。

    主要特点：

    • 命令行驱动，适合技术用户；
    • 支持主流模型（如 LLaMA、Mistral、Gemma 等）；
    • 提供本地 REST API 接口；
    • 模型管理与更新简便；
    • 支持 macOS、Windows、Linux；
    • 开源项目
      优点：
    • 使用灵活，支持自动化脚本与集成；
    • 模型运行效率高，资源控制好；
    • 自定义模型与镜像构建功能强大；
    • 社区活跃，支持快速反馈与迭代。

    不足：

    • 无图形界面，初学者入门有门槛；
    • 高级功能配置依赖命令行与配置文件。

    二、LM Studio 简介

    LM Studio 是一款图形化的本地语言模型运行工具，主打易用性，面向非技术用户快速上手。内置 Hugging Face 模型库浏览器，可通过界面选择、下载、运行模型。

    主要特点：

    • 图形界面，适合所有用户；
    • 内置模型市场，支持一键下载；
    • 支持对话式模型交互；
    • 可开启本地 API 服务接口；
    • 支持 macOS、Windows（Linux 支持计划中）；
    • 闭源软件，当前未公开源代码。

    优点：

    • 使用门槛低，界面清晰直观；
    • 操作流程完整，适合内容创作与教学演示；
    • 支持 GGUF 模型导入，兼容性良好。

    不足：

    • 不支持命令行控制或脚本化自动操作；
    • API 接口功能相对基础；
    • 开源性不足，透明度受限。

    三、API 调用功能对比

    功能项OllamaLM Studio
    是否支持 API是是
    启动方式命令行中自动启动 REST 服务GUI 中启用 “Open Local Server” 选项
    默认端口http://localhost:11434http://localhost:1234（可自定义）
    接口格式JSON，类似 OpenAI APIJSON，兼容 OpenAI 接口规范
    流式输出支持（stream: true）支持（SSE）
    高级功能支持模型管理、嵌入生成、多线程等主要用于文本生成，功能相对简单

    四、选择建议

    使用场景推荐工具
    技术开发者、需命令行控制Ollama
    普通用户、内容创作LM Studio
    需要灵活脚本化操作Ollama
    追求图形化体验LM Studio
    重视开源与可控性Ollama
    快速试用与界面管理LM Studio

    Ollama 和 LM Studio 都可以作为个人 PC 上运行本地语言模型的有效方案。前者面向技术用户，提供完整的 CLI 与 API 控制能力，适合复杂工作流集成与开发使用；后者主打易用与界面化，适合内容生成和日常交互使用。两者不冲突，可并存使用，根据不同任务切换工具。

  • Ubuntu 24.04 安装 vLLM

    安装要求

    • 操作系统：Linux（Ubuntu 24.04）
    • Python：3.12
    • GPU 支持：NVIDIA A100、RTX 系列（需安装 NVIDIA 驱动和 CUDA）

    一、安装 Miniconda

    1. 下载并安装 Miniconda：
    mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
    1. 初始化 shell 环境
    source ~/miniconda3/bin/activate
    1. 初始化 Conda 到所有可用 shell：
    conda init --all

    二、创建 Python 虚拟环境并安装 vLLM

    1. 创建基于 Python 3.12 的虚拟环境：
    conda create -n vllm python=3.12 -y
    1. 激活环境：
    conda activate vllm
    1. 使用 pip 安装 vLLM：
    pip install vllm

    三、安装gemma-3-27b-it-qat

    1. 加载并运行模型
    vllm serve "google/gemma-3-27b-it-qat-q4_0-gguf"
    1. 浏览器访问API
    http://localhost:8000

  • LLM 的双重含义

    什么是LLM？它为什么有不同的意思？

    你可能在不同的场合听到过“LLM”这个词，但它的意思可能让你有点混淆。其实，LLM在不同的领域有不同的含义，今天我们就来聊聊它到底是什么意思，为什么它会有这么多不同的解释。

    LLM：法学硕士

    首先，LLM 在法学界是非常常见的缩写，它代表的是“法学硕士”（Master of Laws）。如果你知道有些人去大学读法律，学完之后可能拿到一个叫做“法学硕士”的学位，这个学位就叫做LLM。它是专门给那些已经获得法学本科学位的人，进一步深造的学位。

    举个例子：你读完法律本科后，决定继续学习法律，专攻某一方面的知识，比如国际法、商法等，这时候你就可以去申请法学硕士（LLM）学位。这种学位通常在一些国家很有用，能够帮助你在法律界获得更好的职位。

    所以，在法学领域，LLM 就是法学硕士的意思。

    LLM：大语言模型

    在人工智能（AI）领域，LLM有着完全不同的含义。在AI里，LLM代表的是“大语言模型”（Large Language Model）。这是一种专门用来处理语言的人工智能技术。它能够读懂和生成自然语言，比如你和智能助手对话，智能助手能理解你的问题并给出回答，这背后就可能是一个大语言模型在工作。

    这些大语言模型是通过大量的数据训练出来的，比如从互联网上抓取各种文章、书籍、对话记录等内容，它们学会了语言的规则和结构。所以，当你输入一句话，它就能根据学到的知识给你一个合适的回答。比如，像GPT-3和GPT-4就是知名的大语言模型。

    简单来说，LLM 在AI领域是指用来做语言处理的强大程序，它可以帮助人们更好地理解、生成和使用语言。

    为什么LLM有两种不同的意思？

    那为什么“LLM”这个词会有两种完全不同的意思呢？其实这就是因为不同的领域使用这个缩写的时候，它们有各自的传统和需求。

    1. 法学界的历史 在法学界，LLM 作为法学硕士学位的缩写已经存在很久了，很多国家的法学院都习惯使用这个缩写。因此，当我们提到“LLM”时，大家首先会想到的是法学硕士。
    2. AI技术的快速发展 在人工智能领域，随着技术的发展，新的术语和缩写不断涌现。LLM 这个缩写被用来代表“大语言模型”，是因为这种技术需要处理大量的语言数据，而“LLM”也正好符合这个概念。

    由于两者的应用场景完全不同，虽然它们用的是同一个缩写，但人们根据讨论的上下文可以很容易区分是指哪个意思。

    如何避免混淆？

    虽然LLM在法学和AI领域有不同的含义，但只要你理解了它们各自的背景，基本上就不容易混淆了。这里有几个简单的方法帮助你区分它们：

    • 如果你在讨论法律、律师、法学教育等话题，LLM指的肯定是“法学硕士”。比如，你听到有人说“他刚刚拿到LLM学位”，那肯定是在说他获得了法学硕士学位。
    • 如果你在谈论人工智能、机器学习、语言处理等技术话题，LLM指的就是“大语言模型”。比如，当有人提到“这个AI是基于LLM构建的”，那肯定是在说它是使用了大语言模型来处理语言。

  • Debian12 安装Dify大语言模型(LLM) 应用开发平台

    Dify 是一款开源的大语言模型（LLM）应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

    Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

    1. 安装 Docker 和 Docker Compose

    在服务器上运行以下命令安装 Docker：

    curl -fsSL https://get.docker.com -o get-docker.sh && sh get-docker.sh

    2. 安装 Dify

    2.1 克隆 Dify 源代码至本地环境

    git clone https://github.com/langgenius/dify.git --branch 1.0.1

    2.2 启动 Dify

    进入 Dify 源代码的 Docker 目录，并执行以下步骤：

    # 进入 Dify 源代码的 Docker 目录
cd dify/docker

# 复制环境配置文件
cp .env.example .env

# 启动 Docker 容器
docker compose up -d

# 最后检查是否所有容器都正常运行
docker compose ps

    2.3 访问 Dify 进行安装

    在浏览器中访问以下地址，完成安装流程：

    http://your_server_ip/install

    3. 在 Dify 中接入模型

    在 Dify 控制面板中，进入 设置 > 模型供应商，然后点击 接入模型。
    按照界面指引，输入模型供应商相关 API 信息，并完成模型的接入配置。

  • OLLAMA 安装与配置指南

    OLLAMA 安装与配置指南

    1. 什么是 LLM（大语言模型）

    大语言模型（LLM，Large Language Model）是一类基于深度学习的人工智能模型，专门用于自然语言处理（NLP）任务。这些模型通过大规模数据训练，具备强大的文本理解、生成和推理能力。

    LLM 具有以下特点：

    • 大规模参数：通常拥有数十亿甚至上千亿的参数，使其能够处理复杂的语言任务。
    • 多任务适应性：可以用于文本生成、翻译、问答、代码补全等任务。
    • 上下文理解能力：可以根据上下文生成连贯且符合语境的文本。
    • 自我学习能力：能够通过微调适应特定领域的应用。

    常见的大语言模型包括 OpenAI 的 GPT 系列、Meta 的 LLaMA 系列以及其他主流开源模型。

    2. 为什么使用 OLLAMA

    OLLAMA 是一个强大的 AI 模型管理和运行工具，提供了高效、便捷的 LLM 部署方式，主要优势包括：

    • 简易部署：支持快速安装和配置，适合开发者和研究人员。
    • 高效运行：优化的推理性能，减少计算资源占用，提高响应速度。
    • 灵活扩展：支持多个模型的下载和运行，满足不同任务需求。
    • 跨平台支持：兼容 Windows、Linux 和 macOS，适用于不同开发环境。

    3. 安装 OLLAMA

    可以通过以下链接下载并安装 OLLAMA：
    OLLAMA 官方网站

    4. 下载模型

    安装完成后，可以从 OLLAMA 官方库中下载所需的 AI 模型：
    OLLAMA 模型库

    使用以下命令运行指定的模型，例如 llama3.3 70B 版本：

    ollama run llama3.3:70b

    5. Windows 环境变量配置

    在 Windows 系统中，可以通过环境变量配置 OLLAMA 运行环境，设置如下：

    # 指定模型存储路径
OLLAMA_MODELS=D:\ollama\models

# 允许跨域访问
OLLAMA_ORIGINS=*

# 允许外部访问 OLLAMA
OLLAMA_HOST=0.0.0.0

    配置完成后，请重启系统或终端以使环境变量生效。

    6. 安装 Cherry Studio 客户端

    Cherry Studio 是一款支持 OLLAMA 的 AI 开发工具。安装 Cherry Studio 后，可启用 OLLAMA 支持并配置下载的模型。