Ollama 本地部署大模型

1、Ollama 下载安装

官方网址：

官方 API 文档地址：https://github.com/ollama/ollama/blob/main/docs/api.md

百度网盘下载：提取码: phhs

安装步骤：无脑下一步。

2、Ollama 基础命令

查看版本

ollama -v

查看帮助

ollama --help

3、模型安装

• 选择顶部的 Models

• 选择想要安装的模型，点击模型进入后如下：

• 选择符合自己电脑的配置后，右侧则会有对应的 Ollama 命令 点击右侧的复制按钮

• 打开电脑的命令行工具输入，等待安装完成即可

ollama run deepseek-r1:14b

4、查看模型并对话

浏览器访问：http://localhost:11434，可以看到浏览器输出：Ollama is running ，则说明启动成功。

直接在命令行中就可以跟模型对话：

5、SpringBoot 中调用 Ollama

依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        <version>1.0.0-M6</version>
    </dependency>

    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

<repositories>
    <repository>
        <id>spring-milestones</id>
        <name>Spring Milestones</name>
        <url>https://repo.spring.io/milestone</url>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>
</repositories>

application 配置

server:
  port: 8123
  servlet:
    context-path: /api

spring:
  application:
    name: baolong-ai-agent
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: deepseek-r1:14b

调用示例

import jakarta.annotation.Resource;
import org.springframework.ai.chat.messages.AssistantMessage;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;

/**
 * @author Baolong
 */
@Component
public class OllamaAiInvoke implements CommandLineRunner {

	@Resource
	private ChatModel ollamaChatModel;

	@Override
	public void run(String... args) throws Exception {
		AssistantMessage output = ollamaChatModel.call(new Prompt("你好，我是暴龙"))
				.getResult()
				.getOutput();
		System.out.println(output.getText());
	}
}

效果