准备

• 良好的网络
• 下载 ollama
  • windows 的话 建议 C 盘大亿点点，后面会用到，或者更建议修改模型存储位置

模式运行选择

• 在 windows 和 macOS下， 因为 docker 必须通过虚拟机才能 使用 docker，通过虚拟机就有明显的性能损耗，请不要在这类系统下使用容器安装
• linux 下，因为 docker 更灵活且 ollamam 性能损失可以忽略，建议 容器部署
• 如果对性能有需求，且作为长期服务，请在 linux 下使用 vllm 部署，不用下面的文档

安装 ollama

windows 下安装需要注意

windows 建议配置 环境变量

dragonfly

https://github.com/dragonflydb/dragonfly

使用协议: Business Source License 1.1 BSL 1.1

BSL 协议为 个人免费开源，商业必须付费使用

官网 https://www.dragonflydb.io/

主语言：C++

它与当下最流行的两款内存数据库 Redis 和 Memcached 的 API 完全兼容，无需修改代码即可完成迁移

原因

QQNT 框架是基于 electron，默认启用硬件加速

windows 默认以高性能模式渲染 QQNT

解决方法

在 qq 快捷方式 后面加 --disable-gpu

• 安装在 "C:\Program Files\Tencent\QQNT" 中的 QQ
• 在启动的快捷方式上，右键属性
• 弹出的属性中，选中标签 快捷方式
• 在栏目 目标(T) 中改为

获取帮助详细信息

[TOC]

阅读前说明

• 使用本文前，必须熟悉 linux 操作系统基础操作，知道容器技术，或者 熟练使用 docker-ce，否则很多基础操作问题，本文不会讲解
• 本文是针对 k3s 集群部署，目标是学习使用 k8s，前置条件是 至少 3 台 虚拟机，或者 3台实体机
  • 目前云原生生态上，宿主操作系统 建议使用 Debian 或者 ubuntu 22.04 ，建议使用更新的内核，防止有奇怪的问题产生，下面的操作就是基于 debian 11 来说明
  • 操作运维平面上还是分 server ( 管理服务节点) 和 agent（工作负载节点），所以建议 额外加一台 agent 机器
  • 集群中，每个节点从网络上是全部等效可见的，注意调整网络配置或者防火墙配置

介绍

k3s 介绍

k3s 是 rancher 开源的一个 Kubernetes 发行版，并且对宿主的运行要求非常低，非常适合做 k8s 实验环境，和边缘技术服务的基建

配置说明

• watchtower 更新通知
  • shoutrrr 通知，支持类型非常多
    • Bark
    • Gotify
    • Slack

Bark 通知

bark 是 iOS 平台下非常好用的个人推送服务

• bark 使用文档

• 通知图标来源 https://containrrr.dev/watchtower/images/logo-450px.png ，可以自行修改

• 需要准备 {host}，也就是 公开或者私人部署的 bark 服务