介绍

JittorLLL 计图大模型推理库

1. 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库；
2. 支持广：目前支持了4种大模型：ChatGLM大模型；鹏程盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型

Jittor 官方文档

配置前检查环境

• 卸载 Anaconda，安装 arm64 架构的 miniforge3

$\KaTeX$介绍

$\TeX$ 数学公式是以文本的形式和规则书写，由公式渲染器进行渲染，可以嵌入Markdown，HTML网页等内容。知名且广泛使用的数学JS渲染器支持有$MathJax$，$\KaTeX$ ，两者底层采用的都是 $\TeX$ 排版协议

介绍

docker镜像为了节省空间，通常是没有安装systemd或者sysvint这类初始化系统的进程

一旦容器的起始进程不稳定将会产生大量的僵尸进程，影响宿主系统的运行

安全的启动方式会使用 init系统

init 系统 有以下几个特点：

init系统 的第一个进程，负责产生其他所有用户进程

使用前需飞书设置-特定群组自动推送消息

• 在群/话题中，新建 群机器人
• 点击，群管理
• 新建一个 自定义机器人 类机器人, 自定义机器人指南
  • 机器人名称 改为 ns-drone:{url} ，其中 {url} 改为 drone 地址便于管理，ns-drone 为 notifications message drone 简写，当然也可以自定义不影响效果
  • 描述 改为通过 webhook 推送 https://{url} 构建通知
  • 确认后，会产生一个 webhook 地址，格式为 https://open.feishu.cn/open-apis/bot/v2/hook/{webhook}记录下来
  • 添加 自定义关键词: 比如 Drone CI Notification 作为通知 title
  • 勾选 仅群主和添加者可编辑、移除此机器人
  • 勾选 签名校验 可选 如果设置见文档 方式三：签名校验，后面会用到这个密钥

drone 话题/群组 机器人插件

配置方法

对目标工程或者群组设置 secret 配置官方文档

attention 注意

steps ENV

• env DRONE_WORKSPACE
  • pipeline/environment/reference/drone-workspace/ offical doc
    • with empty on mode type: docker
    • with path of runner temp folder on mode type: exec, and will remove after build

.drone.yml 文件中 when ref

use https://docs.drone.io/pipeline/docker/syntax/conditions/

• glob style https://en.wikipedia.org/wiki/Glob_(programming)

docker-runner

docker-runner on linux

• env file