JittorLLMs macOS Apple Silicon 使用

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 卸载 Anaconda，安装 arm64
$ brew uninstall miniconda
$ cd ~/Downloads
$ wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh -O Miniforge3-MacOSX-arm64.sh
Miniforge3 will now be installed into this location:
/Users/${USER}/miniforge3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

==> For changes to take effect, close and re-open your current shell. <==

If you'd prefer that conda's base environment not be activated on startup,
   set the auto_activate_base parameter to false:

conda config --set auto_activate_base false

Thank you for installing Miniforge3!

# will add ~/.zshrc to source
# check
$ conda --version
conda 23.1.0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

cd github.com/Jittor
# 国内使用 gitlink clone
$ git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1
$ git clone https://github.com/Jittor/JittorLLMs.git --depth 1

$ cd JittorLLMs
# create new env
$ conda create -y -n JittorLLMs python=3.8
$ conda activate JittorLLMs
# 配置加速
$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# isntall
# -i 指定用jittor的源， -I 强制重装Jittor版torch
$ pip install -r requirements.txt -i https://pypi.jittor.org/simple -I

# run with cli_demo
$ python cli_demo.py [chatglm|pangualpha|llama|chatrwkv]
# 运行后会自动从服务器上下载模型文件到本地，会占用根目录下一定的硬盘空间

## 首次运行需要安装依赖
# chatglm
$ python -m pip install -r models/chatglm/requirements.txt -i https://pypi.jittor.org/simple

1
2
3
4

$ conda activate JittorLLMs

# run with cli_demo
$ python cli_demo.py [chatglm|pangualpha|llama|chatrwkv]

1
2
3
4

$ python cli_demo.py chatrwkv

Check failed: value==0  No CUDA found.
Caught SIGCHLD. Maybe out of memory, please reduce your worker size. si_errno: 0 si_code: 0 si_status: 0 , quick exit

1
2

$ export JT_SAVE_MEM=1
$ export cpu_mem_limit=16000000000

1
2

# 没有安装此模型需要的依赖，请尝试运行 'python -m pip install -r models/chatrwkv/requirements.txt -i https://pypi.jittor.org/simple'
$ python -m pip install -r models/chatrwkv/requirements.txt -i https://pypi.jittor.org/simple

1
2
3
4
5

# install depends
$ python -m pip install fastapi uvicorn

$ export JT_SAVE_MEM=1 && export cpu_mem_limit=16000000000
$ python api.py chatglm

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

$ curl -X POST http://0.0.0.0:8000 -d '{"prompt":"你好，解5x=13"}'

# 请求例子
$ curl -X POST http://192.168.50.55:8000 -d '{"prompt":"你好，解2x=512"}' | jq
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  1036  100  1005    0    31      1      0  0:16:45  0:14:27  0:02:18   230
{
  "response": "你好！如果你有一个方程 $2x=512$，你可以使用消元法或代入法来解它。\n\n使用消元法，可以将方程两边同时除以 $2$，得到 $x=256$。这个答案是正确的，因为 $2x=512$ 可以被简化为 $x=256$。\n\n如果你使用代入法，可以将 $256$ 直接代入原方程，得到 $256=512$。这个答案也是正确的，因为 $512$ 等于 $256\\times2$。\n\n因此，你的方程 $2x=512$ 的解是 $x=256$。",
  "history": [
    [
      "你好，解2x=512",
      "你好！如果你有一个方程 $2x=512$，你可以使用消元法或代入法来解它。\n\n使用消元法，可以将方程两边同时除以 $2$，得到 $x=256$。这个答案是正确的，因为 $2x=512$ 可以被简化为 $x=256$。\n\n如果你使用代入法，可以将 $256$ 直接代入原方程，得到 $256=512$。这个答案也是正确的，因为 $512$ 等于 $256\\times2$。\n\n因此，你的方程 $2x=512$ 的解是 $x=256$。"
    ]
  ],
  "status": 200,
  "time": "2023-04-27 17:03:24"
}

1
2
3
4
5

# install depends
$ python -m pip install gradio

$ export JT_SAVE_MEM=1 && export cpu_mem_limit=16000000000
$ python web_demo.py chatglm

1
2
3
4
5
6
7
8
9

export JT_SAVE_MEM=1
# 限制cpu最多使用16G
export cpu_mem_limit=16000000000
# 限制device内存（如gpu、tpu等）最多使用8G
export device_mem_limit=8000000000
# windows 用户，请使用powershell
# $env:JT_SAVE_MEM="1"
# $env:cpu_mem_limit="16000000000"
# $env:device_mem_limit="8000000000"

1
2
3
4
5
6
7
8

# 限制cpu最多使用16G
export cpu_mem_limit=-1
# 限制device内存（如gpu、tpu等）最多使用8G
export device_mem_limit=-1
# windows 用户，请使用powershell
# $env:JT_SAVE_MEM="1"
# $env:cpu_mem_limit="-1"
# $env:device_mem_limit="-1"

1

python -m jittor_utils.clean_cache swap