课程知识点生成工具V1.0

服务器信息

本工具使用阿里云八代实例（g8i）+xFasterTransformer+Qwen-7B-Chat模型搭建而成

安装xft

获取并运行Intel xFasterTransformer容器。

sudo docker pull registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23
sudo docker run -it --name xFT -h xFT --privileged --shm-size=16g --network host -v /mnt:/mnt -w /mnt/xFasterTransformer registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23

注意：后续操作都需要在容器中运行，如果退出了容器，可以通过以下命令启动并再次进入容器的Shell环境。

sudo docker start xFT
sudo docker exec -it xFT bash

安装启动模型服务

1、安装GIT-LFS

yum update -y
yum install -y wget git git-lfs vim tmux

2、启用Git LFS。

git lfs install

3、创建并进入模型数据目录。

mkdir /mnt/data
cd /mnt/data

4、下载Qwen-7B-Chat预训练模型。

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git /mnt/data/qwen-7b-chat

5、在容器中，依次执行以下命令，安装WebUI相关依赖软件。

cd /root/xFasterTransformer/examples/web_demo
pip install -r requirements.txt

6、执行以下命令，启动WebUI。

OMP_NUM_THREADS=$(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') / 2)) GRADIO_SERVER_NAME="0.0.0.0" numactl -C $(seq -s, 0 2 $(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') - 2))) -m 0 python Qwen.py -t /mnt/data/qwen-7b-chat -m /mnt/data/qwen-7b-chat-xft -d bf16

当出现如下信息时，表示WebUI服务启动成功。

工具使用

启动工具

命令行启动或者编辑器运行（具体运行看项目的readme.md文件）

上传课程文件

上传课程的教材文件

开始生成知识点

填写完必要信息后，转换后的知识点内容会逐步显示在文本区域中，根据进度条查看是否运行完成。

生成知识点结束

生成完成以后可以复制使用，可以看到相比于以前的教材罗列出来了考察的重点知识点和方向，可以用于老师的归纳总结和出题。

服务日志

模型服务会记录下每一次请求的日志输出，可用于后续的分析或者其他异常情况的排查。