微三云刘杰本地部署人工智能平台

 今天用了一个超级好用的Chatgpt模型——ChatGLM，可以很方便的本地部署，效果嘎嘎好，经测试，效果基本可以平替内测版的文心一言。

    目录

    一、什么是ChatGLM？

    二、本地部署

    2.1模型下载

    2.2模型部署

    2.3模型运行

    2.3.1直接在命令行中输入进行问答

    2.3.2利用gradio库生成问答网页

    三、模型与ChatGPT和GPT4AII效果对比

    3.1ChatGLM

    3.2ChatGPT

    3.3GPT4AII

    四、

    一、什么是ChatGLM？

  ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下*低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

    二、本地部署

    2.1模型下载

    Demo下载地址：

  GitHub-ZhangErling/ChatGLM-6B:提供Windows部署文档的版本|ChatGLM-6B：开源双语对话语言模型|AnOpenBilingualDialogueLanguageModel

    2.2模型部署

    1.用Pycharm打开项目文件；

  2.使用pip安装依赖：pipinstall-rre，其中transformers库版本推荐为4.27.1，但理论上不低于4.23.1即可；

    安装以下依赖包：

    protobuf

    transformers==4.27.1

    cpm_kernels

    torch>=1.10

    gradio

    mdtex2html

    sentencepiece

    pip直接安装不行就用：

  condainstall包名-chttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

  再不行就去Archived:PythonExtensionPackagesforWindows-ChristophGohlke(uci.edu)

    下载相关依赖包的whl文件，在cd到文件路径下，用pip安装。

    2.3模型运行

    在…/ChatGLM/目录下有两个demo代码：

    2.3.1直接在命令行中输入进行问答

  （1）修改模型路径。编辑cli_demo.py代码，修改5、6行的模型文件夹路径，将原始的“THUDM/ChatGLM-6B”替换为“model”即可。

  （2）修改量化版本。如果你的显存大于14G，则无需量化可以跳过此步骤。如果你的显存只有6G或10G，则需要在第6行代码上添加(4)或(8)，如下：

    #6G显存可以4bit量化

  model=AutoModel.from_pretrained("model",trust_remote_code=True).half().(4).cuda()#10G显存可以8bit量化

  model=AutoModel.from_pretrained("model",trust_remote_code=True).half().(8).cuda()

    （3）运行cli_demo.py

    2.3.2利用gradio库生成问答网页

    利用gradio库生成问答网页（效果如三中所示）。

    （1）安装gradio库：

    pipinstallgradio

  （2）修改模型路径。编辑cli_demo.py代码，修改5、6行的模型文件夹路径，将原始的“THUDM/ChatGLM-6B”替换为“model”即可。

  （3）修改量化版本。如果你的显存大于14G，则无需量化可以跳过此步骤。如果你的显存只有6G或10G，则需要在第5行代码上添加(4)或(8)，如下：

    #6G显存可以4bit量化

    （4）运行web_demo.py

    模型加载过程如下图：

    三、模型与ChatGPT和GPT4AII效果对比

  运行完web_demo.py结束会自动打开浏览器，显示如下界面，可以进行正常对话，且相应速度非常快。

    3.1ChatGLM

    向ChatGLM提问：“蒸1个包子需要10分钟，蒸10个包子需要多久？”，回答非常合理。

    3.2ChatGPT

  向ChatGPT提相同的问题：“蒸1个包子需要10分钟，蒸10个包子需要多久？”，回答略显简单。

    3.3GPT4AII

  上一篇博文我们介绍了GPT4ALL，它只能实现英文的对话，用英文提问相关的问题，发现效果不如ChatGLM和ChatGPT。

    四、

  ChatGLM方便部署，且对中文的理解能力很好，它的优点是部署完不用联网，不需要账号登录，非常安全，它的缺点是无法增量学习互联网上*新的信息，知识库扩展需要额外增加训练样本。