2023-03-15 来聊下 ChatGLM-6B 清华大学开源版 ChatGPT 的使用感受

温馨提示：本文使用 New Bing 润色。

开源地址：https://github.com/THUDM/ChatGLM-6B

模型地址：https://huggingface.co/THUDM/chatglm-6b

安装教程：【ChatGLM】本地版 ChatGPT？6G 显存可用！ChatGLM-6B 清华开源模型一键包发布 可更新

前言

想必有不少人之前已经用过 ChatGPT 和 New Bing 了，但这两者都是闭源的，在使用上略有不便，接下来给各位读者介绍一个开源的类 ChatGPT 模型——ChatGLM-6B。

关于 ChatGLM-6B

ChatGLM-6B 是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的一个开源的类 ChatGPT 模型，可以在最低 6G 显存的电脑上运行，因此相比闭源的 ChatGPT 虽有很多不足，但却可以在本地运行，有了更多的可控性！

介绍一下自己

按照惯例，让 ChatGLM-6B 来介绍一下自己吧

可以看到，自我认知还是非常正确的，确实是清华大学开源的版本。

js 实现一个归并排序

那么写代码的功底如何呢？

简单格式化了下后发现这写的是什么玩意儿，看来本地版本还是算力不足，有点缺陷。

润色文字

算了，还是叫它润色下文字好了。

啊这……你搁这如蜜传如蜜呢？

可能是由于我给它的话本身就是被 New Bing 改过的话，所以也改的差不多。

续写文本

但有一说一，ChatGLM-6B 在续写方面居然惊人的牛逼，连带着结局都写完了，看来对中文的优化还是不错的。

炸显存了

本来按照惯例，后面要试下生成图片的 AI 关键词、实现一个 express 程序，端口为 4399等，但我测试到这一步的时候，直接炸显存了。

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 56.00 MiB (GPU 0; 6.00 GiB total capacity; 5.22 GiB already allocated; 0 bytes free; 5.30 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

可以看出是显存不够了，因为我的电脑也就 6GB 显存，刚好达到运行下限，没聊几句就炸显存属实意料之中。

ChatGLM-6B 模型毕竟刚发布，在性能优化方面还有待提高，当然了，如果有更高的配置，例如 12GB 显存，应该能更好的运行。

后面的内容我就不测试了，估摸着也大差不差，有兴趣的读者可以自己试试。

总结

笔者试用了清华大学开源的 ChatGLM-6B 模型，它是一个可以在本地部署的对话语言模型，支持中英双语问答。

笔者对它进行了一些测试，发现它的效果虽然不如 ChatGPT 和 New Bing ，但也很惊人，尤其是考虑到它只需要 6GB 显存就可以运行。

笔者也指出了它的一些不足，比如对电脑配置的要求还是太高，以及在使用过程中出现了炸显存的情况。【本段为 New Bing 生成】

本文作者：草梅友仁
本文地址： https://blog.cmyr.ltd/archives/eec20dd.html
版权声明：转载请注明出处！