使用LM Studio来运行本地版本大语言模型

使用ChatGPT也有一段时间了，可以算是迷恋上它了，也在Mac捣鼓过，无奈20年的Intel机器似乎不太给力，只能转战Windows了。作为一名程序员，在经济许可条件下，估计都想被用过的技术私有化部署一遍，前几天了解到LM Studio可以较方便帮我实现这个目标，来搞搞看看。

目前最新版本0.2.23下载后，直接运行.exe文件即可：

这玩意，正常都是要找塞先生才能用，无奈这次不灵了？

几经波折，按如下几步试试：

1、 进入目录，如下所示：

2、右键app-0.2.23，使用VS Code打开，然后把里面的huggingface.co链接替换为hf-mirror.com：

3、 重启LM Studio，不要劳烦塞先生了，再搜索试试，稳了：

4、下载个模型试试：

5、到AI Chat选择一个模型

模型加载后，还没开始，还没开始对话：

还是那个问题，嗯，速度和性能都是杠杆的~

代码能力也是不错的，总体看来，这个模型对于电脑的CPU和GPU还是比较友好的，没一点响声：

另外，通过LM Studio，也可以把本地的模型作为服务端，同样使用OpenAI的接口来使用，这样方便程序的本地调试与移植了。如下所示，可以便捷启停服务，如下还有服务器日志，一条龙了。

替换下OpenAI的URL和Key即可：

在LM Studio的服务端可以看到详细的日志，可以看到详细的生成过程：