今天 (2023-01-22) 的会员文章,介绍了一款开源的 ChatGPT 替代品,Jan 它与 LM studio 的室友体验有哪些差异?(性能、功能,以及其他任何方面)
目前看,底层都是一样的,都是llama.cpp。不知道哪个会先支持一下mlx,试了一下mlx-examples,效率确实很高,在Apple Silicon上生成文本速度比llama.cpp还强。
2 Likes
另外,Windows 系统 NVIDIA 显卡,需要安装 CUDA ToolKit 才能让 Jan 借助 GPU 运行。
然而,已经安装了 显卡驱动 (Studio 版)后,安装 CUDA ToolKit 总是失败。
不知是什么原因。
在 Slack 回复过,这里引用一下:
LM Studio,两者定位是很相似的,都是用来加载 LLM 模型的。所以核心功能没什么区别。
从界面上看 LM Studio 的可参数比 Jan 要更全面一些。完成度上也比 Jan 高。
个人感觉 Jan 的目标是做面向普通消费者的客户端,在 UI 上下了功夫,隐藏了很多模型相关的设置,只保留了 Instructions、Prompt template 这种作为用户关心的设置项。
并且 Jan 未来会提供 iOS 版本。
1 Like
试用了一下 Jan,有一些小bug,等过段时间完善了再体验。
我安装 CUDA toolkits 遇到兼容性问题,于是暂时放弃 Jan 了。