文章目录[隐藏]
LM Studio 的最新版本 0.3.5 推出了多项对开发者友好的功能,包括无头模式和按需模型加载。这些新功能旨在提高资源利用率和软件性能,同时增强开发者的使用体验。
无头模式,
无图形界面的后台服务器:
无头模式允许用户将 LM Studio 作为无图形界面的后台服务器运行。这不仅节省了视频内存等资源,还使得 LM Studio 更适合在服务器环境中部署。
按需模型加载,
提高效率和减少初始延迟:
- 按需模型加载功能允许模型仅在请求时加载,而不是在软件启动时加载所有模型。这显著提高了效率,减少了软件的初始加载时间。
API 更改
增强功能和兼容性:
- LM Studio 0.3.5 对 API 进行了多项更改,以增强功能和提高兼容性。这些更改包括新增的函数、参数和返回值,以及对现有函数的优化。
- 文档:详细的 API 文档和示例代码已更新,开发者可以参考这些文档来了解如何使用新的 API 功能。
mlx-engine 更新
性能和稳定性提升:
- mlx-engine 是 LM Studio 的核心引擎,负责模型的加载和推理。最新版本对 mlx-engine 进行了多项更新,包括性能优化、错误修复和新功能的添加。
- 新功能:新增了对更多模型格式的支持,以及对分布式计算的优化。
- 性能提升:通过优化内存管理和并行处理,显著提高了模型推理的速度和稳定性。
其他改进
- 用户界面优化:虽然无头模式主要用于后台运行,但 LM Studio 的图形用户界面也进行了多项优化,包括更好的响应速度和更直观的操作体验。
- 文档和示例:提供了更详细的文档和示例代码,帮助开发者快速上手并充分利用新功能。