LM Studio 0.3.5 发布:新增无头模式和按需模型加载功能

LM Studio 的最新版本 0.3.5 推出了多项对开发者友好的功能,包括无头模式和按需模型加载。这些新功能旨在提高资源利用率和软件性能,同时增强开发者的使用体验。

无头模式,

无图形界面的后台服务器

无头模式允许用户将 LM Studio 作为无图形界面的后台服务器运行。这不仅节省了视频内存等资源,还使得 LM Studio 更适合在服务器环境中部署。

按需模型加载,

提高效率和减少初始延迟

  • 按需模型加载功能允许模型仅在请求时加载,而不是在软件启动时加载所有模型。这显著提高了效率,减少了软件的初始加载时间。

API 更改

增强功能和兼容性

  • LM Studio 0.3.5 对 API 进行了多项更改,以增强功能和提高兼容性。这些更改包括新增的函数、参数和返回值,以及对现有函数的优化。
  • 文档:详细的 API 文档和示例代码已更新,开发者可以参考这些文档来了解如何使用新的 API 功能。

mlx-engine 更新

性能和稳定性提升

  • mlx-engine 是 LM Studio 的核心引擎,负责模型的加载和推理。最新版本对 mlx-engine 进行了多项更新,包括性能优化、错误修复和新功能的添加。
  • 新功能:新增了对更多模型格式的支持,以及对分布式计算的优化。
  • 性能提升:通过优化内存管理和并行处理,显著提高了模型推理的速度和稳定性。

其他改进

  1. 用户界面优化:虽然无头模式主要用于后台运行,但 LM Studio 的图形用户界面也进行了多项优化,包括更好的响应速度和更直观的操作体验。
  2. 文档和示例:提供了更详细的文档和示例代码,帮助开发者快速上手并充分利用新功能。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

我们将24小时内回复。
取消