Hugging Face 近日推出了 HUGS（Hugging Face Generative AI Services），这是一种优化的、零配置推理微服务，旨在简化和加速使用开放模型的 AI 应用开发。HUGS 基于开源技术，如文本生成推理（TGI）和 Transformer，为您提供在自有基础设施中高效构建和扩展生成式 AI 应用的最佳解决方案。
HUGS 的优势
零配置优化推理
HUGS 简化了在您的基础设施和多种硬件上部署开放模型的过程。它解决了为特定 GPU 或 AI 加速器优化大语言模型（LLM）推理工作负载的工程复杂性，实现了零配置的最大吞吐量部署。
兼容性与灵活性
HUGS 提供与 OpenAI 兼容的 API，轻松替换现有基于模型提供商 API 构建的生成式 AI 应用。它支持多种硬件加速器，包括 NVIDIA GPU、AMD GPU，并将很快支持 AWS Inferentia 和 Google TPUs。同时，HUGS 兼容广泛的开源模型，确保您的 AI 应用具有灵活性和选择性。
企业级特性
HUGS 提供企业级分发，包括长期支持、严格测试和 SOC2 合规性。它通过包含必要的许可证和服务条款，最小化合规风险。
客户评价
HUGS 显著提高了部署效率。Polyconseil 的 CTO Henri Jouhaud 表示：“HUGS 是部署本地即用模型并具有良好性能的巨大节省时间的工具。” Orange 的研究工程师 Ghislain Putois 也提到：“HUGS 让我们相信我们可以扩展我们内部对开放模型的使用。”
如何使用 HUGS
部署方法
HUGS 的使用非常简单。根据您的部署方法，您需要访问相应的订阅或市场产品。
获取 HUGS
HUGS 可通过以下渠道获得：
- 云服务提供商 (CSP) 市场：在 Amazon Web Services (AWS) 上部署 HUGS，Google Cloud Platform (GCP) 和 Microsoft Azure 的支持即将推出。
- DigitalOcean：HUGS 在 DigitalOcean 中作为新的 1-Click Models 服务原生可用。
- 企业中心：如果您的组织已升级到企业中心，请联系我们的销售团队以获取 HUGS 的访问权限。
定价
HUGS 提供基于每个容器正常运行时间的按需定价。AWS 市场和 Google Cloud Platform 市场每个容器每小时 1 美元，无最低费用。在 AWS 上，您有 5 天的免费试用期。DigitalOcean 上的 1-Click Models 无需额外费用。
运行推理
HUGS 基于 TGI，提供无缝的推理体验，并利用与 OpenAI 兼容的消息 API，允许您使用熟悉的工具和库发送请求。
支持的模型和硬件
HUGS 支持不断增长的开放模型和硬件平台生态系统。我们今天推出了 13 个流行的开放大型语言模型，让您轻松利用开放模型的力量，在您自己的基础设施中实现零配置优化推理。（来源）