Hugging Face 通过 Meilisearch 促进 AI 可访问性

Hugging Face 总部位于纽约和巴黎，是一家开源机器学习技术提供商，允许用户使用 Hugging Face 开源库和 Hub 来训练、部署和共享 AI 模型。

通过与 Meilisearch Cloud 合作，Hugging Face 积极履行其推动 AI 民主化的前瞻性承诺。

“如今，Hugging Face 使用 Meilisearch 来提升 30 多万个 AI 模型、数据集和演示的可发现性。这对于 AI 民主化非常重要，因为如果知识存在但你无法访问，那又有什么意义呢？” - Mishig Davaadorj，Hugging Face 软件工程师

挑战

在 Hugging Face 平台上，用户可以上传他们的 AI 模型、数据集和演示。随着一个活跃的用户社区不断与Hugging Face Hub（一个用于共享和搜索机器学习工件的平台）互动，可发现性问题变得至关重要。

Hugging Face Hub 托管着超过 22 万个 AI 模型，可满足各种机器学习任务的需求，所有这些模型都整齐地存储在仓库中。这些模型仓库旨在让模型的探索和利用尽可能无缝。Hugging Face 仓库中的每个 AI 模型都附带一个模型卡片，这是一个包含有价值元数据的文件，对于增强可发现性、可重现性和共享起着关键作用。模型卡片还提供有关 AI 模型的偏差和局限性、模型描述和训练指南的重要信息，并作为用户在 Hub 上查找模型或上传自己的模型的综合指南。

在引入 Meilisearch 之前，Hugging Face 依赖于一个简单的过滤和关键词搜索解决方案。然而，随着对更灵活、容错能力更强的全文搜索解决方案的需求日益增长，这一点变得显而易见。该解决方案需要确保每个搜索查询的默认相关性更高，并利用模型卡片中存储的附加属性和元数据。

Hugging Face 为何选择 Meilisearch Cloud

在将 Meilisearch 集成到其 ML 模型仓库之前，Hugging Face 已经将 Meilisearch 的免费开源解决方案用作其开源库（包括 transformers 和 diffusers）的文档搜索引擎。这份文档大约有 500 页，并已使用了一年多。由于团队在 Meilisearch 的实施和操作方面已经获得了积极的经验，因此当模型卡片搜索中出现增强可发现性的需求时，无需进行额外的测试或概念验证。

1. 排名规则的可定制性

在评估过程中，Hugging Face 团队还考虑了 Mongo Atlas Search。然而，他们对排名可用的定制功能不满意。为了增强模型卡片的可发现性，团队考虑了多个因素，例如项目名称、描述以及每张卡片的点赞数或下载量。Meilisearch 在适应这些搜索条件方面表现出更大的灵活性和适应性。

2. 过渡到 Meilisearch Cloud 以提升易用性

在文档中成功实施 Meilisearch 后，Hugging Face 团队顺利过渡到将 Meilisearch Cloud 整合到其模型卡片仓库中，并受益于其开箱即用的相关性。

3. 支持质量和基础设施外包

Hugging Face 团队选择 Meilisearch Cloud，部分原因是其专业的支持能力。鉴于在仓库中获得高度相关的搜索结果对 Hugging Face 至关重要，因此选择云版本还受到将基础设施委托给 Meilisearch Cloud 专家团队的专业知识的影响。基础设施外包使 Hugging Face 团队能够提高其开发速度。

实施

鉴于 Meilisearch 已在 Hugging Face 文档中实施，一旦排名和内部规则到位，将搜索解决方案扩展到其他用例就变得很顺利。

如今，Meilisearch 引擎为 Hugging Face 仓库中的 22 万个模型卡片、3.8 万个数据集和 6 万个演示提供发现能力。关键词过滤机制已在 Hugging Face 主页上实施，供熟悉特定模型名称的用户使用。

然而，随着 Meilisearch 的实施，用户还可以选择执行全文搜索。此搜索功能不仅作用于模型名称和 ID，还包括模型卡片的全部内容。

为了最大程度地减少搜索行为的改变，并让用户可以自由选择最符合其偏好的搜索体验，我们添加了“尝试全文搜索”按钮。

愿景

随着 AI 的持续发展，Hugging Face 预计搜索行为以及人们查找所需项目的方法将发生转变。Hugging Face 期待将语义搜索整合到其文档和模型卡片搜索中。目前，该平台正在积极测试 Meilisearch [VectorDB](/blog/langchain-semantic-search-tutorial/) 作为潜在解决方案之一。

Hugging Face 还预计将获得更详细的使用洞察，包括用户日常搜索模式以及特定模型卡片项目随时间推移的活跃度信息。