Hugging Face 通过 Meilisearch 促进 AI 可访问性

Hugging Face 总部位于纽约和巴黎，是一家开源机器学习技术提供商，允许用户使用 Hugging Face 开源库和 Hub 训练、部署和共享 AI 模型。

通过与 Meilisearch Cloud 合作，Hugging Face 积极履行其推动 AI 民主化的远景承诺。

“如今，Hugging Face 使用 Meilisearch 来支持发现超过 30 万个 AI 模型、数据集和演示。这对 AI 民主化非常重要，因为如果知识在那里，但你无法访问它 - 那有什么意义呢？” - Mishig Davaadorj，Hugging Face 软件工程师

挑战

在 Hugging Face 平台上，用户可以上传他们的 AI 模型、数据集和演示。 随着充满活力的用户社区不断与 Hugging Face Hub（一个用于共享和搜索机器学习工件的平台）互动，可发现性问题成为中心。

Hugging Face Hub 托管超过 22 万个 AI 模型，这些模型适用于各种机器学习任务，所有模型都整齐地存储在仓库中。 这些模型仓库旨在使模型的探索和利用尽可能无缝。 Hugging Face 仓库中的每个 AI 模型都附带一个模型卡，这是一个包含有价值元数据的项目文件，它在增强可发现性、可重复性和共享方面起着至关重要的作用。 模型卡还提供有关 AI 模型偏差和限制、模型描述和培训指南的重要信息，并作为用户在 Hub 上查找模型或上传自己的模型的综合指南。

在引入 Meilisearch 之前，Hugging Face 依赖于简单的过滤和关键字搜索解决方案。 然而，越来越明显的是，人们对更灵活且容错能力更强的全文搜索解决方案的需求不断增长。 该解决方案需要确保每个搜索查询具有更高的默认相关性，并利用模型卡中存储的附加属性和元数据。

为什么 Hugging Face 选择 Meilisearch Cloud

在将 Meilisearch 集成到其 ML 模型仓库之前，Hugging Face 已经在使用 Meilisearch 的免费开源解决方案作为其开源库文档（包括 transformers 和 diffusers）的搜索引擎。 该文档包含大约 500 页，并且已经使用了一年多。 由于团队已经从实施和运营 Meilisearch 中获得了积极的经验，因此当模型卡搜索中需要增强可发现性时，无需进行额外的测试或概念验证。

1. 排名规则的可定制性

在评估过程中，Hugging Face 团队还考虑了 Mongo Atlas Search。 然而，他们对排名可用的自定义项不满意。 为了增强模型卡的可发现性，考虑了几个因素，例如项目名称、描述以及每张卡的点赞数或下载数。 Meilisearch 在适应这些搜索条件方面表现出更大的灵活性和适应性。

2. 过渡到 Meilisearch Cloud 以获得易用性

在文档中成功实施 Meilisearch 后，Hugging Face 团队顺利过渡到将 Meilisearch Cloud 纳入其模型卡仓库，并受益于开箱即用的相关性。

3. 支持质量和基础设施外包

Hugging Face 团队选择 Meilisearch Cloud，部分原因是其专门的支持能力。 鉴于在仓库中获得高度相关的搜索结果对于 Hugging Face 至关重要，选择 Cloud 版本的决定进一步受到将基础设施委托给 Meilisearch Cloud 专家的专业知识的影响。 外包基础设施使 Hugging Face 团队能够提高其开发速度。

实施

由于 Meilisearch 已为 Hugging Face 文档实施，因此一旦排名和内部规则到位，搜索解决方案扩展到其他用例就很顺利。

如今，Meilisearch 引擎支持在 Hugging Face 仓库中发现 22 万个模型卡、3.8 万个数据集和 6 万个演示。 关键字过滤机制已经实现在 Hugging Face 首页上，供已经熟悉特定模型名称的用户使用。

然而，随着 Meilisearch 的实施，用户可以选择执行全文搜索。 此搜索功能不仅适用于模型名称和 ID，还包括模型卡的全部内容。

为了最大限度地减少搜索行为的更改，实施了“尝试全文搜索”的附加按钮，用户可以自由选择最符合自己偏好的搜索体验。

愿景

随着 AI 的不断发展，Hugging Face 预计搜索行为以及人们用来查找所需项目的方法将发生转变。 Hugging Face 期待将语义搜索融入其文档和模型卡搜索中。 目前，该平台正在积极测试 Meilisearch [VectorDB](/blog/langchain-semantic-search-tutorial/) 作为潜在的解决方案之一。

Hugging Face 还预计将获得更详细的使用情况洞察，包括有关用户日常搜索模式以及某些模型卡项目随时间推移获得的活动级别的信息。