Hugging Face 通过 Meilisearch 提升 AI 可访问性

Hugging Face 总部位于纽约和巴黎，是一家开源机器学习技术提供商，允许用户使用 Hugging Face 开源库和 Hub 训练、部署和共享 AI 模型。

通过与 Meilisearch Cloud 合作，Hugging Face 积极履行其推进 AI 民主化的远见卓识。

“如今，Hugging Face 使用 Meilisearch 来支持 300,000 多个 AI 模型、数据集和演示的可发现性。这对于 AI 民主化非常重要，因为如果知识在那里，但你无法访问它 - 那有什么意义呢？” - Hugging Face 的软件工程师 Mishig Davaadorj

挑战

在它的平台上，Hugging Face 允许用户上传他们的 AI 模型、数据集和演示。随着活跃的用户社区不断与 Hugging Face Hub （一个用于共享和搜索机器学习工件的平台）互动，可发现性问题成为焦点。

Hugging Face Hub 托管超过 220,000 个 AI 模型，这些模型满足各种 机器学习任务，所有这些模型都整齐地存储在存储库中。这些模型存储库旨在尽可能无缝地进行模型的探索和利用。Hugging Face 存储库中的每个 AI 模型都附带一个模型卡，这是一个包含有价值的元数据的项目文件，它在增强可发现性、可重复性和共享方面起着至关重要的作用。模型卡还提供有关 AI 模型的偏见和局限性、模型描述和培训指南的重要信息，并作为用户在 Hub 上寻找模型或上传自己模型的综合指南。

在引入 Meilsearch 之前，Hugging Face 依赖于简单的过滤和关键字搜索解决方案。然而，很明显，对更灵活且容错的全文本搜索解决方案的需求日益增长。该解决方案需要确保每个搜索查询具有更高的默认相关性，并利用模型卡中存储的附加属性和元数据。

为什么 Hugging Face 选择 Meilisearch Cloud

在将 Meilisearch 集成到其 ML 模型存储库之前，Hugging Face 已经将 Meilisearch 的免费开源解决方案用作其 开源库（包括 transformers 和 diffusers）文档的搜索引擎。该文档包含大约 500 页，并且已经使用了一年多。由于该团队已经从实施和运营 Meilisearch 中获得了积极的经验，因此当模型卡搜索中出现增强可发现性的需求时，无需进行额外的测试或概念验证。

1. 排名规则的可定制性

在评估过程中，Hugging Face 团队还考虑了 Mongo Atlas Search。然而，他们对可用于排名的自定义不满意。为了增强模型卡的可发现性，考虑了几个因素，例如项目名称、描述以及每张卡上的点赞或下载次数。Meilisearch 在适应这些搜索条件方面表现出了更大的灵活性和适应性。

2. 过渡到 Meilisearh Cloud 以便易于使用

在文档中成功实施 Meilisearch 之后，Hugging Face 团队顺利过渡到将 Meilisearch Cloud 合并到他们的模型卡存储库中，从而受益于开箱即用的相关性。

3. 支持质量和基础设施外包

Hugging Face 团队选择 Meilisearch Cloud 的部分原因在于其专门的支持能力。鉴于在存储库中获得高度相关的搜索结果对 Hugging Face 至关重要，因此选择云版本的决定进一步受到将基础设施委托给 Meilisearch Cloud 专家的专业知识的影响。外包基础设施使 Hugging Face 团队能够提高其开发速度。

实施

由于 Meilisearch 已经为 Hugging Face 文档实施，因此一旦排名和内部规则到位，搜索解决方案的扩展到其他用例就很顺利了。

如今，Meilisearch 引擎为 Hugging Face 存储库中 220,000 个模型卡、38,000 个数据集和 60,000 个演示的发现提供支持。对于已经熟悉特定模型名称的用户，关键字过滤机制已在 Hugging Face 主页上实施。

然而，通过实施 Meilisearch，用户可以选择执行全文搜索。此搜索功能不仅在模型名称和 ID 上运行，还包括模型卡的整个内容。

为了尽量减少搜索行为的更改，实现了“尝试全文搜索”的附加按钮，用户可以自由选择最适合其偏好的搜索体验。

愿景

随着 AI 的不断发展，Hugging Face 预计搜索行为和人们用来查找所需项目的方法将发生变化。Hugging Face 期待将语义搜索纳入其文档和模型卡搜索。目前，该平台正在积极测试 Meilisearch [VectorDB](/blog/langchain-semantic-search-tutorial/) 作为潜在的解决方案之一。

Hugging Face 还预计将获得更详细的使用情况见解，包括有关用户每日搜索模式以及某些模型卡项目随着时间的推移所收到的活动量的信息。