使用 Voyage AI 嵌入进行语义搜索
介绍
本指南将引导您完成使用 Voyage AI 嵌入设置 Meilisearch 的过程，以实现语义搜索功能。通过利用 Meilisearch 的 AI 功能和 Voyage AI 的嵌入 API，您可以增强搜索体验并检索更相关的结果。
要求
要遵循本指南，您需要
- 一个运行 1.10 或更高版本的 Meilisearch Cloud 项目，并启用了向量存储。
- 一个 Voyage AI 帐户，其中包含用于生成嵌入的 API 密钥。您可以在 Voyage AI 上注册 Voyage AI 帐户。
- 不需要后端。
设置 Meilisearch
要在 Meilisearch 中设置嵌入器，您需要将其配置为您的设置。您可以参考 Meilisearch 文档 以获取有关更新嵌入器设置的更多详细信息。
Voyage AI 提供以下嵌入模型
voyage-large-2-instruct：1024 维度voyage-multilingual-2：1024 维度voyage-large-2：1536 维度voyage-2：1024 维度
以下是一个用于 Voyage AI 的嵌入器设置示例
{
"voyage": {
"source": "rest",
"apiKey": "<Voyage AI API Key>",
"dimensions": 1024,
"documentTemplate": "<Custom template (Optional, but recommended)>",
"url": "https://api.voyageai.com/v1/embeddings",
"request": {
"model": "voyage-2",
"input": ["{{text}}", "{{..}}"]
},
"response": {
"data": [
{
"embedding": "{{embedding}}"
},
"{{..}}"
]
}
}
}
在此配置中
source：指定嵌入器的来源，对于使用 REST API，将其设置为“rest”。apiKey：将<Voyage AI API 密钥>替换为您的实际 Voyage AI API 密钥。dimensions：指定嵌入的维度。对于voyage-2、voyage-large-2-instruct和voyage-multilingual-2设置为 1024，或者对于voyage-large-2设置为 1536。documentTemplate：可选地，您可以提供一个 自定义模板 用于从您的文档生成嵌入。url：指定 Voyage AI API 端点的 URL。request：定义 Voyage AI API 的请求结构，包括模型名称和输入参数。response：定义 Voyage AI API 的预期响应结构，包括嵌入数据。
配置好嵌入器设置后，Meilisearch 将自动为您的文档生成嵌入并将它们存储在向量存储中。
请注意，大多数第三方工具都有速率限制，由 Meilisearch 管理。如果您拥有免费帐户，索引过程可能需要一些时间，但 Meilisearch 将使用重试策略来处理它。
建议您监控任务队列以确保一切正常运行。您可以使用 Cloud UI 或 Meilisearch API 访问任务队列。
测试语义搜索
设置好嵌入器后，您现在可以使用 Meilisearch 执行语义搜索。当您发送搜索查询时，Meilisearch 将使用已配置的嵌入器为查询生成嵌入，然后使用它在向量存储中查找语义上最相似的文档。要执行语义搜索，您只需发出正常搜索请求，但要包含 hybrid 参数
{
"q": "<Query made by the user>",
"hybrid": {
"semanticRatio": 1,
"embedder": "voyage"
}
}
在此请求中
q：表示用户的搜索查询。hybrid：指定混合搜索的配置。semanticRatio：允许您控制语义搜索和传统搜索之间的平衡。值为 1 表示纯语义搜索，而值为 0 表示全文搜索。您可以调整此参数以实现混合搜索体验。embedder：用于生成嵌入的嵌入器的名称。确保使用与嵌入器配置中指定的名称相同，在本例中为“voyage”。
您可以使用 Meilisearch API 或客户端库执行搜索并根据语义相似性检索相关文档。
结论
通过遵循本指南，您现在应该已将 Meilisearch 与 Voyage AI 嵌入设置好，使您能够在应用程序中利用语义搜索功能。Meilisearch 的自动批处理和对嵌入的有效处理使其成为将语义搜索集成到您的项目中的强大选择。
要探索有关嵌入器的更多配置选项，请查阅 有关嵌入器设置可能性的详细文档.