Meilisearch v1.6

我们宣布发布 Meilisearch 1.6。让我们深入了解一些最重要的更改。您也可以在 GitHub 上查看完整更新日志。

实验性功能：混合搜索

Meilisearch 引入了混合搜索。它结合了全文搜索和语义搜索，以提高搜索结果的准确性和全面性。想象一下像 where2watch 这样的电影应用程序。现在，您的用户将能够找到那些他们不太记得名字但记得故事的电影。

此外，Meilisearch 现在简化了向量嵌入的创建。选择您偏好的嵌入器，Meilisearch 将为您处理与外部工具的所有交互。

配置嵌入器

您可以在索引设置中配置嵌入器。根据您的需求从三种类型的嵌入器中选择

openAI:

• 使用 OpenAI API 计算嵌入
• 需要 OpenAI API 密钥才能运行

huggingFace:

• 通过从 HuggingFace Hub 下载模型，实现本地嵌入计算
• 在您的 CPU 上运行，而不是 GPU 上运行，这可能会影响索引性能

userProvided:

• 功能类似于 Meilisearch v1.3，但有一个关键区别：您必须定义一个特定的嵌入器
• 允许您将预计算的嵌入添加到您的文档中。您可以使用向量而不是文本执行搜索。

要使用混合搜索，请在索引设置中定义至少一个嵌入器

{
  "embedders": {
    "default": {
      "source":  "openAi",
      "apiKey": "<your-OpenAI-API-key>",
      "model": "text-embedding-ada-002",
      "documentTemplate": "A movie titled '{{doc.title}}' whose description starts with {{doc.overview|truncatewords: 20}}"
    },
    "image": {
      "source": "userProvided",
      "dimensions": 512
    },
    "translation": {
      "source": "huggingFace",
      "model": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
      "documentTemplate": "A movie titled '{{doc.title}}' whose description starts with {{doc.overview|truncatewords: 20}}"
    }
  }
}

documentTemplate 字段充当创建文档嵌入的蓝图。它使用 Liquid 模板语言。虽然它不是必需的，但强烈建议使用，特别是考虑到嵌入模型针对简洁文本进行了优化。它仅保留必要的内容，排除非必要数据（如 id），并有助于添加上下文以提高相关性。

混合搜索

要执行混合搜索，请在 POST /index/:index_uid/search 路由中使用混合字段。

{
    "q": "Plumbers and dinosaurs",
    "hybrid": {
        "semanticRatio": 0.9,
        "embedder": "default"
    }
}

embedder：在您的索引设置中配置的选项中的一个嵌入器。

semanticRatio：一个浮点值，范围从 0 到 1；1 是完全语义搜索；0 是精确的、侧重于匹配的全文搜索；默认值为 0.5，它混合了两种方法。

您对语义比率的控制直接影响搜索结果的排名方式。较高的语义比率将重点转移到查询背后的上下文和含义，使语义上更相关的结果排名更高。

另一方面，较低的语义比率会增加关键字准确性在排名过程中的权重，将与您的特定搜索词密切匹配的结果置于最前面。

实验性向量搜索 API 中的重大更改

Meilisearch v1.6 在向量搜索 API 中引入了一些重大更改。

以前，您可以发送向量而无需指定模型。现在，您必须在设置中定义模型

"embedders": {
    "default": {
      "source": "userProvided",
      "dimensions": 512
    }
}

由于 Meilisearch 现在支持多个嵌入器，因此它已将向量提交格式从数组更新为 JSON 对象。

• 预览格式：“_vectors”: [[0.0, 0.1]]
• 新格式：“_vectors”: {“image2text”: [0.0, 0.1, …]}

有关这些更新的详细信息，请参阅文档。

有关深入的技术信息，请浏览关于 Arroy 的[系列文章](/blog/spotify-inspired-hybrid-search-and-rust/#release-v1-6&utm_source=blog)，Arroy 是一个基于 Spotify 的 Annoy 并用 Rust 开发的开源存储库。这个库由 Meilisearch 引擎团队创建和维护，专门用于在空间中搜索靠近指定查询向量的向量。

性能优化

改进的索引速度

我们很高兴分享 Meilisearch 索引性能的重大增强。我们最近的测试，包括频繁和部分文档更新的场景，显示了令人印象深刻的结果：索引时间减少高达 50%，在某些情况下，甚至高达 75%。

得益于我们最新的优化，Meilisearch 现在存储和预计算更少的数据。此外，在文档更新期间，它仅重新索引或删除必要的数据。例如，在电子商务数据集中，更新产品的库存水平会导致仅重新索引“库存”字段，而不是整个产品文档。

磁盘空间使用量减少

Meilisearch 减少了内部数据存储，从而使磁盘上的数据库大小更紧凑。对于大约 15Mb 的数据集，我们观察到数据库大小减少了 40% 到 50%。

此增强功能不仅减少了数据库大小，而且还提高了其稳定性，随着文档数量的增加，节省空间的效果更加明显。

新功能：自定义邻近精度

为了进一步提高索引速度，Meilisearch 现在允许您根据您的特定需求定制 邻近排名规则 的准确性。

邻近排名规则计算量大，可能导致索引时间延长。降低其准确性可以大大提高性能，并且在大多数情况下，它不会显着影响结果的相关性。

要调整其影响，请配置 proximityPrecision 设置

curl 
  -X PATCH 'http://#:7700/indexes/books/settings/proximity-precision' 
  -H 'Content-Type: application/json'  
  --data-binary '{
    "proximityPrecision": "byAttribute"
  }'

默认的 proximityPrecision 设置是 byWord，它基于确切的单词距离计算邻近度。

byAttribute 设置认为同一属性中的单词是邻近的，而不管它们的实际距离如何。

使用 byAttribute 可以提高索引速度，但可能会稍微改变结果的相关性。在单词彼此靠近很重要的情况下，这变得更加明显。

例如，当您浏览歌词或长篇文章时，例如尝试在一堆维基百科页面中查找“world war”时，您最终可能会得到包含这些词的结果，但不一定彼此靠近或按所需的顺序排列。对于短语搜索和涉及多词同义词的搜索也是如此，在这些搜索中，单词的特定组合至关重要。

新功能：任务队列 Webhook

Meilisearch 现在提供了一个 Webhook 功能，用于在异步任务完成（成功、失败或取消）时通知自定义 URL。

此功能对于简化工作流程特别有用，使您无需轮询任务路由。

在启动时使用这些环境变量设置您的 Webhook

MEILI_TASK_WEBHOOK_URL=https://mywebsite.com/my-super-webhook?user=1234&number=8

MEILI_TASK_WEBHOOK_AUTHORIZATION_HEADER='Bearer 12340987546wowowlolol'

您也可以使用相应的命令行选项。

设置完成后，Webhook 会以 JSON Lines (ndjson) 格式 向您指定的 URL 发送有效负载，其中包含已完成任务的列表

//POST HTTP request to https://myproject.com/mywebhook?common=people

{"uid":4,"indexUid":"movie","status":"failed","type":"indexDeletion","canceledBy":null,"details.deletedDocuments":0,"error.message":"Index `movie` not found.","error.code":"index_not_found","error.type":"invalid_request","error.link":"https://docs.meilisearch.com/errors#index_not_found","duration":"PT0.001192S","enqueuedAt":"2022-08-04T12:28:15.159167Z","startedAt":"2022-08-04T12:28:15.161996Z","finishedAt":"2022-08-04T12:28:15.163188Z"}
{"uid":5,"indexUid":"movie","status":"failed","type":"indexDeletion","canceledBy":null,"details.deletedDocuments":0,"error.message":"Index `movie` not found.","error.code":"index_not_found","error.type":"invalid_request","error.link":"https://docs.meilisearch.com/errors#index_not_found","duration":"PT0.001192S","enqueuedAt":"2022-08-04T12:28:15.159167Z","startedAt":"2022-08-04T12:28:15.161996Z","finishedAt":"2022-08-04T12:28:15.163188Z"}

实验性功能：限制批量任务的数量

为了加快索引过程，Meilisearch 以大批量处理相似的任务。但是，过多的排队任务有时会导致崩溃或停顿。

要控制批量任务的数量，请在启动时使用命令行参数 --experimental-max-number-of-batched-tasks、MEILI_EXPERIMENTAL_MAX_NUMBER_OF_BATCHED_TASKS 环境变量或配置文件设置限制。

致谢贡献者

我们非常感谢所有参与此版本的社区成员。我们要感谢 @Karribalu 和 @vivek-26 在 Meilisearch 方面的帮助。我们还要特别感谢我们的 SDK 维护者 🦸

这就是 v1.6 的全部内容！此版本帖子重点介绍了最重要的更新。有关详尽的列表，请阅读 Github 上的更新日志。

订阅新闻通讯，随时了解 Meilisearch 的一切动态。要了解有关 Meilisearch 未来的更多信息并帮助塑造它，请查看我们的路线图并参与我们的产品讨论。

如有其他任何问题，请加入我们在 Discord 上的开发者社区。