2024 年 1 月 16 日

Meilisearch v1.6

Meilisearch 1.6 带来了混合搜索和索引速度的显著提升。

Carolina FerreiraMeilisearch 开发者布道师@CarolainFG

我们宣布发布 Meilisearch 1.6。让我们深入了解一些最重要的变化。您还可以在 GitHub 上查看完整的变更日志。

Meilisearch 1.6 也可在 Meilisearch Cloud 上使用，包括所有实验性功能。

实验性功能：混合搜索

Meilisearch 引入了混合搜索。它结合了全文搜索和语义搜索，以提高搜索结果的准确性和全面性。想象一下像 where2watch 这样的电影应用程序。现在，您的用户将能够找到那些他们不记得名字但记得剧情的电影。

此外，Meilisearch 现在简化了向量嵌入的创建。选择您喜欢的嵌入器，Meilisearch 将为您处理与外部工具的所有交互。

配置嵌入器

您可以在索引设置中配置嵌入器。根据您的需求，从三种类型的嵌入器中选择

openAI:

使用 OpenAI API 计算嵌入
需要 OpenAI API 密钥才能运行

huggingFace:

通过从 HuggingFace Hub 下载模型来实现本地嵌入计算
在您的 CPU 上运行，而不是在 GPU 上运行，这可能会影响索引性能

userProvided:

功能类似于 Meilisearch v1.3，但有一个关键区别：您必须定义一个特定的嵌入器
允许您将预先计算的嵌入添加到您的文档中。您使用向量而不是文本进行搜索。

要使用混合搜索，请在索引设置中定义至少一个嵌入器

{
  "embedders": {
    "default": {
      "source":  "openAi",
      "apiKey": "<your-OpenAI-API-key>",
      "model": "text-embedding-ada-002",
      "documentTemplate": "A movie titled '{{doc.title}}' whose description starts with {{doc.overview|truncatewords: 20}}"
    },
    "image": {
      "source": "userProvided",
      "dimensions": 512
    },
    "translation": {
      "source": "huggingFace",
      "model": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
      "documentTemplate": "A movie titled '{{doc.title}}' whose description starts with {{doc.overview|truncatewords: 20}}"
    }
  }
}

documentTemplate 字段充当创建文档嵌入的蓝图。它使用 Liquid 模板语言。虽然它的包含是可选的，但强烈建议使用，特别是因为嵌入模型针对简洁的文本进行了优化。它只保留必要的内容，排除像 id 这样的非必要数据，并有助于添加上下文以提高相关性。

混合搜索

要执行混合搜索，请使用 POST /index/:index_uid/search 路由中的混合字段。

{
    "q": "Plumbers and dinosaurs",
    "hybrid": {
        "semanticRatio": 0.9,
        "embedder": "default"
    }
}

embedder：您在索引设置中配置的选项中的一个嵌入器。

semanticRatio：一个介于 0 到 1 之间的浮点值；1 是一个完全语义的搜索；0 是一个精确、专注于匹配的全文搜索；默认值是 0.5，它混合了两种方法。

您对语义比率的控制直接影响搜索结果的排名方式。较高的语义比率会将重点转移到查询背后的上下文和含义，使语义上更相关的结果排名更高。

另一方面，较低的语义比率会增加排名过程中赋予关键字准确性的权重，使与您的特定搜索词密切匹配的结果位于前列。

实验性向量搜索 API 中的重大更改

Meilisearch v1.6 在向量搜索 API 中引入了一些重大更改。

以前，您可以发送向量而无需指定模型。现在，您必须在设置中定义一个模型

"embedders": {
    "default": {
      "source": "userProvided",
      "dimensions": 512
    }
}

由于 Meilisearch 现在支持多个嵌入器，因此它已将向量提交格式从数组更新为 JSON 对象。

预览格式：“_vectors”: [[0.0, 0.1]]
新格式：“_vectors”: {“image2text”: [0.0, 0.1, …]}

有关这些更新的详细信息，请参阅文档。

有关深入的技术信息，请浏览关于 Arroy 的[系列文章](/blog/spotify-inspired-hybrid-search-and-rust/?utm_campaign=release-v1-6&utm_source=blog)，这是一个基于 Spotify 的 Annoy 并用 Rust 开发的开源仓库。这个由 Meilisearch 引擎团队创建和维护的库，专门用于在空间中搜索接近指定查询向量的向量。

性能优化

提高索引速度

我们很高兴分享 Meilisearch 索引性能的重大改进。我们最近的测试，包括频繁和部分文档更新的场景，显示了令人印象深刻的结果：索引时间减少了高达 50%，在某些情况下，甚至高达 75%。

感谢我们最新的优化，Meilisearch 现在存储和预计算的数据更少。此外，在文档更新期间，它仅重新索引或删除必要的数据。例如，在电子商务数据集中，更新产品的库存水平只会重新索引“库存”字段，而不是整个产品文档。

减少磁盘空间使用量

Meilisearch 减少了内部数据存储，从而在您的磁盘上形成更紧凑的数据库大小。对于大约 15Mb 的数据集，我们观察到数据库大小减少了 40% 到 50%。

这种改进不仅减少了数据库大小，还提高了其稳定性，随着文档数量的增加，节省的空间会更加明显。

新功能：自定义接近度精度

为了进一步减少索引速度，Meilisearch 现在允许您根据特定需求调整接近度排名规则的准确性。

接近度排名规则对计算要求很高，可能导致更长的索引时间。降低其准确性可以大大提高性能，并且在大多数情况下，它不会实质性地影响结果的相关性。

要调整其影响，请配置 proximityPrecision 设置

curl 
  -X PATCH 'http://127.0.0.1:7700/indexes/books/settings/proximity-precision' 
  -H 'Content-Type: application/json'  
  --data-binary '{
    "proximityPrecision": "byAttribute"
  }'

默认的 proximityPrecision 设置为 byWord，它根据确切的单词距离计算接近度。

byAttribute 设置认为同一属性中的单词是接近的，而不管它们的确切距离如何。

使用 byAttribute 可以提高索引速度，但可能会略微改变结果的相关性。在单词彼此接近很重要的情况下，这在搜索中变得更加明显。

例如，当您浏览歌词或长篇文章时，例如尝试在一堆 Wikipedia 页面中找到“世界大战”时，您最终可能会得到包含这些单词的结果，但不一定紧挨着或按所需的顺序排列。对于短语搜索和涉及多词同义词的搜索也是如此，其中单词的特定组合至关重要。

新功能：任务队列 Webhook

Meilisearch 现在提供了一个 Webhook 功能，以便在异步任务完成（成功、失败或取消）时通知自定义 URL。

此功能对于简化工作流程特别有用，使您不必轮询任务路由。

在启动时使用这些环境变量设置您的 Webhook

MEILI_TASK_WEBHOOK_URL=https://mywebsite.com/my-super-webhook?user=1234&number=8

MEILI_TASK_WEBHOOK_AUTHORIZATION_HEADER='Bearer 12340987546wowowlolol'

您还可以使用相应的命令行选项。

设置完成后，Webhook 会以 JSON Lines (ndjson) 格式将有效负载发送到您指定的 URL，其中包含已完成的任务列表

//POST HTTP request to https://myproject.com/mywebhook?common=people

{"uid":4,"indexUid":"movie","status":"failed","type":"indexDeletion","canceledBy":null,"details.deletedDocuments":0,"error.message":"Index `movie` not found.","error.code":"index_not_found","error.type":"invalid_request","error.link":"https://docs.meilisearch.com/errors#index_not_found","duration":"PT0.001192S","enqueuedAt":"2022-08-04T12:28:15.159167Z","startedAt":"2022-08-04T12:28:15.161996Z","finishedAt":"2022-08-04T12:28:15.163188Z"}
{"uid":5,"indexUid":"movie","status":"failed","type":"indexDeletion","canceledBy":null,"details.deletedDocuments":0,"error.message":"Index `movie` not found.","error.code":"index_not_found","error.type":"invalid_request","error.link":"https://docs.meilisearch.com/errors#index_not_found","duration":"PT0.001192S","enqueuedAt":"2022-08-04T12:28:15.159167Z","startedAt":"2022-08-04T12:28:15.161996Z","finishedAt":"2022-08-04T12:28:15.163188Z"}