索引最佳实践
在本指南中,您将找到一些最佳实践,以高效地索引您的数据并加快索引过程。
定义可搜索属性
检查您的可搜索属性列表,并确保其中仅包含您希望检查查询词匹配的字段。 这通过从数据库中删除不相关的数据,提高了相关性和搜索速度。 这还将使您的磁盘使用量保持在必要的最低水平。
默认情况下,所有文档字段都是可搜索的。 Meilisearch 需要索引的字段越少,索引过程就越快。
检查可过滤和可排序属性
某些文档字段对于过滤和排序结果是必要的,但它们不需要是可搜索的。 通常,数字和布尔字段属于此类。 确保检查您的可搜索属性列表,并删除任何仅用于过滤或排序的字段。
在添加文档之前配置索引
创建新索引时,首先配置其设置,然后再添加文档。 每当您更新排名规则等设置时,Meilisearch 都会触发所有文档的重新索引。 这可能是一个耗时的过程,尤其是在您拥有大型数据集的情况下。 因此,最好在索引数据之前定义排名规则和其他设置。
优化文档大小
较小的文档处理速度更快,因此请确保减少文档中任何不必要的数据。 当文档字段从可搜索、可过滤、可排序或可显示属性列表中缺失时,最好将其从文档中删除。 为了更进一步,请考虑使用 br
、deflate
或 gzip
等方法压缩您的数据。 请查阅支持的编码格式参考。
优先使用更大的 HTTP 负载
单个较大的 HTTP 负载比多个较小的负载处理速度更快。 例如,分两批添加相同的 100,000 个文档(每批 50,000 个文档)比分四批添加(每批 25,000 个文档)更快。 默认情况下,Meilisearch 将最大负载大小设置为 100MB,但如果需要,您可以更改此值。
警告
较大的负载会消耗更多 RAM。 如果实例需要的内存超出机器当前可用内存,则可能会崩溃。
保持 Meilisearch 最新
确保保持您的 Meilisearch 实例为最新,以受益于最新的改进。 您可以在 GitHub 上查看我们所有引擎版本的列表。
注意
有关索引如何在底层工作的更多信息,请查看这篇关于索引最佳实践的博客文章。
不要将 Meilisearch 用作您的主数据库
Meilisearch 针对信息检索进行了优化,并非旨在作为您的主数据容器。 您添加的文档越多,索引和搜索所需的时间就越长。 仅索引您在搜索时想要检索的文档。
为多种语言创建单独的索引
如果您有多种语言的数据集,请为每种语言创建一个单独的索引。
移除 I/O 操作限制
确保您的机器上没有 I/O 操作限制。 云提供商(例如 AWS 的 Amazon EBS 服务)施加的限制可能会严重影响索引性能。
考虑升级到配备 SSD、更多 RAM 和多线程处理器的机器
如果您已遵循本指南中的先前提示,但仍然遇到索引速度缓慢的问题,请考虑升级您的机器。
索引是内存密集型和多线程操作。 可用的内存和处理器核心越多,Meilisearch 索引新文档的速度就越快。 当尝试提高索引速度时,使用具有更多处理器核心的机器比增加 RAM 更有效。
由于 Meilisearch 的工作方式,最好避免使用 HDD(硬盘驱动器),因为它们很容易成为性能瓶颈。
在使用 AI 驱动的搜索时启用二进制量化
如果您在为 AI 驱动的搜索索引文档时遇到性能问题,请考虑为您的嵌入器启用二进制量化。 二进制量化通过使用 1 位值表示每个维度来压缩向量。 这会降低语义搜索结果的相关性,但会大大提高性能。
二进制量化最适用于包含超过 100 万个文档并使用超过 1400 个维度的模型的大型数据集。
二进制量化是不可逆的过程
激活二进制量化是不可逆的。 启用后,Meilisearch 会转换所有向量并丢弃所有不适合 1 位内的向量数据。 恢复向量原始值的唯一方法是在新的嵌入器中重新向量化整个索引。