索引
分词
分词是将句子或短语拆分为更小的语言单位的过程。在索引文档时，这是一个至关重要的步骤。
分词是将句子或短语拆分为更小的语言单位（称为词元）的行为。它是 Meilisearch 引擎中文档索引的第一步，也是影响搜索结果质量的关键因素。
将句子分解成更小的块需要理解一个词在哪里结束，另一个词在哪里开始，这使得分词成为一项高度复杂且依赖于语言的任务。Meilisearch 解决此问题的方法是使用一个模块化分词器，它根据检测到的语言遵循不同的过程，这些过程称为管道。
这使得 Meilisearch 能够在无需任何设置的情况下支持多种不同语言。
深入探讨：Meilisearch 分词器
当你将文档添加到 Meilisearch 索引时，分词过程由一个名为分词器的抽象接口处理。分词器负责按书写系统（例如，拉丁字母、汉字）拆分每个字段。然后，它将相应的管道应用于每个文档字段的每个部分。
我们可以将分词过程分解如下：
- 抓取文档，按脚本拆分每个字段
- 逐部分遍历文档，运行相应的分词管道（如果存在）
管道包含许多语言特定的操作。目前，我们有多种管道，包括一个用于使用空格分隔单词的语言的默认管道，以及针对中文、日文、希伯来语、泰语和高棉语的专用管道。
欲了解更多详情，请查阅分词器贡献指南。