分词

分词是指将句子或短语拆分成更小的语言单位，称为标记 (tokens) 的行为。它是 Meilisearch 引擎中文档索引的第一步，并且是搜索结果质量的关键因素。

将句子分解为更小的块需要理解一个单词在哪里结束，另一个单词在哪里开始，这使得分词成为一项高度复杂且依赖于语言的任务。Meilisearch 针对此问题的解决方案是模块化分词器，它根据检测到的语言遵循不同的流程，称为管道。

这使得 Meilisearch 能够以多种不同的语言运行，而无需任何设置。

当您向 Meilisearch 索引添加文档时，分词过程由名为分词器的抽象接口处理。分词器负责按书写系统（例如，拉丁字母、汉字）拆分每个字段。然后，它将相应的管道应用于每个文档字段的每个部分。

我们可以像这样分解分词过程

1. 抓取文档，按脚本拆分每个字段
2. 回顾文档的每个部分，运行相应的分词管道（如果存在）

管道包括许多特定于语言的操作。目前，我们有许多管道，包括用于使用空格分隔单词的语言的默认管道，以及用于中文、日语、希伯来语、泰语和高棉语的专用管道。

有关更多详细信息，请查看分词器贡献指南。