什么是语义搜索？它是如何工作的，用例及更多

语义搜索是一种文本搜索方法，它侧重于理解用户查询背后的搜索意图和上下文含义，而不是简单地匹配关键词。

语义搜索利用机器学习 (ML) 和自然语言处理 (NLP) 技术，并结合查询分析、向量嵌入和知识图谱等过程，以提供高度相关的结果。

这项技术广泛应用于各行各业，包括电子商务、搜索引擎和内部网站搜索，以提高产品发现、内容检索和用户满意度。

语义搜索与向量搜索的不同之处在于，它使用更广泛的方法来推断用户意图，包括文本嵌入、向量搜索方法和知识图谱。与依赖精确匹配的关键词搜索不同，语义搜索分析语义和上下文，以提供更有意义和更相关的结果。

本文深入探讨了语义搜索，从其基本概念到其工作原理、主要应用以及相对于传统搜索方法的优势。无论您是开发人员、ML 专业人员还是 CTO，本文都提供了对语义搜索理论和实践方面的全面理解。

什么是语义搜索？

语义搜索是一种基于查询意图和上下文含义搜索数据的方法。它超越了关键词匹配，并提供比词汇或句法搜索方法更相关的结果。

语义搜索是一种至关重要的搜索方法，因为它弥合了人类思维方式与机器理解自然语言方式之间的差距。人类的意图通常取决于上下文字信息，而这些信息并未在文字中表达出来。语义搜索试图识别意图和语义信息，并帮助机器更准确地响应用户查询。

语义搜索与传统的搜索方法（如句法和词汇匹配）不同。与句法匹配不同，语义搜索不完全依赖关键词匹配。相反，它使用先进的方法，如上下文词嵌入、向量相似性、知识图谱等，来推断查询的语义含义。

例如，如果用户搜索“价格实惠且相机好的智能手机”，句法搜索引擎只会搜索关键词“价格实惠”、“相机好”等。

另一方面，语义搜索将理解您想要一部价格适中的手机，但相机效果良好。即使结果不包含“价格实惠”和“相机好”等确切关键词，它也会优先推荐相机功能出色的经济型手机的结果。

现在您已经了解了什么是语义搜索，接下来让我们看看它是如何工作以检索最相关的结果的。

语义搜索是如何工作的？

语义搜索涉及以下一个或多个步骤

• 查询分析：语义搜索将查询分解为其基本组成部分，包括关键词、实体和短语。查询分析涉及 NLP 方法，如分词、词性标注和命名实体识别。例如，在查询“最适合游戏的笔记本电脑”中，NLP 将“笔记本电脑”识别为主要实体，将“游戏”识别为意图驱动因素。通过理解关系，例如游戏对高内存、处理能力和 GPU 功能的需求，搜索可以推断出超出字面查询的意图。
• 向量嵌入：通过查询分析识别的关键词和短语使用向量嵌入方法投影到高维向量空间中。向量嵌入涉及先进的深度学习模型，如 BERT 和 word2vec，以生成文本的数字表示。通过向量嵌入，类似“游戏”和“GPU”等词语在高维空间中被放置在一起，从而实现语义理解。
• 计算向量相似度：在此步骤中，使用余弦相似度等技术匹配查询和文档的高维嵌入向量。这些技术测量高维空间中向量之间的角度，识别与查询意图最密切相关的文档。这确保了结果不限于精确的关键词匹配，而是包括概念上相关的文档。
• 知识图谱：知识图谱创建一个包含语义信息的结构化网络。它将文本信息表示为图中的节点和边。虽然向量嵌入捕获语义相似性，但知识图谱通过链接相关概念来增加上下文和推理层。例如，知识图谱可以将“笔记本电脑”连接到“处理器”、“RAM”和“GPU”，建立增强查询理解的关系。Neo4j 等图数据库通常用于实现语义搜索的知识图谱。
• 结果重排序：通过向量相似度搜索或知识图谱检索到的文档根据语义相关性、用户上下文和偏好进行重排序，确保最相关的响应首先显示。推荐系统和排序算法通常用于重排序步骤。

语义搜索有哪些用例？

语义搜索的应用范围广泛，从电子商务和搜索引擎到医疗保健和教育等各个行业。

下图显示了语义搜索的主要用例。

我们将在以下章节中讨论三个主要的语义搜索用例。

电子商务

语义搜索通过更好地理解查询的含义，改进了电子商务应用中的产品发现。即使搜索词不完全精确，它也可以帮助检索最准确和最相关的结果。

例如，对于“耐用的徒步背包”之类的查询，语义搜索将检索用坚固材料、加固缝线和多个隔层制成的背包的结果，即使关键词与查询不完全匹配。

像 Meilisearch 这样的平台在电子商务应用中集成了语义搜索，返回闪电般快速的搜索查询结果，改善客户体验并提高销售额。

搜索引擎

语义搜索彻底改变了搜索引擎检索和排列用户搜索查询结果的方式。

例如，如果用户搜索“我附近最好的徒步地点”，传统的搜索引擎将返回包含查询关键词的结果。

另一方面，由语义搜索驱动的搜索引擎将理解用户想要了解用户地理位置附近、用户评价良好且具有露营和观光等活动的徒步地点。

来源

语义搜索也非常适合为推荐提供支持。在上面的示例中，搜索引擎理解“漫威”与漫威电影宇宙和漫画改编电影类型都相关联，因此它可以向用户推荐这两者的示例。

内部网站搜索

语义搜索通过帮助用户快速找到最相关的信息来增强内部网站搜索。

例如，大型组织中的员工可能会在公司内网上搜索“年假政策”。传统的搜索可能会返回包含关键词“年度”、“休假”和“政策”的结果，即使这些结果不包含任何关于年假政策的信息。

然而，语义搜索引擎理解用户搜索人力资源文件中关于休假政策的意图，并将返回相应的人力资源文件。

语义搜索有哪些示例？

大多数需要搜索功能的高级应用程序都嵌入了语义搜索，以提供最相关的结果，从而改善客户体验。

语义搜索的一些示例包括

视频流媒体网站：Netflix、亚马逊 Prime 和 Disney Hotstar 等视频流媒体网站实施语义搜索，以检索与用户查询最匹配的响应。您经常看到 Netflix 在您搜索的电影不可用时推荐类似的电影。Netflix 理解您搜索特定类型电影的意图。

电子商务网站：亚马逊 是实施语义搜索以返回与用户查询最相关的产品的电子商务网站的主要示例。例如，假设您搜索“最适合游戏的笔记本电脑”。在这种情况下，亚马逊会返回具有高性能 GPU、快速处理速度和充足 RAM 的笔记本电脑，因为亚马逊理解游戏笔记本电脑必须具有这些规格。

旅游网站：语义搜索为 Booking.com 和 Expedia 等旅游网站提供支持，根据搜索者的意图推荐目的地、酒店或活动。例如，搜索“最适合家庭的滑雪胜地”将返回医疗保健良好且家庭氛围友好的度假村，即使这些结果不包含搜索的关键词。

在下一节中，您将看到语义搜索相对于传统搜索方法的一些优势。

语义搜索有哪些优势？

语义搜索相对于传统的搜索方法具有多项优势，如下图所示

让我们更深入地探讨这些优势

• 提高结果相关性：语义搜索通过更好地理解用户的意图和查询上下文，提高了搜索结果的相关性。
• 增强用户体验：语义搜索通过检索更相关的结果来改善用户体验。即使使用部分或不清晰的搜索查询，语义搜索也比传统搜索方法检索到更准确的响应。
• 个性化：语义搜索结合了过去的搜索、用户偏好和位置数据，以提供更个性化的用户查询响应。
• 跨语言理解：语义搜索可以理解一种语言的查询，并以另一种语言返回响应，从而弥合语言障碍。
• 可扩展性和效率：由于先进的 ML 和 NLP 方法，如向量嵌入和向量相似度搜索，语义搜索非常适合从小型网站到企业应用程序的所有应用程序。

虽然语义搜索具有优势，但它也有一些缺点，我们将在接下来讨论。

语义搜索有哪些缺点？

语义搜索带来了一些特定的挑战和限制，如下图所示

让我们详细阐述这些挑战。

• 复杂性：语义搜索方法结合了复杂的 ML 和 NLP 方法。自行实施语义搜索系统可能很复杂且耗时。
• 资源密集型：语义搜索应用程序依赖于 ML 和 NLP 技术，这需要大量的计算能力才能运行。
• 需要高质量的数据：语义搜索解决方案需要高质量、良好标注的数据集进行训练。质量差的数据集可能导致性能不佳，从而影响搜索结果的准确性和相关性。
• 隐私问题：语义搜索系统通常依赖于个人用户数据，如搜索历史、偏好、位置和行为模式，以提高相关性和个性化。然而，这可能会导致隐私问题。产品经理、数据工程师和法律团队必须协作确定语义搜索系统在多大程度上被授权访问个人数据，同时确保符合 GDPR 和 CCPA 法规。

开发内部语义搜索解决方案可能成本高昂、耗时且资源密集。像 Meilisearch 这样的工具提供了开箱即用的解决方案，用于在您的应用程序中集成语义搜索，从而节省您的时间和人力。

下一节将向您展示如何使用 Meilisearch 实施语义搜索解决方案。

如何实施语义搜索？

本教程将指导您通过三个简单的步骤使用 Meilisearch Python SDK 构建语义搜索

• 注册 Meilisearch Cloud 以获取 API 密钥。
• 在本地设置 Meilisearch 实例（可选）。
• 开发 Python 脚本以上传文档并执行语义查询。

我们将使用包含 30 本不同书籍信息的 JSON。然后，我们将使用 Meilisearch 的功能从向量数据库进行语义查询，以获得准确的输出。让我们了解一下如何操作。

注册 Meilisearch Cloud

要将语义搜索集成到您的工作流程中，请创建一个免费的 Meilisearch Cloud 帐户，并享受 14 天的试用期。您可以使用 GitHub、Google 或工作电子邮件轻松注册。注册后，您将立即获得启动您的第一个项目的权限，使用以下计划之一。

选择计划后，您将获得对项目详细信息和 API 密钥的访问权限。主密钥对于将 Meilisearch 连接到您的本地环境至关重要。

在本地设置 Meilisearch 实例

请注意，此步骤不是强制性的。您可以使用 Meilisearch Cloud 作为您的服务器；但是，最好先在本地机器上测试工作流程以进行开发。在您的计算机上安装实例可以为您提供更大的构建自由，并无缝添加文档。让我们从在本地安装 Meilisearch 开始

# Install Meilisearch
curl -L https://install.meilisearch.com | sh

安装完成后，您将看到以下消息

现在，您应该能够使用您的主 API 密钥使用以下命令启动 Meilisearch

# Launch Meilisearch
./meilisearch --master-key="a864f…c"

您将收到以下消息，表明您正在您的机器上运行 Meilisearch 实例

本指南将使用 Python SDK 包将文档上传到我们刚刚创建的 Meilisearch 实例。如果您想继续使用 cURL 命令和其他编程语言，您可以按照本教程进行操作。

使用 Python 上传和检索信息

以下步骤应在 Meilisearch 实例激活时执行。因此，最好打开第二个终端来安装依赖项并运行 Python 代码。首先，我们必须通过 pip 安装 Meilisearch Python 包

pip3 install meilisearch

我们需要上传将被嵌入和查询的文档。在本例中，我们正在为书籍构建语义搜索。我们将使用一个 JSON 文件，其中包含索引编制的基本详细信息，包括标题、描述、类型和一个用于准确索引编制的 ID。以下是我们将嵌入的 JSON 文件的预览

{
  "books": [
    {
      "id": 1,
      "title": "The Great Gatsby",
      "description": "A story of decadence and excess, following the mysterious millionaire Jay Gatsby and his obsession with the beautiful Daisy Buchanan.",
      "genre": "Literary Fiction"
    },
    {
      "id": 2,
      "title": "Dune",
      "description": "Set in a distant future, the story follows Paul Atreides, whose family accepts stewardship of the dangerous desert planet Arrakis.",
      "genre": "Science Fiction"
    },
    {
      "id": 3,
      "title": "The Hobbit",
      "description": "A fantasy novel about the adventures of hobbit Bilbo Baggins, who embarks on a quest to help a group of dwarves reclaim their mountain home.",
      "genre": "Fantasy"
    }
}

目前，创建向量存储以上传文档仍然是一项实验性功能。为了避免在运行上述脚本时出错，您必须首先执行以下脚本

import requests

token = "a864f...c"
requests.patch(
    f"http://localhost:7700/experimental-features",
    headers={"Authorization": f"Bearer {token}"},
    json={"vectorStore": True},
    timeout=10,
)

激活向量存储后，我们将能够使用 Langchain Python 库在数据库中创建和嵌入文档

pip install langchain-community langchain_openai

使用 Langchain，我们可以使用 JSONLoader 生成文档，并在嵌入器的帮助下存储它们，因为我们想要创建语义搜索并获得超出基本相似性和其他数学运算的上下文响应。最好使用更高级的嵌入模型，例如 OpenAI 的 text-embedding-3-small，这非常适合需要精度和嵌入大型文件的任务。

import os
from langchain_community.vectorstores import Meilisearch
from langchain_openai import OpenAIEmbeddings
from langchain_community.document_loaders import JSONLoader

# Load environment variables
os.environ["MEILI_HTTP_ADDR"] = "http://localhost:7700/"
os.environ["MEILI_MASTER_KEY"] = "a864f…c"

# Load documents
loader = JSONLoader(
    file_path="books.json",
    jq_schema=".[] | {id: .id, title: .title, description: .description, genre: .genre}",
    text_content=False,
)
documents = loader.load()
print(f"Loaded {len(documents)} documents")

# Initialize embeddings
embeddings = OpenAIEmbeddings(
    model="text-embedding-3-small",
    api_key="sk…A")

# Configure embedders
embedders = {
    "openai": {
        "source": "openAi",
        "apiKey": "sk…A",
        "dimensions": 1536,
        "documentTemplate": "A book with the name {{doc.title}}.",
        "model": "text-embedding-3-small"
    }
}
embedder_name = "openai"

# Store documents in Meilisearch
vector_store = Meilisearch.from_documents(
    documents=documents,
    embedding=embeddings,
    embedders=embedders,
    embedder_name=embedder_name)
  

通过运行上述脚本，我们获得了一个 vector_store 对象，该对象将用于查询数据库。此外，如果您检查您的 Meilisearch 服务器，所有文档应该都已经上传。

每个文档代表一个单独的记录，其中包含 JSON 文件中的字段。文档被组织成索引，索引就像集合。在本例中，我们将使用索引 langchain-demo。如果您想上传到您的 Meilisearch Cloud，只需将 MEILI_HTTP_ADDR 替换为云仪表板中您的项目的 URL 即可。

要基于语义含义查询向量空间，我们只需要使用先前创建的 vector_store 对象并应用相似度搜索。

query = "I'm looking for a book with star wars vibes"

result = vector_store.search(
    query,
    opt_params={"hybrid": {"semanticRatio": 1.0, "embedder": "openai"}},
    search_type="similarity", embedder_name="openai", k=5)

如果您想要更多结果，可以增加“k”的数量。对于此查询，输出的书籍是

{"id": 11, "title": "Foundation", "description": "A mathematician develops a science to predict the future behavior of large populations and foresees the collapse of the Galactic Empire.", "genre": "Science Fiction"}
{"id": 2, "title": "Dune", "description": "Set in a distant future, the story follows Paul Atreides, whose family accepts stewardship of the dangerous desert planet Arrakis.", "genre": "Science Fiction"}
{"id": 17, "title": "The Shadow of the Wind", "description": "In post-war Barcelona, a young boy discovers a mysterious book that leads him into a labyrinth of secrets and buried mysteries.", "genre": "Historical Fiction"}
{"id": 6, "title": "1984", "description": "A dystopian social science fiction novel that follows Winston Smith and his rebellion against the totalitarian government that controls their society.", "genre": "Dystopian Fiction"}
{"id": 21, "title": "Red Rising", "description": "A lowborn miner infiltrates the elite class of a color-coded society on Mars to bring about revolution.", "genre": "Science Fiction"}

如您所见，没有一个输出明确提及《星球大战》，但嵌入模型有效地捕获了向量空间中查询和文档的上下文含义。这导致了五本书与输入非常吻合。

最佳语义搜索模型是什么？

最佳语义搜索模型取决于性能、成本、隐私和基础设施要求。

语义搜索模型可以分为两类

专有模型

专有语义搜索模型是付费解决方案，通常部署在模型开发人员提供的云平台上。例如，OpenAI 提供 最先进的语义搜索模型，包括“text-embedding-3-small”和“text-embedding-3-large”。同样，Cohere 的“embed-multi-language”和“embed-english”模型也表现良好。

虽然专有模型提供卓越的性能，但它们通常需要将您的数据上传到提供商的服务器，例如 OpenAI 的云基础设施。此外，这些模型可能很昂贵。

开源模型

开源语义模型为语义搜索的实施提供了一种可访问、安全且经济高效的方法。根据 MTEB 排行榜，一些开源模型在各种基准测试中与专有模型表现相当。

开源模型唯一的缺点是您可能需要部署您的基础设施才能在本地运行它们。一些标准的开源语义搜索模型包括 NV-Embed-v2、gte-Qwen2-7B-instruct 和 bge-large-en-v1.5。

选择最佳语义搜索模型取决于相关性、搜索性能、索引速度和成本。基于云的服务（如 Cohere 和 OpenAI）因其易用性和高相关性而非常出色。本地部署的开源模型可以免费使用，并提供最快的搜索延迟，但在硬件有限的情况下，性能和索引编制可能会面临挑战。

最终，最佳语义搜索模型取决于您的用例、预算和性能需求。基于云的解决方案是许多应用的良好起点。

语义搜索与关键词搜索有何不同？

语义搜索和关键词搜索在检索信息的方式上存在显著差异。关键词搜索依赖于查询和数据集之间的精确单词或短语匹配，而语义搜索则使用先进的 ML 和 NLP 方法来解释用户意图和上下文。

语义搜索和关键词搜索之间的主要区别如下所示

语义搜索与词汇搜索有何不同？

语义搜索和词汇搜索之间的差异与语义搜索和关键词搜索之间的差异类似。词汇搜索使用精确的关键词或字符匹配来检索结果。语义搜索依赖于 ML 和 NLP 技术。

语义搜索和词汇搜索之间的主要区别如下所示

语义搜索与上下文搜索有何不同？

上下文搜索依赖于用户的上下文信息，如位置和历史记录，以检索最相关的结果。虽然语义搜索主要通过 ML 技术提取用户的意图，但它也可以结合上下文信息来检索相关文档。

语义搜索和上下文搜索之间的主要区别如下

语义搜索与向量搜索有何不同？

语义搜索和向量搜索具有某些共同特征，但在范围和应用上有所不同。如前一节所述，向量搜索将文本表示为高维数学向量，以使用 K 最近邻、欧几里得或曼哈顿距离等技术计算向量相似度。

下图显示了向量搜索中涉及的步骤

相反，语义搜索具有更广泛的范围。它可以结合向量搜索以及其他技术，如知识图谱和文本嵌入，以识别用户的意图并检索最相关的结果。

语义搜索和向量搜索之间的主要区别如下所示

虽然语义搜索采用更广泛的上下文感知方法进行信息检索，但对于特定的用例，向量搜索相对于语义搜索具有多项优势。

例如，向量搜索非常适合需要查询和索引文档之间精确相似度的应用程序，如推荐引擎或图像搜索。此外，由于向量搜索涉及数学运算，因此它可以快速扩展以处理大型数据集。最后，其单一性质（将数据表示为高维向量）使其比语义搜索等多方面方法更容易实施。

Meilisearch 提供了最先进的工具，用于在您的应用程序中实施向量搜索。

以下脚本解释了如何使用 Meilisearch 实施向量搜索。

from langchain_community.vectorstores import Meilisearch
from langchain_huggingface.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import JSONLoader

# Load environment variables
os.environ["MEILI_HTTP_ADDR"] = "http://localhost:7700/"
os.environ["MEILI_MASTER_KEY"] = "a864f...c"

# Load documents
loader = JSONLoader(
    file_path="books.json",
    jq_schema=".[] | {id: .id, title: .title, description: .description, genre: .genre}",
    text_content=False,
)
documents = loader.load()
print(f"Loaded {len(documents)} documents")

# Initialize embeddings
embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2")

# Configure embedders
embedders = {
    "custom": {
        "source": "userProvided",
        "dimensions": 384
    }
}
embedder_name = "custom"

# Store documents in Meilisearch
vector_store = Meilisearch.from_documents(
    documents=documents,
    embedding=embeddings,
    embedders=embedders,
    embedder_name=embedder_name)

现在，我们可以使用与之前语义搜索相同的查询，并比较两个结果

query = "I'm looking for a book with star wars vibes"

result = vector_store.similarity_search(
    query,
    embedder_name='custom', k=5)

输出结果是

{"id": 17, "title": "The Shadow of the Wind", "description": "In post-war Barcelona, a young boy discovers a mysterious book that leads him into a labyrinth of secrets and buried mysteries.", "genre": "Historical Fiction"}
{"id": 2, "title": "Dune", "description": "Set in a distant future, the story follows Paul Atreides, whose family accepts stewardship of the dangerous desert planet Arrakis.", "genre": "Science Fiction"}
{"id": 29, "title": "Hyperion", "description": "Seven pilgrims embark on a final mission to the mysterious Time Tombs on the world of Hyperion, each with a desperate hope to save humanity.", "genre": "Science Fiction"}
{"id": 22, "title": "The Seven Husbands of Evelyn Hugo", "description": "An aging Hollywood starlet finally tells the true story of her scandalous life and seven marriages.", "genre": "Historical Fiction"}
{"id": 7, "title": "The Da Vinci Code", "description": "A mystery thriller that follows symbologist Robert Langdon as he investigates a murder in Paris's Louvre Museum.", "genre": "Thriller"}

当将上面的输出与语义搜索设置期间使用 OpenAI 嵌入模型生成的输出进行比较时，很明显 Hugging Face 模型在捕获上下文方面效果较差。虽然两者都依赖向量相似度进行搜索，但它们对上下文的解释不同。因此，两者都符合语义搜索的条件，但一个比另一个提供更深入的上下文理解。

使用 Meilisearch 实施下一代搜索

语义搜索是一种先进的文档搜索技术，它依赖于用户意图和上下文来检索相关结果。

在您的应用程序中实施强大的搜索可能很麻烦。幸运的是，Meilisearch 提供了开箱即用的功能，用于在您的应用程序中实施闪电般快速、用户友好的搜索引擎。Meilisearch 提供了一个 REST API，可在 50 毫秒内返回极速响应。

Meilisearch 的一些主要功能包括

• 快速性能：在 50 毫秒内返回搜索结果，为用户查询提供即时响应。
• 即时搜索：随着每次击键更新结果，提供动态且响应迅速的搜索体验。
• 拼写容错：识别并纠正拼写错误，确保用户即使输入错误也能找到相关结果。
• 全面的语言支持：针对多种语言进行了优化，包括中文、日语、希伯来语以及使用拉丁字母的语言。
• AI 驱动的混合搜索：结合了全文搜索和语义搜索，以提高搜索结果的准确性和全面性。
• 基于云和自托管的解决方案：您可以通过 Meilisearch API 使用 Meilisearch Cloud，或者在您的系统上自托管 Meilisearch AI 引擎，让您可以完全控制您的数据。