深度学习机器

一 传统方法之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。一般来说，构建生产环境下的RAG系统是直接使用Embedding模型对用户输入的Query进行向量化表示，并且从已经构建好的向量数据库中检索出相关的段落用户大模型生成。但是这种方法很明显会受到Embedding模型性能的影响，比如是否支持多语言、跨语言检索、训练数据的质量等。因此，以改进Embedding模型为目标提升RAG系统性能一般会有两种做法： 方法1，在使用向量模型获取密集向量后，再使用Cross-encoder作为精排模型，对第一次召回的结果进行重排，以提高最终结果的质量。方法2，使用稀疏向量搭配密集向量进行召回。密集向量即对整个文本进行向量化表示产生的向量，稀疏向量则是对原始文本的编码表示，如TF-IDF，BM25等。其中，稀疏向量可以帮助识别和捕捉特定的语义信息，比如文本中的关键词，而密集向量则可以提供更丰富的语义表达，是通过大量长文本学习而来的。通过同时将这两种向量进行召回，可以获得更丰富、更全 ...

前言文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒度的获取 对于第一点，一般是把表格中的内容识别成文本，这样喂给大模型的时候就会出现一连串数字或者字母，这无疑会增大模型的理解难度；对于第二点，则是需要按照指定的长度对文档进行切分，或者把词按照一定的规则拼接到一块，这同样会损失到文本自身的上下文信息。 而本文接下来介绍的Open-parse这个库可以直接从文本中提取出多个节点，每个节点就是一个chunk，已经分好了，因此无需再按照长度进行split，这样同时也比单独提取一个词再进行合并又简化了不少操作；同时还支持同时提取表格和文字，无需分开提取。 快速开始安装1pip install openparse 使用pip进行安装，同时这个库依赖Pymupdf、pdfminer等其他库，也会同时安装。 识别文字123456pdf = "c:\\人口 ...

简介Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能 ML 工作负载和快速随机访问而设计。 快速开始安装1pip install lancedb 目前0.6.8需要pyarrow-12.0.0及以上，亲测15.0会报错。 创建客户端12345678import lancedbimport pandas as pdimport pyarrow as pauri = "data/sample-lancedb"db = lancedb.connect(uri) # 异步客户端#async_db = await lancedb.connect_async(uri) 与Chroma不同，lancedb没有服务端-客户端模式。支持同步和异步客户端，看起来异步客户端更新较快，从官方文档来看没发现使用上的区别。 创建一张表123456data = [ {"vector": [3.1, 4.1], "i ...

一 简介Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。 二 基本用法1 安装安装方式非常简单，只需要一行命令 1pip instakk chromadb 2 创建一个客户端12import chromadbchroma_client = chromadb.Client() 3 创建一个集合这里面的集合用于存放向量以及元数据的信息，可以理解为传统数据库的一张表 1collection = chroma_client.create_collection(name="my_collection") 4 添加数据集合中可以添加文本，元信息，以及序号等数据。添加文本之后会调用默认的嵌入模型对文本进行向量化表示。documents和ids为必需项，其他为可选项。（metadatas、embeddings、urls、data） 12345collection.add( documents=["Thi ...