image.png

Kernel Memory 入门系列： 文档的管理

在Quick Start中我们了解到如何快速直接地上传文档。但是实际中，往往会面临更多的问题，例如文档如何更新，如何划定查询范围等等。这里我们将详细介绍在Kernel Memory文档的管理。

使用Document管理一组文件

当我们需要批量上传一组文件的时候，可以使用Document来管理。

1
2
3
4
var document = new Document();
document.AddFile("./sample-SK-Readme.pdf");
document.AddFile("./sample-KM-Readme.md");
await memory.ImportDocumentAsync(document);

其中Document 作为一个对象，可以将多个文件归结到一起，可以自行指定对应的DocumentId，如果不指定的话，会生成一个随机的DocumentId，这个DocumentId后续可以用来查询文档的处理状态或者用于更新删除文档。

后续的使用和管理，将会以Document为基本的文档单位进行管理。

使用Tag进行文档标记

当我们需要对上传的文档进行范围划定时，可以使用Tag来进行标记。Tag可以理解为一个文档的属性，可以充分的自定义，例如标记文档的类型、标记文档的来源、上传的用户、所属的项目、所属的领域等等。

1
2
3
4
5
6
var document = new Document();
document.AddFile("./sample-SK-Readme.pdf");
document.AddTag("type", "pdf");
document.AddTag("domain", "llm");
document.AddTag("user", "xbotter");
await memory.ImportDocumentAsync(document);

如果导入的是单文件，或者文件流的话，可以通过另外一种方式来添加Tag。

1
2
3
4
5
var tags = new TagCollection();
tags.Add("type", "pdf");
tags.Add("domain", "llm");
tags.Add("user", "xbotter");
await memory.ImportFileAsync("./sample-SK-Readme.pdf", tags: tags);

同样也适用于文本和网页的导入：

1
2
3
4
var tags = new TagCollection();
await memory.ImportTextAsync("这是一段文本", tags: tags);
 
await memory.ImportUrlAsync("https://www.github.com", tags: tags);

检索时进行筛选

使用Tag标记的最大用途就是在检索时候进行范围的筛选，例如我们可以指定，仅在所有pdf文档范围内搜索：

1
await memory.AskAsync("What's the SK?", filters: MemoryFilters.ByTag("type", "pdf"));

当然也可以指定文档进行筛选：

1
await memory.AskAsync("What's the SK?", filters: MemoryFilters.ByDocument("documentId"));

复杂筛选条件

当我们需要复杂的筛选条件时，可以使用MemoryFilters来实现And和Or的组合方式。
MemoryFilters多次的添加ByTag条件，表示为And的关系。

1
2
await memory.AskAsync("What's the SK?", filters: MemoryFilters.ByTag("type", "pdf")
                                                              .ByTag("domain", "llm"));

添加多个MemoryFilters，表示为Or的关系。

1
2
3
4
await memory.AskAsync("What's the SK?", filters: new List<MemoryFilter>() {
                                                MemoryFilters.ByTag("type", "pdf"),
                                                MemoryFilters.ByTag("domain", "llm")
                                            });

更新文档

前面提及Document概念的时候已经提到，DocumentId用来指定一个文档，当我们需要更新文档的时候，可以直接指明DocumentId，然后上传新的文档即可。

1
2
3
var document = new Document(docId);
document.AddFile("./sample-SK-Readme.pdf");
await memory.ImportDocumentAsync(document);

此时，Kernel Memory会自动将原有的文档进行替换，实现文档的更新。

删除文档

当我们需要删除文档的时候，可以使用DeleteDocumentAsync方法，指定DocumentId即可。

1
await memory.DeleteDocumentAsync(docId);

使用Index进行隔离

上传文档和搜索的时候，另外一个需要指定的参数是index，index在向量存储中，可以理解为一个命名空间，可以用来隔离不同的文档，而且在检索的时候，也是无法跨index进行检索的。

当上传和检索文档时未指定index的时候，会使用默认的index。