第一讲布尔检索Boolean Retrieval

主要内容：

信息检索概述
倒排记录表
布尔查询处理

一、信息检索概述

什么是信息检索？

Information Retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an information need from within large collections (usually stored on computers).

信息检索是从大规模非结构化数据（通常是文本）的集合（通常保存在计算机上）中找出满足用户信息需求的资料（通常是文档）的过程。

Document –文档

Unstructured – 非结构化

Information need –信息需求

Collection—文档集、语料库

二、倒排记录表

1、什么是布尔查询？

布尔查询是指利用 AND, OR 或者 NOT操作符将词项连接起来的查询

如：信息 AND 检索

2、一个信息检索的例子（莎士比亚全集）

不到100万单词，假设每个英文单词平均长度为8字节，则整个全集不到10MB

查询需求：

莎士比亚的哪部剧本包含Brutus及Caesar但是不包含Calpurnia？

查询的布尔表示：

Brutus AND Caesar AND NOT Calpurnia

解决方案：

方法一：暴力方法

从头到尾扫描所有剧本，对每部剧本判断它是否包含Brutus AND Caesar ，同时又不包含Calpurnia

不足之处：

速度超慢 (特别是大型文档集)
处理NOT Calpurnia 并不容易（不到末尾不能停止判断）
不太容易支持其他操作 (e.g., 寻找靠近countrymen的单词Romans)
不支持检索结果的(灵活)排序 (排序时只返回较好的结果)

优点：
实现简单
很容易支持文档动态变化

方法二：倒排记录表

词项-文档（term-doc）关联矩阵

若某剧本包含某单词，则该位置为1，否则为0.

关联矩阵的每一列(对应一篇文档)都是 0/1向量，每个0/1都对应一个词项
关联矩阵的每一行(对应一个词项)也可以看成一个0/1向量，每个0/1代表该词项在相应文档中的出现与否
给定查询Brutus AND Caesar AND NOT Calpurnia

取出三个词项对应的行向量，并对Calpurnia 的行向量求反，最后按位进行与操作

110100 AND 110111 AND 101111 = 100100.

问题：当出现更大的文档集？？？