互联网
图像检索技术的两个阶段
随着互联网的高速发展，网上的多媒体信息也急剧增加，因此人们对多媒体信息的检索需求也就随之而来。传统的信息检索主要集中于文字的检索，在多媒体方面的研究并不是很多。互联网上的多媒体以图像为主，因此图像的检索就成为了目前研究的热点。
互联网上图像的检索经历了两个阶段:第一阶段是以关键字为基础的检索。第二阶段是以图像自身的内容为基础的检索。
在基于关键字的图像检索系统中，需要先对所有的图像进行关键字标注，然后才能使用全文检索技术对图像进行搜索。这种方法存在两个方面的问题:一是这种方法需要较多的人工参与，而且随着图像数目的增加，这种方法很难实现；第二个问题在于图像所包含的信息量庞大，不同的人对于同一张图像的理解也不相同，这就导致对图像的标注没有一个统一的标准，因而检索的结果不能很好地符合用户的需求。
基于内容的检索不同于基于关键字的检索，它不需要过多的人工参与，而利用图像自身的特征（如颜色、纹理、形状等）来进行检索，具有较强的客观性。但是，由于这些特征并不代表图像真正的语义信息，基于内容的检索结果往往不令人满意。因此目前大多数系统还是基于关键字的检索，如AltaVista、Yahoo!、Ditto等。
为此，我们提出了一种在互联网上进行图像检索的新方法，它把基于关键字的检索和基于内容的检索相结合，并引入了用户的相关反馈来优化检索结果。在下文中我们将介绍如何在互联网上收集图像、建立索引以及进行检索。并将介绍如何结合用户的交互，利用相关反馈来提高检索的结果。最后，我们将对图像检索给出总结。
互联网上的图像检索
要建立互联网上的图像检索系统，需要解决三个方面的问题。首先是如何从互联网上获取图像，其次是如何对获取的图像建立相应的索引，最后是如何根据用户的需求在图像数据库中进行检索。
1．图像的获取
互联网上存在各式各样的图像，我们需要收集一些用户最感兴趣的、具有代表性的图像以供用户使用。首先，根据目前一些流行的搜索引擎的分类，建立相应的图像分类的层次结构；然后针对每个类别选择一些热门的、具有代表性的站点作为候选。例如在体育方面的http://www.nba.com，政治方面的http://www.whitehouse.gov，娱乐方面的http://www.disney.com，新闻方面的http://www.cnn.com等站点均被选择成为下载图像的站点。
然后，设计一个高效率的软件工具（Crawler），针对选定的代表性站点自动进行图像的收集。站点内所有的页面都将送给页面分析器进行分析，页面内所有的图像都将以链接的方式存储到相应的数据库中。同时，一些启发式信息，如图像的尺寸、文件类型、文件名、图像的颜色直方图等，将用来对图像进行简单的分类，把广告条、背景、图标、按钮等无语义信息的图像与用户真正需要的图像区别开，以供用户查询。
2．图像特征的抽取及索引
对收集到的图像，需要进行特征抽取，并建立相应的索引，以提高检索的效率。图像的特征分为两种，一种是图像的低层特征，如图像的颜色、纹理及其形状等。另外一类特征则是图像的语义特征。
对于图像的低层特征，主要采用的是图像的颜色、纹理及其形状等特征。其中，颜色特征和图像的大小、方向无关，而且对图像的背景颜色不敏感，因此颜色特征被广泛应用于图像检索。颜色特征中包括颜色直方图、颜色相关图、颜色矩等。纹理特征代表了物体的视觉模式，它包含了物体表面的组织结构以及与周围环境之间的关系。常用的方法有相关矩阵法，粗糙度、对比度等纹理表示方法，以及小波变换等。形状特征则包括两种，一种是基于边界的形状特征，另外一种则是基于区域的形状特征。最成功的表示方法有傅利叶变换和不变矩等。这些低层的特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。
由于低层的特征并不直接代表图像的语义信息，因此我们还将抽取图像的语义特征。我们采用在网页中与图像相关的文字信息来表征图像的语义特征，其中使用到的相关信息有：
图像的文件名及其网址 大多数作者直接通过文件名来表示图像的内容，如redflower.jpg、cat.jpg、clinton.jpg等，就直接把图像的内容体现在文件名之中。同时，图像的网址信息也提供了一些相关的语义信息，如anim_birds.jpg就提供了图像所属的类别信息及其语义信息。
图像的替代文字（Alternate Text） 替代文字在网页中通常用来表示图像的语义信息，而且也是最为准确的一个特征。不过，并不是所有的作者都愿意提供这个信息。
图像周围的文字（Surrounding Text） 在网页中图像周围的文字是最可能表达图像所有包含的内容的，虽然有些文字可能与图像并不相关，不过这些文字在一定程度上还是表达了图像的语义信息，因此被选择成为语义特征之一。
图像所在页面的标题 有些图像用来加强作者的意图，因此有些图像的内容同页面的标题内容直接相关。页面的标题也就成为语义特征之一。
图像的超链接（Hyperlink） 图像的超链接信息在一定程度上与图像的内容相关。因此一些语义特征可以通过对超链接的分析计算得到。
图像所在网页彼此间的链接（Link-Structure） 藉由对网页与网页间的链接分析（Link Analysis），网页内所包含的图像彼此间语义上的相似性可以在一定程度上计算得到。这些信息可以用来加强图像检索的效果。
所有这些特征，都将通过页面分析器从网页中自动抽取出来，并被赋予不同的重要性,并按照传统的文本信息检索技术，建立图像的语义特征向量。向量的每个分量都对应一个关键字，它的值取决于该关键字在与图像有关的网页中的分布。如果一个关键字在一个网页中出现很多次，对应的分量就会大一些:另一方面，如果这个关键字出现在很多网页中，对应的分量就会小一些。这种方法在文本检索中被广泛采用，也适用于图像检索。