中文XML论坛--Evolving Web, Evolving Search

贴子主题： Evolving Web, Evolving Search

本主题类别: Ontology Engineering

搜索一般是针对文档，使用的输入为关键字，索引使用倒排索引。
查询一般是针对结构化数据，使用的输入是结构化查询，索引使用B-tree或者变种。
随着XML数据的流行，搜索和查询的界限越来越模糊，同时各种整合关键字和结构化（甚至语义的）查询输入，对于两者的融合，当然也包括索引的整合起到的推动的作用。
现在回到语义搜索，如果我们是知识工程师，需要根据某一个查询需求获得相关的本体数据（ontology reuse)，那么我可以输入关键字匹配某一个类别，某一个关系或者实例信息，并将包含的本体文件以一种snippet片断的方式返回。这类的典型代表包括Swoogle, Falcons, Sindice和Watson。如果我需要根据某一个包含关键字和结构化约束的复杂查询需求，并且返回相应的实例信息，那么需要考虑混合的索引结构，当然这里的结构可以是分离的，一部分用B-tree的形式一部分用倒排索引，也可以都使用倒排索引，这类的典型代表包括SWSE, SearchWebDB和Microsearch。其中Microsearch是Yahoo提出的一种整合user contributed metadata和现有document search的一种hybrid search，希望通过metadata来提高搜索的精度和覆盖。他的实现基本是inverted index + sesame。他也提到了效率问题，速度是需要进一步提高的。所以正如楼上提到的，你增加了新的功能，不可能性能不受影响，或者现有的索引结构不支持。这里永远是一个tradeoff，特别是那些loose couple的系统，他们虽然比较容易实现和扩展(flexibiliy比较好，但是performance特别是efficiency是很大的瓶颈)，而tight coupled的系统都是针对具体问题specific tailor的，他们速度快，但是就是解决具体的问题。这个时候当我们做选择时就要看哪个更加重要。这里提到google就是具体问题具体分析的成功案例。最后谈一下web 2.0对于搜索引擎的影响。Web 2.0的数据量比原先的数据大了很多，这样对于搜索引擎提高效率提出了新的要求，其次在于link analysis的不同，有了很多新的link，回顾一下在web 1.0时，hyperlink是唯一的Link，而web 2.0仅以social tagging为例，你有user和tag之间的link, tag与page之间的link，page与user之间的link，这些是不同类型的links，那么他们的权重以及对搜索的影响呢？其次是搜索模型的不同，ranking是search的核心，那么如何将这些数据嵌入到查询与文档相关性的匹配计算中?有兴趣大家可以看一下大家使用social tagging作为metadata来提出新的language model smoothing, 也有使用learning to rank来设计更加合理的ranking function。当然从SW的角度来看，metadata当然可以作为某种约束来改善搜索结构，正如microsearch所作的，但是这样的效力还没有完全显示出来，不仅仅是因为metadata数量还是少，其次他的质量也不高所致。Web 2.0的核心是user，抓住了这个才能做好的搜索，这里的语义搜索是指personalized或者community-based recommendation而非search了。


	W 3 C h i n a ( since 2003 ) 旗下站点苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》	62.500ms