1. 安装java开发环境
先从http://java.sun.com下载j2sdk-1_4_2_11-windows-i586-p.exe
安装目录：D:\j2sdk1.4.2_11

设置JAVA_HOME(系统)环境变量：
JAVA_HOME=D:\j2sdk1.4.2_11
设置CLASSPATH(系统)环境变量：
CLASSPATH=D:\j2sdk1.4.2_11\bin;.;D:\j2sdk1.4.2_11\lib\tools.jar;D:\j2sdk1.4.2_11\lib\dt.jar
另外在(系统)环境变量Path的最后加入：
D:\j2sdk1.4.2_11\bin

2. 安装mysql5.0
运行setup.exe
选择安装类型：custom
安装目录：d:\MySQL\MySQL Server 5.0\

config mysql server:
instance type: developer machine
multifunctional
tablespace: installation path

default charset: gbk

3. 安装MyEclipse开发环境

4. 安装mysql-connector-java-3.1.11-bin.jar
从网上下载mysql-connector-java-3.1.11-bin.jar文件，将其复制到resin的lib目录下以及%catalina_home%/common/lib目录下。

5. 安装resin-3
解压缩resin-3.zip文件到x:\resin-3
设置系统环境变量RESIN_HOME为：d:\resin-3
启动resin的httpd
测试连接：
http://localhost:8080/

6.在MyEclipse中调试resin项目的方法

1、在新建的java项目的构建路径中把resin的lib目录的所有包和jdk的tools.jar包加入

2、在项目的运行窗口中按下面的步骤修改：

run->new application->

Main class:
com.caucho.server.resin.Resin

Program arguments:
-conf "${project_loc}\resin.conf"

VM arguments:
-Djava.util.logging.manager=com.caucho.log.LogManagerImpl

3、复制resin.config在当前项目的根目录下，修改其中的路径到当前项目所在目录

4、启动项目

JavaScript是一种脚本语言，通常只能通过web浏览器去执行某种操作。
DOM是一套对文档内容进行抽象和概念化的方法。
DHTML
 利用HTML进行布局
 利用CSS设计样式
 利用JavaScript动态改变样式

第二章：

JavaScript的两种嵌入方式：
1、HTML页面内部代码
<script type="text/javascript">
   Javascript goes here ...
</script>
2、导入外部js文件
<script type="text/javascript" src="file.js">
</script>

 JavaScrip语言为解释性语言，非编译型语言。

语法重点：
1、 数组与关联数组
数组声明：
var beatles = Array("John","Paul","George","Ringo");
关联数组声明：
var lennon = Array();
lennon["name"] = "John";
lennon["year"] = 1940;
lennon["living"] = false;
2、 条件语句：
if
{}
else
{}
没有else if 语句
3、 对象
内建对象
宿主对象（host object）：web浏览器提供的预定对象 如：Form、Image、Element。
通过document对象可以获得给定网页上的元素

第3章：

DOM中的节点
<p title = "a gentle reminder">Don't forget to ...</p>
p为元素节点 title为属性节点 Don't forget to ...为文本节点

四个实用的DOM方法：
1、 document.getElementById("id_string")
返回对象
2、 document.getElementsByTagName("tagName_String")
返回对象组
允许通配符作参数：
如：得到节点数
    document.getElementsByTagName("*").length;
3、 object.getAttribute("attributeName")
4、 object.setAttribute("attributeName")

第四章：

问题：在onclick事件响应时，链接被点击的默认行为也会发生.。
解决方法：添加返回值false，阻止默认行为发生。
onclick = "showPic(this);return false;"

node.nodeType 属性
元素节点属性值：1
属性节点属性值：2
文本节点属性值：3

第五章：

预留退路：确保网页在没有javascript的情况下也能正常工作。
<a href="http://www.example.com" onclick = "popUp(this.href);return false;">example</a>

向CSS学习：文档结构与文档样式分离。

第六章：

 window.onload 函数（代码见：附录）

第七章：

使用Javascript改变网页的结构和内容
Document.write()方法
破换了Javascript分离原则，应避免使用。
MIME类型为 application/xhtml + xml 与 document.wirte()方法不兼容。
innerHTML属性也是非标准的DOM。
1、 Element document.createElement("tagName");
2、 Text document.createTextNode("textData");
3、 oElement = object.appendChild(oNode)；
4、 oElement = object.insertBefore(oNewNode [, oChildNode])；
  如：node_old.parentNode.insertBefore(node_new,node_old);
5、 DOM没有提供insertAfter()方法；（insertAfter方法代码见：附录）

第八章：

For-in 循环：可以把某个数组的下标（或：关联数组中的关键字）临时地赋给一个变量。

<abbr>与<acronym>   IE不支持<abbr>

第九章：

网页的构成:
 结构层：HTML XHTML
 表示层：CSS
 行为层：Javascript&DOM

style属性：
文档的每个元素节点都有一个style属性，包括元素的样式信息。查询这个属性会返回一个对象，而不是一个简单的字符串。
element.style.property
eg: para.style.color; element.style.fontFamily;
style属性只能检索到内嵌于HTML的样式信息，单独的css表或文件中的信息不能被检索到。

可以用元素的style属性改变元素样式，更简单的方式是通过改变元素的class属性值。

当需要为元素追加样式时，使用addClass函数  （addClass方法代码见：附录）

第十章：

position属性的4种取值
static：默认值，有关元素安装在HTML文档中的出现顺序在浏览器窗口中显示
relative：与static相似，区别在于可以在float属性的作用下从文档的正常显示顺序中脱离出来。
 absolute：可放置的位置与元素在文档中出现的位置无关，为了避免冲突。只left / right 和top / buttom 。

时间动画：
 setTimeout("function",interval);

function changePosition(){
  . 
  .
  .
 movement = setTimeout("changePosition()",5000);
} 
 movement为全局变量，可以在函数以外取消。clearTimeout(movement);

parseInt函数用于从字符串中提取数值信息。
 Eg：parseInt("15px") == 15;

parseInt和toString方法都可以进行数制转换

//10进制转16进制
var n = 123;
alert(n.toString(16));

//16进制转2进制
var n = 0xff;
alert(n.toString(2));

//16进制字符串转10进制
var n = "ff"
alert(parseInt(n,16));

使用overflow属性进行裁剪：
 Overflow：显示区域小于包含内容的情况。
overflow的4种属性值：
 visible：不裁剪溢出内容，全部内容可见 
 hidden：裁剪溢出内容，溢出部分不可见
 scroll：裁剪溢出内容，但有滚动条
 auto：与scroll相似，只有在发生溢出的情况才有滚动条

注意：如果吧position属性为absolution的元素载入一个position属性为relative的元素，后者就成为前者的容器，而前者在后者的区域里按absolute方式摆放。

第十二章：

Ajax技术：
 服务器端处理是异步发生的，用户发出的每一个请求不见得会导致整个页面的刷新，服务器可以在后台进行处理。
 Ajax技术核心是在客户端和服务器之间插入一个中转站：javascript脚本先把请求从客户端发到中转站，中转站再把请求转发给服务器。服务器响应也通过中转站转给javascript处理。这个中转站就是XMLRequest对象。

DOM方法和属性：

insertBefore和appendChild函数在插入节点时，如果将要插入的节点本身就在文档中，那么将自动条用removeChild方法清楚原始位置。因此都可以用于转移文档内节点。

DOM属性：
 元素节点 属性节点 文本节点
nodeName 元素名 属性名 "#text"
nodeType 1 2 3
nodeValue null 属性值 文本内容

遍历DOM数节点：
 childNodes
 firstNode
 lastNode 
 previousSibling
 nextSibling
 parentNode

第11章：

整站设计：
/images
/styles
/script
 layout.css 
 color.css
 typography.css

basic.css
 @import url (layout.css);
 @import url (color.css);
 @import url (typography.css);

在页面中，只需要导入basic.css ：
<link rel="styleSheet" type="test/css" media="screen" href="style/basic.css" />

注意：
 颜色：如果为某种元素设置了某种前景色，就应为它设置一种背景色。如果不注意这个细节，可能导致某些文本内容变成“隐形”文字。
 a:link {
 color:#445;
 background-color:#e66;
}

 布局：用通配符把每个元素的均空和间距都设置为0，这样做可以让页面不受浏览器默认设置的影响。
 *{
 padding 0;
 margin 0;
}

推荐：均空信息放入layout.css，间距信息放入typography.css里。

附录：
addLoadEvent 
insertAfter
addClass
StripTable

function addLoadEvent(func) {
var oldonload = window.onload;
if (typeof window.onload != ‘function') {
window.onload = func;
} else {
window.onload = function() {
oldonload();
func();
}
}
}

function insertAfter(newElement,targetElement) {
var parent = targetElement.parentNode;
if (parent.lastChild == targetElement) {
parent.appendChild(newElement);
} else {
parent.insertBefore(newElement,targetElement.nextSibling);
}
}

function addClass(element,value) {
if (!element.className) {
element.className = value;
} else {
newClassName = element.className;
newClassName+= " ";
newClassName+= value;
element.className = newClassName;
}
}

function stripeTables() {
if (!document.getElementsByTagName) return false;
var tables = document.getElementsByTagName("table");
for (var i=0; i<tables.length; i++) {
var odd = false;
var rows = tables[i].getElementsByTagName("tr");
for (var j=0; j<rows.length; j++) {
if (odd == true) {
rows[j].style.backgroundColor = "#ffc";
odd = false;
} else {
odd = true;
}
}
}
}

addLoadEvent(stripeTables);

You’ve finally got your hands on the diverse collection of HTML documents you needed. But the content you’re interested in is hidden amidst adverts, layout tables or formatting markup, and other various links. Even worse, there’s visible text in the menus, headers and footers that you want to filter out. If you don’t want to write a complex scraping program for each type of HTML file, there is a solution.

This article shows you how to write a relatively simple script to extract text paragraphs from large chunks of HTML code, without knowing its structure or the tags used. It works on news articles and blogs pages with worthwhile text content, among others…

Do you want to find out how statistics and machine learning can save you time and effort mining text?

The concept is rather simple: use information about the density of text vs. HTML code to work out if a line of text is worth outputting. (This isn’t a novel idea, but it works!) The basic process works as follows:

1. Parse the HTML code and keep track of the number of bytes processed.
2. Store the text output on a per-line, or per-paragraph basis.
3. Associate with each text line the number of bytes of HTML required to describe it.
4. Compute the text density of each line by calculating the ratio of text to bytes.
5. Then decide if the line is part of the content by using a neural network.

You can get pretty good results just by checking if the line’s density is above a fixed threshold (or the average), but the system makes fewer mistakes if you use machine learning — not to mention that it’s easier to implement!

Let’s take it from the top…

Converting the HTML to Text

What you need is the core of a text-mode browser, which is already setup to read files with HTML markup and display raw text. By reusing existing code, you won’t have to spend too much time handling invalid XML documents, which are very common — as you’ll realise quickly.

As a quick example, we’ll be using Python along with a few built-in modules: htmllib for the parsing and formatter for outputting formatted text. This is what the top-level function looks like:

def extract_text(html):
    # Derive from formatter.AbstractWriter to store paragraphs.
    writer = LineWriter()
    # Default formatter sends commands to our writer.
    formatter = AbstractFormatter(writer)
    # Derive from htmllib.HTMLParser to track parsed bytes.
    parser = TrackingParser(writer, formatter)
    # Give the parser the raw HTML data.
    parser.feed(html)
    parser.close()
    # Filter the paragraphs stored and output them.
    return writer.output()

The TrackingParser itself overrides the callback functions for parsing start and end tags, as they are given the current parse index in the buffer. You don’t have access to that normally, unless you start diving into frames in the call stack — which isn’t the best approach! Here’s what the class looks like:

class TrackingParser(htmllib.HTMLParser):
    """Try to keep accurate pointer of parsing location."""
    def __init__(self, writer, *args):
        htmllib.HTMLParser.__init__(self, *args)
        self.writer = writer
    def parse_starttag(self, i):
        index = htmllib.HTMLParser.parse_starttag(self, i)
        self.writer.index = index
        return index
    def parse_endtag(self, i):
        self.writer.index = i
        return htmllib.HTMLParser.parse_endtag(self, i)

The LineWriter class does the bulk of the work when called by the default formatter. If you have any improvements or changes to make, most likely they’ll go here. This is where we’ll put our machine learning code in later. But you can keep the implementation rather simple and still get good results. Here’s the simplest possible code:

class Paragraph:
    def __init__(self):
        self.text = ''
        self.bytes = 0
        self.density = 0.0
 
class LineWriter(formatter.AbstractWriter):
    def __init__(self, *args):
        self.last_index = 0
        self.lines = [Paragraph()]
        formatter.AbstractWriter.__init__(self)
 
    def send_flowing_data(self, data):
        # Work out the length of this text chunk.
        t = len(data)
        # We've parsed more text, so increment index.
        self.index += t
        # Calculate the number of bytes since last time.
        b = self.index - self.last_index
        self.last_index = self.index
        # Accumulate this information in current line.
        l = self.lines[-1]
        l.text += data
        l.bytes += b
 
    def send_paragraph(self, blankline):
        """Create a new paragraph if necessary."""
        if self.lines[-1].text == '':
            return
        self.lines[-1].text += 'n' * (blankline+1)
        self.lines[-1].bytes += 2 * (blankline+1)
        self.lines.append(Writer.Paragraph())
 
    def send_literal_data(self, data):
        self.send_flowing_data(data)
 
    def send_line_break(self):
        self.send_paragraph(0)

This code doesn’t do any outputting yet, it just gathers the data. We now have a bunch of paragraphs in an array, we know their length, and we know roughly how many bytes of HTML were necessary to create them. Let’s see what emerge from our statistics.

Examining the Data

Luckily, there are some patterns in the data. In the raw output below, you’ll notice there are definite spikes in the number of HTML bytes required to encode lines of text, notably around the title, both sidebars, headers and footers.

While the number of HTML bytes spikes in places, it remains below average for quite a few lines. On these lines, the text output is rather high. Calculating the density of text to HTML bytes gives us a better understanding of this relationship.

The patterns are more obvious in this density value, so it gives us something concrete to work with.

Filtering the Lines

The simplest way we can filter lines now is by comparing the density to a fixed threshold, such as 50% or the average density. Finishing the LineWriter class:

    def compute_density(self):
        """Calculate the density for each line, and the average."""
        total = 0.0
        for l in self.lines:
            l.density = len(l.text) / float(l.bytes)
            total += l.density
        # Store for optional use by the neural network.
        self.average = total / float(len(self.lines))
 
    def output(self):
        """Return a string with the useless lines filtered out."""
        self.compute_density()
        output = StringIO.StringIO()
        for l in self.lines:
            # Check density against threshold.
            # Custom filter extensions go here.
            if l.density > 0.5:
	        output.write(l.text)
	return output.getvalue()

This rough filter typically gets most of the lines right. All the headers, footers and sidebars text is usually stripped as long as it’s not too long. However, if there are long copyright notices, comments, or descriptions of other stories, then those are output too. Also, if there are short lines around inline graphics or adverts within the text, these are not output.

To fix this, we need a more complex filtering heuristic. But instead of spending days working out the logic manually, we’ll just grab loads of information about each line and use machine learning to find patterns for us.

Supervised Machine Learning

Here’s an example of an interface for tagging lines of text as content or not:

The idea of supervised learning is to provide examples for an algorithm to learn from. In our case, we give it a set documents that were tagged by humans, so we know which line must be output and which line must be filtered out. For this we’ll use a simple neural network known as the perceptron. It takes floating point inputs and filters the information through weighted connections between “neurons” and outputs another floating point number. Roughly speaking, the number of neurons and layers affects the ability to approximate functions precisely; we’ll use both single-layer perceptrons (SLP) and multi-layer perceptrons (MLP) for prototyping.

To get the neural network to learn, we need to gather some data. This is where the earlier LineWriter.output() function comes in handy; it gives us a central point to process all the lines at once, and make a global decision which lines to output. Starting with intuition and experimenting a bit, we discover that the following data is useful to decide how to filter a line:

• Density of the current line.
• Number of HTML bytes of the line.
• Length of output text for this line.
• These three values for the previous line,
• … and the same for the next line.

For the implementation, we’ll be using Python to interface with FANN, the Fast Artificial Neural Network Library. The essence of the learning code goes like this:

from pyfann import fann, libfann
 
# This creates a new single-layer perceptron with 1 output and 3 inputs.
obj = libfann.fann_create_standard_array(2, (3, 1))
ann = fann.fann_class(obj)
 
# Load the data we described above.
patterns = fann.read_train_from_file('training.txt')
ann.train_on_data(patterns, 1000, 1, 0.0)
 
# Then test it with different data.
for datin, datout in validation_data:
    result = ann.run(datin)
    print 'Got:', result, ' Expected:', datout

Trying out different data and different network structures is a rather mechanical process. Don’t have too many neurons or you may train too well for the set of documents you have (overfitting), and conversely try to have enough to solve the problem well. Here are the results, varying the number of lines used (1L-3L) and the number of attributes per line (1A-3A):

The interesting thing to note is that 0.5 is already a pretty good guess at a fixed threshold (see first set of columns). The learning algorithm cannot find much better solution for comparing the density alone (1 Attribute in the second column). With 3 Attributes, the next SLP does better overall, though it gets more false negatives. Using multiple lines also increases the performance of the single layer perceptron (fourth set of columns). And finally, using a more complex neural network structure works best overall — making 80% less errors in filtering the lines.

Note that you can tweak how the error is calculated if you want to punish false positives more than false negatives.

Conclusion

Extracting text from arbitrary HTML files doesn’t necessarily require scraping the file with custom code. You can use statistics to get pretty amazing results, and machine learning to get even better. By tweaking the threshold, you can avoid the worst false positive that pollute your text output. But it’s not so bad in practice; where the neural network makes mistakes, even humans have trouble classifying those lines as “content” or not.

Now all you have to figure out is what to do with that clean text content!

1、比较购物       
        随着国内电子商务的发展，越来越多的用户开始体验网上购物，除了著名的TaoBao和Ebay，国内还有很多中小型的B to C 专业网站，在众多的网站中，如何货比三家，不需要登陆每个网站来查看自己想要购买的商品呢？这样就孕育了比较购物的设想，所谓比较购物就是为消费者提供从多种在线零售网站中进行商品价格、网站信誉、购物方便性等方面的比较资料，随着比较购物网站的发展，其作用不仅表现在为在线消费者提供方便，也为在线销售上推广产品提供了机会，实际上也就等类似于一个搜索引擎的作用了，并且处于网上购物的需要，从比较购物网站获得的搜索结果比通用搜索引擎获得的信息更加集中，信息也更全面（如有些比较购物网站除了产品价值信息之外，还包含了包含对在线销售商的评价等），于是比较购物网站随后又逐渐发展演变为购物搜索引擎。

2、购物搜索引擎
        2004年3月26日，国外许多IT新闻网站发布了雅虎以5.75亿美元收购欧洲第一大比较购物网站Kelkoo的消息，这使得比较购物这一“古老”的商业模式获得了广泛关注。随着加入比较购物网站的网上商店数量和产品数量的增加，比较购物网站已经与搜索引擎具有类似的特征，即作为用户查询商品信息的工具，为制定购买决策提供支持，因此一些网站开始逐渐放弃比较购物一词，而改称为购物搜索引擎。

国外有不少知名的比较购物网站，只是近一两年有些比较购物网站才开始使用购物搜索引擎这一术语。成立于1996年的美国比较购物网站BizRate.com现在也将自己的使命定义为全球最好的购物搜索引擎。Yahoo和google也分别推出了自己的购物搜索引擎（http://shopping.yahoo.com、http://froogle.google.com），也是基于已有的搜索引擎技术。在国内，随着2004年初8848网站重新发布，购物搜索引擎一词不断出现在国内各种媒体中。其实所谓的购物搜索引擎就是以比较购物模式为基础的服务。

常规意义上基于网页搜索的搜索引擎在搜索结果中的内容是根据相关性排列的来源于其他网站的内容索引，与此类似，购物搜索引擎的检索结果也来自于被收录的网上购物网站，这样当用户检索某个商品时，所有销售该商品的网站上的产品记录都会被检索出来，用户可以根据产品价格、对网站的信任和偏好等因素进入所选择的网上购物网站购买产品，一般来说，购物搜索引擎本身并不出售这些商品。

购物搜索引擎与一般的网页搜索引擎相比的主要区别在于，除了搜索产品、了解商品说明等基本信息之外，通常还可以进行商品价格价格比较、并且可以对产品和在线商店进行评级，这些评比结果指标对于用户购买决策有一定的影响，尤其对于知名度不是很高的网上零售商，通过购物搜索引擎，不仅增加了被用户发现的机会，如果在评比上有较好的排名，也有助于增加顾客的信任。以BizRate为例，用户不仅可以用多种方式进行检索，如产品名称、品牌名、网站名称等，用户还可以对产品进行评比，可以发表自己的意见，这些信息也可以被别的用户参考。因此当用户使用购物搜索引擎检索商品时，可以获得比较丰富的信息，对制定商品购买决策有较大的参考价值。这也从另一个角度说明，网上商店利用购物引擎进行推广可以增加被用户发现的机会，从而达到促销的目的，因而成为网上销售的一种常用促销手段。

3、典型网站

国外：

（1）BizRate.com
在所有的比较购物网站中，成立于1996年BizRate.com 是较早，也是较为成功的一个，到2004年初，已经拥有超过40000个在线购物网站的3000多万条产品索引，事实上已经成为美国第一电子商务门户。

（2）Shopping.com
Shopping.com创建于1999年，由两个部分组成，一个是购物搜索引擎DealTime，另一部分是消费者评论和排名平台Epinions，2003年4月两个部分都合并在Shopping.com网站中。Shopping.com以在线购物相关信息为核心内容，包括丰富的产品信息和在线商店信息：产品信息包括产品评论、购买指南、产品图片和详细描述等，在线商店的信息则包括各种产品的价格、商店评比星级和用户评论、优惠卷和其他对顾客有价值的信息。在线商店登录Shopping.com采用的是类似于竞价广告的方式，即存入200美元的预付金，根据用户对商品信息的点击收取费用。

（3）Kelkoo.com
即最近被雅虎收购的欧洲最大的比较购物网站，Kelkoo成立于1999年，公司总部设在巴黎，目前已经开通了10个欧洲国家的比较购物服务，大约有欧洲全部上网用户的10％使用Kelkoo的服务。Kelkoo的商业模式与Shopping.com类似，网上商店登录产品是免费的，不过要根据用户点击数量收费。

         (4) PriceGrabber.com
        PriceGrabber.com是目前比较购物网站领域里的巨头。它是一种专业化的垂直搜索引擎，通过对海量信息的采集整理，向消费者提供精准的商品、商家资讯；同时，为商家提供一个高效的网络营销平台，助商家以极低的推广成本获得大量针对性极高的目标用户。该公司发展很快，在05年初上市。



         (5) Shopzilla.com
        成立于1996年，主要服务于英，法，德；也在05年上市，紧跟在PriceGrabber之后。

国内：

         国内的比较购物应该是刚刚起步，很多公司具有一定的技术，但是缺少启动资金，需要引入风投，同时推广的力度不是很大，在众多的网站中，用户很难知道有这么一个网站的存在。

         (1) Gobygo.com
         刚起步不久，主要需要第三方网站在其上注册商品推广，不知是否和Google Base类似。



         (2) Qunar.com
         专业的机票，酒店比较网站，买机票和订酒店的有福了，基本上在上面可以买到最便宜的机票了，同时也提供打折信息，就是搜索速度不快。



         (3) 其他还有就是工作查找信息的网站

         这些比较购物网站基本都充当一个中介的角色，用户比较搜索后可以直接链接到选定商品所在的第三方网站完成购物。随着这些网站知名度的提高，第三方网站自动就会找上门来要求加入比较网站获取增值服务。可以看出国外的比较网比国内成熟，并已具有自己的盈利模式，希望不久的将来国内也能做得更专业，毕竟这对消费者来说又增加了一个购物挑选的场所。

  编写合法的、带有良好结构的并拥有语义的HTML文档，在此坚固基础上应用各种css样式

  创建良好的标记：

          1、选择DOCTYPE，让浏览器或其他用户代理知道HTML语言的类型

Example:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">

          2、指定语言和字符集

Examples:

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" >

Sets the document's XML language, in this case the ISO code for English, en.

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

Assigns a character set to the document, in this case UTF-8.         

          3、指定标题

  每个HTML页面都需要一个用来描述页面内容的<>元素。在访客收藏页面时，title会作为链接的描述保存到浏览器中。搜索引擎对title中包含的关键字格外感兴趣，好的title可以明显提高页面的在搜索引擎中的排名。网站的每个页面都应该有一个唯一的标题，标题应该极具描述性地概括页面的内容，而不是泛泛地介绍整个站点。

Example:

<title>css Zen Garden: The Beauty in CSS Design</title>

          4、使用适当的标签

  根据文档内容结构选择HTML元素来标记文档，而不是根据样式选择。

如：用p元素包含文字段落，而不是为了换行；用blockquote包含被引用的文字，而不是为了得到缩进。找不到合适的可以描述结构的标签时，可以考虑使用通用的div或span元素。

Example:

<h3>The Road to Enlightenment</h3>

and not:

<code style="font-size: 1.5em;">The Road to Enlightenment</code>

            5、避免多度使用div和span

            6、尽可能少的使用标签

            7、适当地使用class和id

注意：如果是在虚拟机 vmware 5.x 上安装，那么你的系统的配置文件可能是如下内容（这个是经过我反复测试成功后的配置文件 xorg.conf  的内容）。

#最小化安装后….
sysinstall,改口令,时区,src-sys,ports,man,Xorg, bash3,cvsup-without-gui,lynx,linux,unzip
并设置网卡,sshd服务

++开启sshd服务
vi /etc/ssh/sshd_config ,加入以下行
PermitRootLogin yes
退出后重启服务即可 /etc/rc.d/sshd restart

++csh改bash
chfn -s /usr/local/bin/bash username

++开机自动启动gnome
echo "exec /usr/local/bin/gnome-session" >/root/.xinitrc
在/etc/rc.conf 加入 gdm_enable="YES"

###++更新cvsup (第二次安装时没有更新cvsup,我只是用来做桌面系统而已)
###cd /usr/share/examples/cvsup
###编辑ports-supfile
###*default host=cvsup.FreeBSDChina.org
###cvsup -g -L 2 ports-supfile

++使用wget/axel加速你的port下载
通过修改make.conf实现
#FETCH_CMD=proz -s -k 5 –no-curses
FETCH_CMD= wget -c -t 1
DISABLE_SIZE=yes

++选择快的 ports 服务器
修改 /etc/make.conf 文件，在其中的最后部分加入如下语句：
MASTER_SITE_OVERRIDE= \
ftp://ftp.FreeBSDChina.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp.FreeBSDChina.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp.cn.freebsd.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \
ftp://ftp.tw.FreeBSD.org/pub/FreeBSD/ports/distfiles/${DIST_SUBDIR} \

++安装常用软件,pkg_add和make两种安装方法请开两个终端来安装
mkdir /usr/ports/distfiles/pkg
export  PACKAGESITE=ftp://ftp.freebsdchina.org/pub/FreeBSD/ports/i386/packages-6.2-release/Latest/
export PKGDIR=/usr/ports/distfiles/pkg
#export PACKAGESITE=ftp://ftp.freebsdchina.org/pub/FreeBSD/ports/i386/packages-6-stable/Latest/
#pkg_add -K参数可以将tbz源保存到$PKGDIR目录下,根据需要使用此参数
pkg_add -rK wget prozilla  gaim gaim-openq eva vsftpd gftp xpdf rdesktop stardict zh-stardict2-dict-zh_CN
compupic gthumb  zh-fcitx xchm.tbz zh-unrar
firefox2(6-stable源是3.0版本) fusefs-libs fusefs-kmod

++安装多媒体
下载下面的包,并安装
http://ftp.br.freebsd.org/local/packages/audio/lame-3.97_1.tbz
ftp://ftp.nsysu.edu.tw/FreeBSD/ports/i386/packages-5-stable/All/win32-codecs-3.1.0.p7_2,1.tbz
pkg_add -rK zh-xmms xmms-wma mplayer mplayer-fonts zh-mplayer-fonts kmplayer xine beep-media-player bmp-extra-plugins
aumix #音量控制
++xmms播放列表解决方法
打开xmms，然后，[首选项]–>[字体],将playlist变成：-misc-simsun-medium-r-normal-*-*-120-*-*-p-*-gb2312.1980-0",*-r-*

++安装声卡的驱动
kldload snd_driver    #一次加载了最常见的设备驱动
dmesg | grep pcm
cat /dev/sndstat,得到信息格式如下
FreeBSD Audio Driver (newpcm)
Installed devices:
pcm0: ; at io 0xdc00, 0xe000 irq 11 bufsz 16384 kld snd_ich (1p/1r/0v channels duplex default)
说明该声卡的类型为：snd_ich
#vi /boot/defaults/loader.conf
修改：snd_ich_load="NO" #intel Tch 这一行，
改成：snd_ich_load="YES" #intel Tch
(注意：如果在声卡驱动的这个小节，没有发现你的声卡类型，也可以手工自己加入一行，内容为
你的声卡类型_load = "YES" )
或直接在内核编译来支持声卡。
device sound
device snd_ich

++定制内核
/stand/sysinstall–>Configure–>Distributions–>src–>sys
安装后应该有/usr/src/sys文件夹
/boot/kernel/kernel #内核文件
cd /usr/src/sys/i386/conf &&  cp GENERIC GENERIC.bak
vi GENERIC #根据文档注释修改即可,不需要的行首加#
#cpu  I486_CPU
#cpu  I586_CPU
cpu  I686_CPU
ident  NEWKER  \\这里改成你内核的新名字
options SC_DISABLE_REBOOT   \\在控制台禁用CTRL+ALT+DEL键
\\加入防火墙
options    IPFIREWALL
options    IPFIREWALL_VERBOSE
options    IPFIREWALL_VERBOSE_LIMIT=5
options TCP_DROP_SYNFIN
\\下面这两条不加 apache2有点问题
options ACCEPT_FILTER_DATA
options ACCEPT_FILTER_HTTP
# PCI Ethernet NICs. #将这一部分的其它网卡型号注释掉,仅保留当前网卡驱动即可
device  miibus  # MII bus support  \\保留
/usr/sbin/config GENERIC #产生内核源代码
cd ../compile/GENERIC
make depend && make && make install
或#make buildkernel KERNCONF=NEWKER  
  #make installkernel KERNCONF=NEWKER

++配置防火墙
/etc/rc.conf
\\加入以下内容
firewall_enable="YES"
firewall_script="/etc/rc.firewall"
firewall_type="/etc/ipfw.rules"   \\这是防火墙自定义脚本
firewall_quiet="NO"
firewall_logging_enable="YES"
log_in_vain="NO"
tcp_drop_synfin="NO"
tcp_restrict_rst="YES"
icmp_drop_redirect="YES"
保存退出
vi /etc/ipfw.rules
\\ 大家注意 -q 前面要加一个空格
-q -f flush
-q add 00301 allow all from any to any via lo0
-q add 00302 check-state
-q add 00303 allow tcp from any to 10.72.255.131 53 out via vr0 setup keep-state  \\ 10.72.255.131 是DNS地址,大家根据本地的改下
-q add 00400 allow udp from any to 10.72.255.131 53 out via vr0 keep-state     \\  vr0 是我网卡的名称,大家根据己的改,以下都是一样
-q add 00500 allow tcp from any to any 80 in via vr0 setup keep-state
-q add 00900 allow tcp from any to any 25 out via vr0 setup keep-state
-q add 01200 allow tcp from any to any via vr0 setup keep-state uid root
-q add 01300 allow icmp from any to any in via vr0  keep-state
-q add 01400 allow tcp from any to any 21 in via vr0 setup keep-state
-q add 01500 allow tcp from any to me  21 in via vr0 setup limit src-addr 2
-q add 01600 allow tcp from any to any 22 in via vr0 setup keep-state
-q add 01800 allow tcp from any to me  22 in via vr0 setup limit src-addr 2
保存退出

++中文字体
将xp上simsun.ttc tahoma.ttf拷至/usr/X11R6/lib/X11/fonts/TTF/,并改扩展名为ttf
fc-cache -fv

++配置fcitx
cd /usr/ports/chinese/fcitx
make install clean
在~/.profile 文件中加以下三行 #因我用的是bash
export LANG="zh_CN.eucCN"
export LC_CTYPE="zh_CN.eucCN"
export XMODIFIERS='@im=fcitx'

++vim配置
cd /usr/ports/editors/vim  && make install clean #安装vim
cp /usr/local/share/vim/vim70/vimrc_example.vim ~/.vimrc
编辑.vimrc,注释掉" set nocompatible行

++安装ntfs写支持
安装 Kernel source
手工下载软件包
http://ftp.lv.freebsd.org/pub/FreeBSD/ports/packages/Latest/fusefs-ntfs.tbz
pkg_add path/fusefs-ntfs.tbz

++JAVA环境安装
1.open http://www.sun.com/software/java2/download.html, download the SCSL Source file,jdk-1_5_0-src-scsl.zip and the SCSL Binaries file, jdk-1_5_0-bin-scsl.zip .
2.In addition, please download the patchset, bsd-jdk15-patches-3.tar.bz2, from http://www.eyesbeyond.com/freebsddom/java/jdk15.html.
3.manually fetch the J2SE SDK self-extracting file for the Linux platform (j2sdk-1_4_2_12-linux-i586.bin) from http://javashoplm.sun.com/ECom/docs/Welcome.jsp?StoreId=22&PartDetailId=j2sdk-1.4.2_12-oth-JPR&SiteId=JSC&TransactionId=noreg
4.Please place the downloaded file(s) in /usr/ports/distfiles
pkg_add -rK m4 
pkg_add -rK zip

++vsftpd配置
编辑 /usr/local/etc/vsftpd.conf加入三行
listen=YES
ftp_username=ftp
local_enable=YES
anon_upload_enable=YES
anon_mkdir_write_enable=YES
write_enable=YES

++linux下fdisk工具
pkg_add -rK linuxfdisk

===其它===
++挂设备
mount_cd9660 -C gbk /dev/acd0 /mnt/cdrom #加-C eucCN为了显示中文文件名
mount_msdosfs  #fat
mount_ntfs     #ntfs

++如何以关键字搜寻 ports
cd /usr/ports/
make search key=ldap
make search name=ldap  #知道软件名用这个

make fetch-recursive

    05. 0：移动到当前行最前面
    06. $：移动到当前行最后面
    07. ^：移动到当前行第一个非空白字符

    08. b：向左移动到下一个单词的第一个字符
    09. w：向右移动到下一个单词的第一个字符
    10. e：向右移动到下一个单词的最后一个字符
 
    11. H：移动到当前页第一行
    12. M：移动到当前页中间行
    13. L：移动到当前页最后行
    14. Ctrl + f：向下翻页
    15. Ctrl + b：向上翻页
    16. Ctrl + d：向下翻半页
    17. Ctrl + u：向上翻半页

    18. n-：向上移动n行
    19. n+：向下移动n行
    20. nG：移动到第n行（n为0表示移动到最后一行）
    21. fx：向右移动到x字符上
    22. Fx：向左移动到x字符上
    23. tx：向右移动到x字符前
    24. Tx：向左移动到x字符前
    25. ;：重复上一次f或t操作
    26. ,：反向重复上一次f或t操作
    27. /string：向右移动到string上
    28. ?string：向左移动到string上
    29. n：重复上一次/或?操作
    30. N：反向重复上一次/或?操作
   
    31. n(：向左移动n个句子（句子以.?!划分）
    32. n)：向右移动n个句子
    33. n{：向左移动n个段落（段落以空白行划分）
    34. n}：向右移动n个段落
   
二. 编辑指令
    01. a：从光标所在位置后面开始追加内容
    02. A：从光标所在行后面开始追加内容
    03. i：从光标所在位置前面开始插入内容
    04. I：从光标所在行前面开始插入内容
    05. o：从光标所在行下面开始新增一行
    06. O：从光标所在行上面开始新增一行
   
    07. x：删除光标所在位置字符
    08. r：替换光标所在位置的字符，r后紧跟要替换的字符
    09. R：替换光标所在的行，直到键入Esc为止
    10. s：删除光标所在位置的字符，并进入输入模式
    11. S：删除光标所在的行，并进入输入模式
    12. u：恢复上一次修改
    13. U：恢复光标所在行的所有修改
   
    14. d（删除）、p（复制）c（修改）：这三个指令分别与前面介绍过的e、w、b、$、0、)、(、}、{组合代表在某一范围内的具体操作
    15. p：粘贴
    16. D：删除光标所在位置到该行结束
    17. dd：删除光标所在行
    18. cc：删除光标所在行，并进入输入模式
    19. yy：复制光标所在行
    20. v：选定操作范围
   
三. 退出指令
    01. :q：在没有任何修改的情况下退出
    02. :q!：放弃已经作出的修改并退出
    03. :w：保存修改
    04. :wq：保存修改并退出
    05. :x：保存修改并退出 

||  Projects  ||  Funding  ||  People  ||  Publications  || Tutorials  ||  Demos  ||  Datasets  ||

This research aims at enabling effective access to structured information sources on the Internet. Over the past few years, the Web has deepened dramatically- A significant and increasing amount of information is hidden on the "deep" Web, behind the query interfaces of searchable databases. There are numerous such autonomous and heterogeneous sources, each with a different schema and native query constraints. Because current crawlers cannot effectively query databases, such data is invisible to traditional search engines, and thus remains largely hidden from users.

We propose to build a metaquery system, to help users in finding and querying online databases effectively and uniformly. Our efforts aim at opening up the deep Web to users, by building a MetaQuerier; see the architecture below. On this wild frontier of the deep Web, the MetaQuerier will address the challenges of both exploration and integration. Our goal is thus two fold: First, to make the deep Web systematically accessible: the MetaExplorer will discover sources on the deep Web to build a searchable repository, in order to help users find sources useful for their information need. Second, to make the deep Web uniformly usable: the MetaIntegrator will help users interact with online databases to ask queries.

Projects

• First, the MetaExplorer project focuses on the discovery, modeling, and structuring of databases on the Web, to build a searchable source repository. Essentially, this MetaExplorer project will develop a "search engine" of Web databases: It will develop crawlers for efficiently discovering databases on the Internet, design models for representing these databases, develop wrappers for automatically extracting their model parameters (e.g., schema details on their query interfaces), and structure and index a searchable repository of Web sources.

• Second, the MetaIntegrator project focuses on the integration issues of online sources-- i.e., to bring sources coherently together for query answering. Specifically, we will investigate source selection, query mediation, and schema integration, for building the MetaIntegrator. In studying large-scale integration, these thrusts will benefit from the source repository of the companion MetaExplorer. We will investigate the key enabling technology of dynamic ad-hoc information integration. In contrast to a traditional static system, our MetaIntegrator is dynamic (as new sources may be added any time when they are discovered) and essentially requires ad-hoc integration, which must dynamically select and bring together different sources to answer a query.

Funding

• NSF CAREER Award 2002, IIS-0133199: for MetaExplorer
• NSF ITR Award 2003, IIS-0313260: for MetaIntegrator
• NSF REU/ITR Award 2004, IIS-0434721
• Intel WIE Intel Scholars Grant 2004
• NCSA (National Center for Supercomputing Applications) Faculty Fellows Award 2003
• UIUC Faculty Startup Funds

People

• Kevin Chen-Chuan Chang
• Bin He
• Chengkai Li
• Zhen Zhang
• Govind Kabra
• Shui-Lung Chuang

Publications

• Context-Aware Wrapping: Synchronized Data Extraction. S.-L. Chuang, K. C.-C. Chang, and C. Zhai. To appear in Proceedings of the 33rd International Conference on Very Large Data Bases (VLDB), Vienna, Austria, September 23-28 2007. [PDF]
• Accessing the Deep Web: A Survey. B. He, M. Patel, Z. Zhang, and K. C.-C. Chang. Communications of the ACM (CACM), 50(5):94-101, May 2007. [PDF]
• Collaborative Wrapping: A Turbo Framework for Web Data Extraction. S.-L. Chuang, K. C.-C. Chang, and C. Zhai. In Proceedings of the IEEE 23rd International Conference on Data Engineering (ICDE), Istanbul, Turkey, April 2007. [PDF] (poster)
• Automatic Complex Schema Matching across Web Query Interfaces: A Correlation Mining Approach. B. He and K. C.-C. Chang. ACM Transactions on Database Systems (TODS), 31(1), March 2006. [PDF]
Light-weight Domain-based Form Assistant: Querying Web Databases On the Fly. Z. Zhang, B. He, and K. C.-C. Chang. In Proceedings of the 31st Very Large Data Bases Conference (VLDB 2005), Trondheim, Norway, August 2005. [PDF]
• Making Holistic Schema Matching Robust: An Ensemble Approach. B. He and K. C.-C. Chang. In Proceedings of the 2005 ACM SIGKDD Conference (KDD 2005) (Full Paper), Chicago, Illinois, August 2005. [PDF]
• Query Routing: Finding Ways in the Maze of the Deep Web. G. Kabra, C. Li, and K. C.-C. Chang. In Proceedings of the ICDE International Workshop on Challenges in Web Information Retrieval and Integration (ICDE-WIRI 2005), Tokyo, Japan, April 2005. [PDF]
• Toward Large Scale Integration: Building a MetaQuerier over Databases on the Web. K. C.-C. Chang, B. He, and Z. Zhang. In Proceedings of the Second Conference on Innovative Data Systems Research (CIDR 2005), Asilomar, California, January 2005. [PDF]
• Mining Semantics for Large Scale Integration on the Web: Evidences, Insights and Challenges. K. C.-C. Chang, B. He, and Z. Zhang. SIGKDD Explorations, 6(2):67-76, December 2004. Invited paper. [PDF]
• A Holistic Paradigm for Large Scale Schema Matching. B. He and K. C.-C. Chang. SIGMOD Record, 33(4):20-25, December 2004. Invited paper. [PDF]
• Organizing Structured Web Sources by Query Schemas: A Clustering Approach. B. He, T. Tao, and K. C.-C. Chang. In Proceedings of the 13th Conference on Information and Knowledge Management (CIKM 2004) (Full Paper), Washington D.C., November 2004. [PDF]
• Structured Databases on the Web: Observations and Implications. K. C.-C. Chang, B. He, C. Li, M. Patel, and Z. Zhang. SIGMOD Record, 33(3):61-70, September 2004. [PDF]
• MetaQuerier over the Deep Web: Shallow Integration across Holistic Sources. K. C.-C. Chang, B. He, and Z. Zhang. In Proceedings of the VLDB Workshop on Information Integration on the Web (VLDB-IIWeb'04), Toronto, Canada, August 2004. [PDF]
• On-the-fly Constraint Mapping across Web Query Interfaces. Z. Zhang, B. He, and K. C.-C. Chang. In Proceedings of the VLDB Workshop on Information Integration on the Web (VLDB-IIWeb'04), Toronto, Canada, August 2004. [PDF]
• Discovering Complex Matchings across Web Query Interfaces: A Correlation Mining Approach. B. He, K. C.-C. Chang, and J. Han. In Proceedings of the 2004 ACM SIGKDD Conference (KDD 2004) (Full Paper), Seattle, Washington, August 2004. [PDF]
• Mining Complex Matchings across Web Query Interfaces. B. He, K. C.-C. Chang, and J. Han. In Proceedings of the 9th ACM SIGMOD Workshop on Research Issues on Data Mining and Knowledge Discovery (SIGMOD-DMKD'04) (Full Paper), Paris, France, June 2004. [PDF]
• Understanding Web Query Interfaces: Best-Effort Parsing with Hidden Syntax. Z. Zhang, B. He, and K. C.-C. Chang. In Proceedings of the 2004 ACM SIGMOD Conference (SIGMOD 2004), Paris, France, June 2004. [PDF]
• Clustering Structured Web Sources: A Schema-based, Model-Differentiation Approach. B. He, T. Tao, and K. C.-C. Chang. In Proceedings of the EBDT Workshop on Clustering Information over the Web (EDBT-ClustWeb'04), Crete, Greece, March 2004. An expanded version of this paper, invited to be a part of the Current Trends in Database Technology volume, is published in the Springer-Verlag Lecture Notes in Computer Science Series Vol. 3268. [PDF]
• Statistical Schema Matching across Web Query Interfaces. B. He and K. C.-C. Chang. In Proceedings of the 2003 ACM SIGMOD Conference (SIGMOD 2003), San Diego, California, June 2003. [PDF]
• Approximate Query Translation Across Heterogeneous Information Sources. K. C.-C. Chang and H. Garcia-Molina. In Proceedings of the 26th VLDB Conference (VLDB 2000), pages 566-577, Cairo, Egypt, September 2000. [Extended Version]

Technical Reports

• A Structure-Driven Yield-Aware Web Form Crawler: Building a Database of Online Databases. B. He, C. Li, D. Killian, M. Patel, Y. Tseng, and K. C.-C. Chang. UIUCDCS-R-2006-2752, Department of Computer Science, UIUC, July 2006. [PDF]

Tutorials

• Accessing the Web: From Search to Integration. K. C.-C. Chang and J. Cho. In Proceedings of the 2006 ACM SIGMOD Conference (SIGMOD 2006), Chicago, June 2006. Tutorial description. [PDF] [Part II: Web Integration; Bibliography]

Demos

• Online Demo: Query capability extraction for understanding Web query interfaces
• MetaQuerier: Querying Structured Web Sources On-the-fly. B. He, Z. Zhang, and K. C.-C. Chang. In Proceedings of the 2005 ACM SIGMOD Conference (SIGMOD 2005), System Demonstration, Baltimore, Maryland, June 2005. [PDF]
• MetaQuerier: Querying Structured Web Sources On-the-fly. B. He, Z. Zhang, and K. C.-C. Chang. In Second Midwest Database Research Symposium, Chicago, Illinois, April 2005.
• Towards Building a MetaQuerier: Extracting and Matching Web Query Interfaces. B. He, Z. Zhang, and K. C.-C. Chang. In Proceedings of the 21st International Conference on Data Engineering (ICDE 2005), System Demonstration, Tokyo, Japan, April 2005. [PDF]
• Towards Building a MetaQuerier: Extracting and Matching Web Query Interfaces. B. He, Z. Zhang, and K. C.-C. Chang. In NSF Information and Data Management (IDM) Workshop 2004, Boston, Massachussett, October 2004.
• Knocking the Door to the Deep Web: Integrating Web Query Interfaces. B. He, Z. Zhang, and K. C.-C. Chang. In Proceedings of the 2004 ACM SIGMOD Conference (SIGMOD 2004), System Demonstration, Paris, France, June 2004. [PDF]
• Toward a MetaQuerier for the Deep Web: Integrating Web Query Interfaces. B. He, Z. Zhang, and K. C.-C. Chang. In First Midwest Database Research Symposium, Chicago, Illinois, April 2004.
• Knocking the Doors to the Deep Web: Understanding Web Query Interfaces. Z. Zhang, B. He, and K. C.-C. Chang. In NSF Information and Data Management (IDM) Workshop 2003, Seattle, Washington, September 2003.

Datasets

• The UIUC Web Integration Repository

查找"看不见的网页"的途径与工具

邢志宇

  "看不见的网页"（The Invisible Web）是指搜索引擎商出于自身考虑不愿索引的某些网络内容，或是因为技术原因普通搜索引擎（popular search engines）无法索引的网络内容。这些普通搜索引擎的"蜘蛛"不容易接近的"深层网络"（deep Web）的数量，要比搜索引擎索引的网页（visible Web）多出500多倍。如何搜索Invisible Web 已经引起国内外学者和网络搜索爱好者的关注。就搜索技术而言，搜索网站和搜索引擎商正在寻求构建能够揭示Invisible Web的目录指南，或改进搜索技术，增加搜索功能等多种对策；就具体搜索而言，用户应注意调整搜索策略，熟悉相关目录和专用搜索引擎，掌握相应的搜索技巧。一般来说，搜索Invisible Web可以从目录指南（directories）、具有检索功能的网站（searchable sites）、免费数据库（free Web databases），以及专用搜索引擎（specialized search engines）和优秀普通搜索引擎等四种途径入手，选择使用相应的检索工具。 

一、目录指南

1、Librarians' Index to the Internet( http://lii.org/)，一个可以信赖的经过图书馆员筛选和维护的包括14,000多个网站的主题目录，在查询框输入一个宽泛的主题词加上"and databases"就可以进入相关的
"Invisible Web"资源，如输入检索词"biology and databases"（生物和数据库），就可找到普通搜索引擎无法索引的有关生物方面的数据库资源。

2、FindLaw ( http://www.findlaw.com/)，世界著名的法律网站，在法律条目下链接许多免费数据库，是查找法律Invisible Web的常用工具。

3、InfoMine ( http://infomine.ucr.edu)，图书馆员编制的包括120,000 多个学术网站的分类目录。

4、About.com ( http://www.about.com/) ，内容广泛，查询主题数以万计，包括众多"Invisible Web"资源，并有精选新闻和评论，输入"Invisible Web"可以找到很多隐藏网页链接，如："Invisible Web: The Cloaked Internet"（"看不见的网页"：被掩盖的网络资源）、 " Visible versus Invisible Web"（从可见网页到"看不见的网页"）等等， 可作为搜索"Invisible Web"的指南。

5、Academicinfo（ http://www.academicinfo.net/），学术资源主题指南，提供一个适合大学生利用的学术网络资源检索入口。它以"Subject Gateway"区分知识领域，利用知识树的方式细分主题，主题下汇集该门学科的包括数据库等的各种相关网络资源，而不仅仅是网站的链接。该目录以图书馆和学术单位的电子资源为主，主题的分类和内容指引清晰易寻，使用方便。 

二、搜索"Invisible Web"的网站

1、Direct Search ( http://www.freepint.com/gary/direct.htm)，最具权威的用于检索"看不见的网页"的网站，拥有数量庞大的Invisible Web资源链接。

2、The Invisible Web Directory ( http://www.invisible-web.net/)，《看不见的网页》（The Invisible Web:  Uncovering Information Sources Search Engines Can't See ）作者 Chris Sherman和 Gary Price创办的专门用于指导检索Invisible Web资源的网站，网站的宗旨是"寻找搜索引擎无法找到的隐藏的网络资源"（Finding Hidden Internet Resources Search Engines Can't See）。

3、Profusion ( http://www.profusion.com)， Intelliseek公司旗下的一个智能型并行元搜索引擎，其搜索对象分为包括WEB（万维网）、News（新闻）、Jobs（职业信息）、MP3、 Downloads（下载文件）、Legal（法津）、Discussions（讨论组）等21个资源大类。可搜索以网页搜索为主的其它搜索引擎无法搜索到的数据库、百科全书等资源类型的信息。

4、CompletePlanet ( http://www.completeplanet.com/)，BrightPlanet公司经营的网站，包括70,000多个可以检索的数据库及专用搜索引擎，用于从数据库查找不能够被普通搜索引擎索引的文件。

三、Invisible Web 数据库

1、AnimalSearch ( http://animalsearch.net/)，一个适合家庭使用的有关动物的网站数据库。

2、Educator's Reference Desk ( http://www.eduref.org/)，在过去的十年中，该网站始终链接着AskERIC网站上的2000多个教学计划, 3000多种在线教育信息链接和200多件咨询档案。该网站提供 "ERIC教育研究数据库"--世界最大的教育资源数据库和美国教育部的GEM（Gateway to Educational Materials）的检索入口。

3、NatureServe Explorer( http://www.natureserve.org/explorer)，网上百科全书，提供美国和加拿大
60,000多种植物、动物、生态系统的权威资料。

4、Nuclear Explosions Database ( http://www.ga.gov.au/oracle/nukexp_query.html)，澳大利亚地球科学数据库，提供1945年以来世界范围内核爆炸的地点、时间、规模等数据，点击"databases"下的"Online Tools"可以看到在线制图工具和数据库列表。

5、PubMed ( http://www.ncbi.nlm.nih.gov/entrez/query.fcgi), 提供对MEDLINE（美国国家医学图书馆的文献数据库）1400多万全文和相关资源的检索，还可以浏览美国国家医学图书馆（NLM）所属的国家生物技术信息中心（NCBI）的数字化生命科学期刊文献馆（PubMed Central (PMC)）中160多种专业期刊全文和《书架》
（Bookshelf）数据库中不断增长的生物医学工程图书的全文,它还提供目前世界上最大的生物分子数据库NCBI的Entrez数据库检索系统，以此为入口可以检索更多的生命科学方面的数据库。

6、LookSmart's FindArticles ( http://www.findarticles.com/)，LookSmart管理的一个免费全文数据库，可提供900多种出版物的5500万篇文章的全文免费检索和打印。从LookSmart主页（http://search.looksmart.com/）上列的"Articles"按钮，也可进入该数据库。

7、Directory of Open Access Journals ( http://www.doaj.org/)，2003年5月由瑞典隆德大学图书馆推出的开放式目录检索系统，免费提供1300多种期刊的篇目检索和300多种自然科学、人文科学及社会科学期刊的全文检索。

四、搜索引擎

1、Incywincy（ http://www.incywincy.com/），以Net Research Server (NRS)技术为核心的Invisible Web搜索引擎，其目录是由DMOZ（http://dmoz.org/）提供的 Open Directory Project，其"蜘蛛"程序并不是探寻所有的网站，而仅仅是抓取ODP中的Invisible Web网页。

2、google scholar( http://scholar.google.com),Google学术搜索实际上是Google索引的一个子集，涉及医药、物理、经济以及计算机科学等多个领域，可以搜到一些与输入关键词相关的学术性刊物文章，研究机构论文、书籍、摘要及技术报告等等,搜索结果中可以列出文章的不同版本以及被其他文章所引用的次数。它可以对pubmed（美国国立生物技术信息中心 (NCBI)开发的用于检索MEDLINE、PreMED-LINE数据库的网上检索系统）等独立的专业数据库进行检索。

3、Singingfish ( http://www.singingfish.com)，一个优秀的声/视频搜索引擎，它只索Windows Media、
Real、 QuickTime、mp3等多媒体文档，其搜索结果可以免费使用。

4、Google News ( http://news.google.com/) 颇受好评的Google新闻搜索，拥有4500多个新闻源，每15分钟自动更新，其"Top Stories"下拉菜单，可供浏览不同国家的"最新新闻"。注：Yahoo!News、Topix.net、
Daypop等也有类似功能。 

5、Scirus ( http://www.scirus.com/) ，一个覆盖16700多万网页的著名的科学搜索引擎，它的高级搜索功能尤其令人称道，可以从科学学科（如： Agricultural and Biological Sciences、Astronomy...）、信息源（如：NASA、 US Patent Office...）、文件格式（如：PDF、HTML...）、信息类型（如：Abstracts、Articles、 Books...）等途径检索1920年至今的期刊和网络科学文献，查找具体数据、报告、文章和相关研究网页极为方便。

在搜索多种非HTML文档（non-HTML files）方面功能强大或独具特色的普通搜索引擎，如Google (http://www.google.com/) 、Yahoo!  (http://www.yahoo.com/)、Gigablast (http://www.gigablast.com/)等，也是搜索Invisible Web不可忽视的工具

数据预处理技术：

1、  数据清理 去除噪声 纠正不一致数据

2、  数据整合 把多个数据源的数据合成一致的数据存储

3、  数据转换 规范化（按比例映射到一个特定的区间[0.0,1.0]）可以改进涉及距离度量的挖掘算法的精度和效率

4、  数据归约 通过聚集（aggregation）、消除冗余特性、聚类（clustering）减小数据规模

5、  离散化 & 概念分层

数据仓库：多个一种数据源在单个站点以统一的模式组织存储，以支持决策分析。

数据仓库技术包括 数据清理 数据集成 联机分析处理（OLAP）

OLAP是一种分析技术，具有汇总、合并和聚集功能。

数据挖掘（DM）or 知识发现（KDD）过程：

1）  数据清理 （消除噪声或不一致数据）

2）  数据集成 （组合多种数据源）

3）  数据选择 （从数据库中检索与分析任务相关的数据）

4）  数据变换 （数据变换或统一成适合挖掘的形式）

5）  数据挖掘 （使用智能方法提取数据模式）

6）  模式评估 （根据某种兴趣度度量，识别表示知识的真正有趣的模式）

7）  知识表示 （使用可视化和知识表示技术，向用户提供挖掘到的知识）

数据挖掘的功能 —— 可以挖掘什么类型的模式

数据挖掘任务分两类：描述 and 预测

Descriptive mining tasks characterize the general properties of the data in the database. Predictive mining tasks perform inference on the current data in order to make predictions.

描述性的数据挖掘任务用于特征化数据库数据的一般属性。

预测性数据挖掘任务通过对当前数据进行推断来进行预测。

Data mining functionalities, and the kinds of patterns they can discover, are described below.

1、  Concept/class description: characterization and discrimination

  These descriptions can be derived via

1）       data characterization, by summarizing the data of the class under study (often called the target class) in general terms

2）       data discrimination, by comparison of the target class with one or a set of comparative classes (often called the contrasting classes)

3）       both data characterization and discrimination

2、  Association analysis

    Support 支持度  confidence 置信度

multidimensional association rule

single-dimensional association rules

3、  Classication and prediction

分类：通过对类标签已知数据（即：训练数据）的分析，得到一组模型或公式。然后可以利用得到的模型来预测类标签未知对象的分类。

模型的表示形式：（IF-THEN）分类规则、判定树、数学公式、神经网络

分类用于预测数据对象的类标记

预测用于预测空缺或不可用的数值

相关分析 可能在分类和预测之前进行，用于识别对分类和预测无用的属性。预先排除。

4、  Clustering analysis

由于一般情况下，训练数据并不是被标记好的，所以，需要用聚类分析来给训练数据分组。分组原则：最大化类内相似性、最小化类间相似性 （maximizing the intraclass similarity and minimizing the interclass similarity）

A Roadmap to Text Mining and Web Mining

- Under Construction, Last Modified: Jan 8, 2002 -

• Text Mining in General

  • M. Hearst, Untangling Text Data Mining, ACL99
  • Mining in Textual Mountains: An Interview with Marti Hearst, Mappa Mundi, 1999
  • Semio Co., Text Mining and the Knowledge Management Space, 1999
  • D. Radev, Text Data Mining: An Overview

  • Workshops
    • PAKDD-2002 Workshop on Text Mining
    • SDM-2002 Text Mining Workshop (Text Mining 2002)
    • ICDM-2001 Workshop on Text Mining (TextDM'2001)
    • SDM-2001 Text Mining Workshop (TextMine'01)
    • KDD-2000 Workshop on Text Mining
    • UMN-IMA Text Mining Workshop (2000)
    • IJCAI-99 Workshop on Text Mining
    • ECML-98 Workshop on Text Mining

  • Tutorials
    • D. Mladenic & M. Grobelink, ECML/PKDD-2001 Tutorial on Text Mining

  • Classes
    • M. Hearst, Seminar on Text Data Mining (SIMS, UCBerkeley)
    • W. Cohen, Machine Learning for Text Mining (LTI, CS, CMU)
    • W. Pratt, Text Mining (ICS, UCI)

  • Links
    • Google Directory: Text Mining
    • Open Directory: Text Mining

• Web Mining in General

  • R. Kosala et. al, Web Mining Research: A Survey, SIGKDD Explorations, 2000
  • R. Cooley et. al, Web Mining: Information and Pattern Discovery on the World Wide Web
  • D. Greening, Data Mining on the Web, WebTechniques, 2000

  • People
    • Sergey Brin
    • Oren Etzioni
    • David W. Embley
    • Filippo Menczer
    • Bamshad Mobasher

  • Workshops
    • ECML/PKDD-2001 Semantic Web Mining Workshop
    • SDM-2001 Workshop on Web Mining
    • PRICAI-2000 Workshop on Text and Web Mining
    • INFWET97

• Task-Driven Text Mining

  • Text Categorization
    • Y. Yang, An Evaluation of Statistical Approaches to Text Categorization, Journal of IR, 1999
    • Andrew McCallum
    • Kamal Nigam
    • David D. Lewis
    • AAAI98 Workshop on Learning for Text Categorization
    • Text Mining, Automatic Classification & Indexing
  • Document Clustering
    • Clustering Text & Useful Scripts
    • Scatter/Gather
    • I. Dhillon, Co-Clustering Documents and Words Using Bipartite Spectral Graph Partitioning, KDD01.
  • Rule Mining from Text
    • H. Ahonen-Myka et. al, Applying Data Mining Techniques in Text Analysis, Technical Report, 1997
    • R. Feldman et. al, FACT, 1996
    • R. Feldman et. al, Knowledge Discovery in Texts(KDT), KDD95
    • Rayid Ghani
    • Heikki Mannila
  • Relationship Mining
    • Y. Park et. al, Hybrid Text Mining for Finding Abbreviations and Their Definitions, EMNLP-2001
    • N. Sundaresan et. al, Mining the Web for Relations, WWW9, 2000
    • L. Larkey et. al, Acrophile: An Automated Acronym Extractor and Server, ACM DL-2000
    • J. Yi et. al, Mining the Web for Acronyms Using the Duality of Patterns and Relations, ACM CIKM-99 Workshop on Web Information and Data Management
  • Topic Detection
    • Chris Clifton
  • Text Segmentation
    • UCBerkeley TextTiling
  • Text Summarization
    • Text Summarization Technology
  • Knowledge Understanding
    • Udo Hahn
  • Text Navigation, Visualization and User Interface
    • UCBerkeley Cat-a-Cone
    • MIT Shakespeare Project
    • Data Visualization

• Methodology-Driven Text Mining

  • Neural Networks
    • WEBSOM - SOM-based Text Mining
    • D. Merkl et. al, Text Data Mining, In A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language as Text, 1998
    • Vitali Schetinin
  • Evolutionary Computation
    • A. Freitas, A Survey of Evolutionary Algorithms for Data Mining and Knowledge Discovery, In Advances in Evolutionary Computation, 2002.
  • Parallel Text Mining
    • J. Chen, Parallel Text Mining for Cross-Language Information Retrieval Using a Statistical Translation Model
  • Hyperlinks Analysis
    • Soumen Chakrabarti, Automatic Resource Compilation by Analyzing Hyperlink Structure and Associated Text, WWW7, 1998

• Application-Driven Text Mining

  • Bioinformatics
    • Text Mining for Bioinformatics Tutorial
    • Text Mining for Molecular Biology
  • Business and Customer Relationship Management(CRM)
    • D. Evans, Text Mining Towards Decision Supports, 1999
    • C. Halliman, Business Intelligence Using Smart Techniques: Environmental Scanning Using Text Mining and Competitor Analysis Using Scenarios and Manual Simulation

• Text Mining in the Noisy World

  • Data Mining in the Noisy World
    • Z. Tian et. al, An N-gram-based Approach for Detecting Approximately Duplicate Database Records, International Journal on Digital Libraries, 2001
    • W. Cohen, Hardening Soft Information Sources, KDD00
    • M. Hernandez et. al, Real-world Data is Dirty: Data Cleansing and The Merge/Purge Problem, Data Mining and Knowledge Discovery, 1998
    • Merge-Purge and Data Cleaning
  • Machine Learning in the Noisy World
    • P. Domingos, Unifying Instance-Based and Rule-Based Induction, Machine Learning, 1996
    • C. Janikow, FID: Fuzzy Decision Trees
  • Information Retrieval in the Noisy World
    • G. Bordogna et. al, Modeling Vagueness in Information Retrieval, ESSIR, 2000
  • Databases in the Noisy World (a.k.a. Information Integration)
    • H. Lu et. al, Discovering and Reconciling Semantic Conflicts: A Data Mining Conflicts, DS-7, 1997

• Tools for Text Mining (Or Related Fields)

  • Information Extraction
    • D. Appelt et. al, Introduction to Information Extraction Technology, IJCAI-99 Tutorial
    • H. Cunningham, Information Extraction: A User Guide, Technical Report, 1999
    • I. Muslea, Extraction Patterns for Information Extraction, AAAI-99 Workshop on Machine Learning for Information Extraction
    • I. Muslea, Extraction Patterns: From Information Extraction to Wrapper Induction, Technical Report, 1998
    • C. Cardie, Empirical Methods in Information Extraction, AI Magazine, 1997
    • Repository
      • I. Muslea, RISE: Repository of Information Extraction
    • Workshops
      • AAAI-99 Workshop on Machine Learning for Information Extraction
    • Machine Learning Techniques for Information Extraction
      • M. Califf et. al, Relational Learning of Pattern-Match Rules for Information Extraction, AAAI-99
      • Mark Craven
      • Tom Mitchell
      • Stephen Soderland
    • Statistical Information Extraction
      • Dayne Freitag
      • Hugo Zaragoza
    • Wrapper Induction
      • N. Kushmerick, Wrapper induction: Efficiency and Expressiveness, Artificial Intelligence, 2000
    • Information Extraction and Text Mining
      • IJCAI-2001 Workshop on Adaptive Text Extraction and Mining
    • Information Extraction and Information Retrieval
      • J. Bear et. al, Using Information Extraction to Improve Document Retrieval, TREC6, 1997
  • Natural Language Processing
    • Computational Linguistics Journal
    • COLING-2002 | ACL-2002
    • C. Manning et. al, Foundataions of Statistical Natural Language Processing
    • D. Jurafsky et. al., Speech and Language Processing
    • LIA Publication
    • Text Mining for Natural Language Processing
      • D. Lin et. al, Discovery of Inference Rules for Question-Answering, Journal of Natural Language Engineering, 2001
      • D. Lin et. al, Induction of Semantic Classes from Natural Language Text, KDD-2001
    • Natural Language Processing and Databases
      • NLDB-2002
  • Machine Learining
    • Machine Learning Journal
    • ICML-2002
    • Repository
      • UCI Machine Learning Repository
    • Machine Learning on Text
      • UW-Madison: Machine Learning for Text Analysis (2000)
      • ICML-99 Workshop on Machine Learning in Text Data Analysis
  • Information Retrieval
    • Information Retrieval Journal
    • ACM SIGIR-2002
    • IR Resources
    • WebIR
    • The Center for Intelligent Information Retrieval at UMass
    • R. Baeza-Yates et. al, Modern Information Retrieval
    • Information Retrieval for Text Mining
      • J. Neto et. al, Document Clustering and Text Summarization
    • Information Retrieval on the Web
      • Data Engineering Special Issue on Next-Generation Web Search
      • AAAI-2000 Workshop on AI for Web Search
      • V. Raghavan, Information Retrieval on the World-Wide Web, 1997
    • Information Retrieval and Machine Learning
      • R. Belew et. al, Machine Learning and Information Retrieval
    • Information Retrieval using Natural Language Processing
      • A. Arampatzis, Linguistically-Motivated Information Retrieval
  • Data Mining
    • Data Mining and Knowledge Discovery Journal
    • ACM KDD-2002 | ICDM-2002
    • J. Han et. al, Data Mining: Concepts and Techniques, Morgan Kaufmann, 2001
    • KDNuggets Directory
  • Databases
    • VLDB Journal
    • ACM SIGMOD-2002
    • D. Sullivan, Document Warehousing and Text Mining
  • Web
    • World Wide Web Journal
    • WWW-2002
    • WWW + Databases: WebDB
  • Digital Libraries
    • D-Lib Forum & Magazine
    • ACM JCDL-2002
  • Intelligent Agents
    • Autonmous Agents and Multi-Agent Systems Journal
    • AAMAS-2002
    • Agent Web
    • BotSpot FAQ
    • Web Agent
      • C. Petrie, Agent-Based Engineering, the Web, and Intelligence, IEEE Expert, 1996
      • Syskill & Webert: Identifying Interesting Web Sites
    • Agent and Information Retrieval
      • Agent-Based IR
  • Haym Hirsh
  • Foster Provost
  • Jason Rennie
  • Sean Slattery
  • Charles Elkan
  • Christos Faloutsos
  • Geoff Webb
  • Osmar R. Zaiane
  • W. Fan
  • Bing Liu

• Institutions

  • UT-Austin Machine Learning Group
  • CMU Text Learning Group
  • University of Helsinki FDK Data Mining and Machine Learning Group
  • Albert-Ludwigs-University Computational Linguistic Research Group
  • University of Waikato Text Mining Group
  • Text Mining at Kent Ridge Digital Lab(KRDL), Singapore
  • Text Mining at PMSI, France
  • Imperial College Data Mining Group
  • Text Mining at KI, Germany
  • XRCE MLTT
  • LIA TLN

• Projects

  • IBM Clever
  • IBM Data Abstraction
  • Web->KB
  • WebWatcher
  • STARTS
  • FAQFinder
  • Combining Machine Learning and Natural Language Processing for Knowledge Discovery in Text Corpora
  • IBM-TRL Text Mining

• Products

  • Brosis Xcise
  • iCrossReader
  • Intelligent Miner for Text (IBM)
  • Leximancer
  • SRA
  • Temis
  • TextAnalyst (Megaputer)
  • Text Mining by Filter Composition
  • Text Mining Tools (The Data Warehousing Information Center)
  • VantagePoint
  • VisualText (TextAnalysis)
  • WizSoft
  • WordStat (Provalis Research)
  • Alembic Workbench (MITRE)
  • INTEX (LADL)
  • LexGram (University of Stuttgart)
  • LinguistX Platform (InXight)
  • PAGE (DFKI)
  • Pinocchio (ITC-Irst)