1、删除不要的链接

　　2、获取有用的链接

　　有用的链接中就包括绝对路径的链接和相对路径的链接,处理方式如下

　　1、绝对链接直接获取

　　2、例如 “/cat.html” 的链接转换成 域名+/cat.html 获取

　　3、例如 “cat.html” 的链接转换成 当前路径+cat.html 获取

　　4、还有一些例如 “../../cat.html” 的链接同样处理

　　所以从搜索引擎角度来看，这些链接都一样，到其数据库中的都是一个完整的链接，而且链接转换是蜘蛛必备的基本功能，不会给蜘蛛造成任何不顺，所以从SEO的角度看，两种路径在搜索引擎眼中是完全一样

　　下面看看两种路径的优缺点

　　绝对路径URL优点是：

　　1、如果有人采集你的网站，里面的链接还会指向你的网站

　　2、就算你移动网页位置，里面的链接还是指向正确的URL缺点，程序不利于测试，因为上面的链接都是绝对链接，放到服务器下才好测试

　　相对路径优点是：

　　1、移动内容比较容易

　　2、测试容易

　　缺点

　　1、页面位置发生变化时，链接容易失效

　　2、更容易被抄袭和采集

　　不过现在的采集软件大多可以鉴别绝对路径和相对路径。有的会直接去掉这些链接，所以绝对路径也并不是对采集一直都有效果，也有人说相对路径可以减少网页的体积，的确如此，不过也减少不了多少。

　　两种其实差不多，我还是比较推荐相对路径，较为方便