| 结合有监督广度优先搜索策略的通用垂直爬虫方法 |
| 高峰;刘震;高辉; |
| 关键词：垂直爬虫;URL聚类;赋权网页;路径模板解析;有监督广度优先搜索策略 |
| 主要内容：垂直爬虫程序无法直接移植到其他网站并且程序设计需要大量人工干预。为此,提出一种高可移植性的通用型垂直爬虫设计方法。自动识别目标主题和目录页面URL,并利用URL聚类生成URL正则表达式过滤器,以解决垂直爬虫中需人工维护初始URL队列的问题。 |
| 《计算机工程》 2018,44(11):289-299 |
| 全文下载请进入http://hightech.stlib.cn/tpi_1/sysasp/include/index.asp |
微信公众号