337p亚洲欧洲色噜噜噜_国产一区两区三区在线观看_91精品自产拍老师在线观看_亚洲日本中文字幕精品视频在线_日韩精品视频一区二区三区蜜臀_国产视频污_跪趴哀求蹂躏h乡下_国产视频一区二区视频_色污污网站_国产亚洲黄色片

【摘要】 本發(fā)明涉及一種網(wǎng)頁(yè)重復(fù)內(nèi)容過(guò)濾方法，包括文件服務(wù)器、網(wǎng)頁(yè)內(nèi)容提取服務(wù)器、網(wǎng)頁(yè)過(guò)濾服務(wù)器、爬蟲(chóng)服務(wù)器。與現(xiàn)有技術(shù)相比，本發(fā)明有效的遏制利用拷貝別人的作品來(lái)謀求利益的行為，而且減少了大量重復(fù)的信息，使搜索結(jié)果更精簡(jiǎn)，提高了用戶(hù)的搜索效率，同時(shí)也保護(hù)了原作者的版權(quán)不受肆意侵犯。 【專(zhuān)利類(lèi)型】發(fā)明申請(qǐng) 【申請(qǐng)人】上海新納廣告?zhèn)髅接邢薰?【申請(qǐng)人類(lèi)型】企業(yè) 【申請(qǐng)人地址】200050上海市長(zhǎng)寧路1027號(hào)42F 【申請(qǐng)人地區(qū)】中國(guó) 【申請(qǐng)人城市】上海市 【申請(qǐng)人區(qū)縣】長(zhǎng)寧區(qū) 【申請(qǐng)?zhí)枴緾N200610028059.7 【申請(qǐng)日】2006-06-22 【申請(qǐng)年份】2006 【公開(kāi)公告號(hào)】CN101093485A 【公開(kāi)公告日】2007-12-26 【公開(kāi)公告年份】2007 【IPC分類(lèi)號(hào)】G06F17/30; G06F21/00; G06F21/10 【發(fā)明人】胡創(chuàng)義; 金駿 【主權(quán)項(xiàng)內(nèi)容】1.一種網(wǎng)頁(yè)重復(fù)內(nèi)容過(guò)濾方法，其特征在于，包括文件服務(wù)器、網(wǎng)頁(yè)內(nèi) 容提取服務(wù)器、網(wǎng)頁(yè)過(guò)濾服務(wù)器、爬蟲(chóng)服務(wù)器，該方法包括以下步驟： a.爬蟲(chóng)服務(wù)器把從網(wǎng)頁(yè)抓取下來(lái)的數(shù)據(jù)發(fā)送到網(wǎng)頁(yè)內(nèi)容提取服務(wù)器； b.網(wǎng)頁(yè)內(nèi)容提取服務(wù)器分析來(lái)自爬蟲(chóng)服務(wù)器的數(shù)據(jù)，把內(nèi)容提取出來(lái)， 并且使用哈希算法對(duì)所提取的內(nèi)容進(jìn)行哈希獲得哈希碼，然后把哈希碼和內(nèi) 容、抓取的時(shí)間等信息一起存入放到文件服務(wù)器； c.網(wǎng)頁(yè)過(guò)濾服務(wù)器分析內(nèi)容服務(wù)器里面的信息，對(duì)每個(gè)由步驟b中獲得 的哈希碼出現(xiàn)沖突的網(wǎng)站中出現(xiàn)沖突的數(shù)量，對(duì)沖突的數(shù)量和該網(wǎng)站的網(wǎng)頁(yè)數(shù) 量設(shè)定一個(gè)閥值，如果一個(gè)網(wǎng)站的沖突的數(shù)量和該網(wǎng)站的網(wǎng)頁(yè)數(shù)量高于該閥 值，則直接通知爬蟲(chóng)服務(wù)器，禁止該網(wǎng)站，并過(guò)濾掉該網(wǎng)頁(yè)的所有內(nèi)容，如果 低于該閥值而且抓取的時(shí)間較早，則提高該網(wǎng)頁(yè)的重要性，否則降低該網(wǎng)頁(yè)的 重要性或過(guò)濾掉。 【當(dāng)前權(quán)利人】上海新納廣告?zhèn)髅接邢薰?【當(dāng)前專(zhuān)利權(quán)人地址】上海市長(zhǎng)寧路1027號(hào)42F 【專(zhuān)利權(quán)人類(lèi)型】有限責(zé)任公司 【被引證次數(shù)】20 【被他引次數(shù)】20.0 【家族被引證次數(shù)】20

未經(jīng)允許不得轉(zhuǎn)載：http://m.duba2008.cn/1775453917.html