使用采集器给织梦dedecms批量发布文章时怎么避免重复内容和标题

站长们不管是用火车头采集器还是虫虫或者dedecms自带的采集器采集文章的时候，因为是文章直接到数据库，所以经常会出出现内容标题重复的现象，蒋金龙从论坛里找到了相关的设置，但是修改了文件用火车头采集依然会出现重复文章，每次更新内容都要使用DEDE后台的那个检测重复标题的功能，很是费劲.

晚上终于耐不住了，既然系统代码改了，无非就是火车头当初使用的发布模块是直接入库的功能，无奈看了下发布模块竟然是免登陆的一个接口文件，由于DEDE系统的站台多了也不知道哪一个站用的是哪一个模块了，我用的这个模块直接继承了后台的那个article_add.php文件，所以修改后台目录下的该文件对火车头根本不起作用，发一下具体的修改方法吧，很有效的，对于重复的内容想直接跳过，可是DEDECMS是提示有重复，仍然会添加成功，找到dede下的article_add.php,在:

1. if（！CheckChannel（$typeid,$channelid） ） 
2.     { 
3.     ShowMsg（"你所选择的栏目与当前模型不相符，请选择白色的选项！","-1"）； 
4.     exit（）； 
5.     } 
6.     if（！TestPurview（'a_New'）） 
7.     { 
8.     CheckCatalog（$typeid,"对不起，你没有操作栏目 {$typeid} 的权限！"）； //phpfensi.com 
9.     } 
10.     下加： 
11.     //检测文档是否重复 
12.     if（$cfg_mb_cktitle=='Y'） 
13.     { 
14.     $row = $dsql->GetOne（"Select * From `dede_archives` where title like '$title' "）； 
15.     if（is_array（$row）） 
16.     { 
17.     ShowMsg（"对不起，请不要发布重复文档！","-1"）； 
18.     exit（）； 
19.     } 
20.     } 

经过测试加上肯定可行.