中山php|最優(yōu)網(wǎng)絡(luò) ：中山做網(wǎng)站 中山php建站
最優(yōu)良人
Posts Tagged With: 采集
php采集程序，提取網(wǎng)頁超鏈接，郵箱或其他特定內(nèi)容
2012/05/30 at 16:48 » Comments (190)
以下代碼從上一篇文章修改而來，專門用于提取網(wǎng)頁所有超鏈接，郵箱或其他特定內(nèi)容 <?php function fetch_urlpage_contents($url){ $c=file_get_contents($url); return $c; } //獲取匹配內(nèi)容 function fetch_match_contents($begin,$end,$c) { $begin=change_match_string($begin); $end=change_match_string($end); $p = "#{$begin}(.*){$end}#iU";//i表示忽略大小寫，U禁止貪婪匹配 if(preg_match_all($p,$c,$rs)) { return $rs;} else { return "";} }//轉(zhuǎn)義正則表達式字符串 function change_match_string($str){ //注意，以下只是簡單轉(zhuǎn)義 $old=array("/","$",'?'); $new=array("\/","\$",'\?'); $str=str_replace($old,$new,$str); return $str; } //采集網(wǎng)頁 function pick($url,$ft,$th) { $c=fetch_urlpage_contents($url); foreach($ft as $key => $value) { $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c); if(is_array($th[$key])) { foreach($th[$key] as $old => $new) { $rs[$key]=str_replace($old,$new,$rs[$key]); } } } return $rs; } $url="http://www.166276.com"; //要采集的地址 $ft["a"]["begin"]='<a'; //截取的開始點<br /> $ft["a"]["end"]='>'; //截取的結(jié)束點 $rs=pick($url,$ft,$th); //開始采集 print_r($rs["a"]); ?> more »php小偷程序，簡單的php采集代碼
2012/05/30 at 16:08 » Comments (289)
<?php function fetch_urlpage_contents($url){ $c=file_get_contents($url); return $c; } //獲取匹配內(nèi)容 function fetch_match_contents($begin,$end,$c) { $begin=change_match_string($begin); $end=change_match_string($end); $p = "{$begin}(.*){$end}"; if(eregi($p,$c,$rs)) { return $rs[1];} else { return "";} }//轉(zhuǎn)義正則表達式字符串 function change_match_string($str){ //注意，以下只是簡單轉(zhuǎn)義 //$old=array("/","$"); //$new=array("\/","\$"); $str=str_replace($old,$new,$str); return $str; } //采集網(wǎng)頁 function pick($url,$ft,$th) { $c=fetch_urlpage_contents($url); foreach($ft as $key => $value) { $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c); if(is_array($th[$key])) { foreach($th[$key] as $old => $new) { $rs[$key]=str_replace($old,$new,$rs[$key]); } } } return $rs; } $url="http://www.166276.com"; //要采集的地址 $ft["title"]["begin"]="<title>"; //截取的開始點 $ft["title"]["end"]="</title>"; //截取的結(jié)束點 $th["title"]["中山"]="廣東"; //截取部分的替換 $ft["body"]["begin"]="<body>"; //截取的開始點 $ft["body"]["end"]="</body>"; //截取的結(jié)束點 $th["body"]["中山"]="廣東"; //截取部分的替換 $rs=pick($url,$ft,$th); ...more »dede采集的文章在欄目列表頁無法顯示
2011/08/26 at 23:20 » Comments (412)
利用dedecms的采集功能，大批量采集數(shù)據(jù)之后，沒辦法一個一個審核，所有在sql命令行運行了 update `dede_archives` set `arcrank` = 0 批量審核文章，然后運行 update `dede_archives` set `ismake` = -1 把所有文章改成動態(tài)瀏覽 更新首頁html之后再最新更新可以看到新發(fā)布的文章，但是在欄目列表頁不顯示最新的數(shù)據(jù)，原來dede還有一個文章的索引表dede_arctiny，只要運行下面sql把審核狀態(tài)置為0就正常了 update `dede_arctiny` set `arcrank` = 0 效果如 最優(yōu)資訊中山新聞頻道 more »