php一元分詞アルゴリズム

 
  
 
  
/** 
  
*        
  
* UTF8            ASCII    192   1    
  
*      ASCII   192  224   2   ，    3    
  
*        mysql my.ini      ft_min_word_len=1 
  
*     mysql     show variables like '%ft%'   mysql         
  
* 
  
* @access global 
  
* @param string $str 
  
* @param boolean $unique         
  
* @param boolean $merge         
  
* @return array 
  
*/ 
  
function seg_word($str,$unique=false,$merge=true) 
  
{ 
  
$str = trim(strip_tags($str)); 
  
$strlen = strlen($str); 
  
if($strlen == 0) return array(); 
  
$spc = ' '; 
  
//            
  
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "
", '\'', '', "\r", "\r
", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', '）', '（', '．', '。', '，', '！', '；', '“', '”', '‘', ''', '［', '］', '、', '―', '　', '《', '》', '－', '…', '【', '】','：'); 
  
$numpairs = array('1'=>' ','2'=>' ','3'=>' ','4'=>' ','5'=>' ','6'=>' ','7'=>' ','8'=>' ','9'=>' ','0'=>' '); 
  
$str = alab_num($str); 
  
$str = str_replace($search,' ',$str); 
  
$ord = $i = $k = 0; 
  
$prechar = 0;// 0-   1-      2-   
  
$result = array(); 
  
$annex = array(); 
  
 
  
while($ord = ord($str[$i])) 
  
{ 
  
//1     
  
if ($ord <= 0xC0 ) 
  
{ 
  
//       
  
if($ord < 33) { 
  
$prechar=0; 
  
$i++; 
  
$k++; 
  
continue; 
  
} 
  
//           
  
if(isset($numpairs[$str[$i]])) { 
  
$annex[]=$numpairs[$str[$i]]; 
  
} 
  
//        
  
if( $prechar == 2 ){ 
  
$result[++$k] = $str[$i]; 
  
} 
  
else { 
  
$result[$k] .= $str[$i]; 
  
} 
  
$prechar = 1; 
  
$i++; 
  
} 
  
else //2-3    (  ) 
  
{ 
  
if($ord < 0xE0) 
  
$step = 2; 
  
else 
  
$step = 3; 
  
$c = substr($str,$i,$step); 
  
if(false !== $key = array_search($c,$numpairs)){ 
  
$annex[] = $key; 
  
} 
  
if ($prechar != 0) { 
  
$result[++$k] = $c; 
  
} 
  
else { 
  
$result[$k] .= $c; 
  
} 
  
 
  
$prechar = 2; 
  
$i+=$step; 
  
} 
  
} 
  
$result = $merge ? array_merge($result,$annex) : $result ; 
  
return $unique ? array_unique($result) : $result ; 
  
}