你的位置:首页 > 数据库

[数据库]使用scws组件分词和phpanalysis分词类实现简单的php分词搜索


使用scws组件分词和phpanalysis分词类实现简单的php分词搜索

关键字:php  分词  搜索

什么是scws

SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)。

这是一套基于词频词典的机械式中文分词引擎,它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位,但在书写时并不像英语会在词之间用空格分开, 所以如何准确并快速分词一直是中文分词的攻关难点。

SCWS 采用纯 C 语言开发,不依赖任何外部库函数,可直接使用动态链接库嵌入应用程序, 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块, 可在 PHP 中快速而方便地使用分词功能。

分词算法上并无太多创新成分,采用的是自己采集的词频词典,并辅以一定的专有名称,人名,地名, 数字年代等规则识别来达到基本分词,经小范围测试准确率在 90% ~ 95% 之间, 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。

下载地址(需要下载SCWS规则集文件、xdb词典文件和对应版本的php_scws.dll扩展库)

http://www.xunsearch.com/scws/

安装php扩展

将php_scws.dll的扩展库放入php目录下的ext目录中

然后再php.ini中添加以下配置,添加完成后重启

[scws]

extension = php_scws.dll

scws.default.charset = gbk

scws.default.fpath = "C:\Program Files\scws\etc"

注:extension的路径要确保能加载ext目录下的.dll扩展。

      scws.default.fpath的目录是分词规则文件的绝对目录

新建一个目录(C:\Program Files\scws),将xdb文件放入。如图:

 

将规则集文件(规则集文件在scws的全部源代码的压缩包中可以找到)放到etc目录下,如图:

 

$sc = scws_new();   //实例分词类

$sc->set_charset('utf-8');      //设置分词时所用的编码

$sc->set_dict('C:\Program Files\scws\dict.utf8.xdb');   //设置分词所用的字典包

$sc->set_rule('C:\Program Files\scws\etc\rules.utf8.ini');    //设置分词所用的规则

$sc->set_ignore(true);    //去掉标点符号后在分词

$sc->set_multi(true);           //复式分割

$sc->send_text('山东,厨具。');    //分词的语句

while($tmp[] = $sc->get_result()){         //获取分词结果

}

//连接数据库

mysql_connect('localhost','root','root');

mysql_select_db('tdmalls');

mysql_query('set names utf8');

//组合sql

$sql = "select article_title from th_article where ";

$len2 = count($tmp[0]);

for($j=0;$j<$len2;$j++){

      if($j == $len2-1){

           $sql .= " article_title like '%".$tmp[0][$j]['word']."%'";

      }else{

           $sql .= " article_title like '%".$tmp[0][$j]['word']."%' and ";

      }

}

$res2 = mysql_query($sql);

while($row[] = mysql_fetch_assoc($res2)){}

以上代码的分词的结果:

 

以上代码组合的sql(sql的组合根据自己的情况来):

 

以上代码搜索出来的结果:

 

然后再demo中引入这个类文件就可以使用了:

header("Content-type:text/html;charset=utf-8");

require_once './phpanalysis/phpanalysis.class.php';          //引入分词类文件

$fc = new PhpAnalysis();      //实例分词类(#注:这个步骤很耗时)

$str = '打造厨具';         

$fc->SetSource($str);           //设置待分词的字符

//设置生成的分词结果数据类型,2为词典词汇及单个中日韩简繁字符及英文

$fc->resultType = 2;          

$fc->StartAnalysis();      //开始分词

$arr = $fc->GetFinallyIndex();     //获取分词数组,键是词

$arr = implode(' ',array_keys($arr));

$arr = explode(' ',$arr);

//连接数据库

$m_db = mysql_connect('localhost','root','root');

mysql_select_db('tdmalls');

mysql_query('set names utf8');

//sql

$len = count(array_filter($arr));

$sql = "select article_title from th_article where ";

for($i=0;$i<$len;$i++){

      if($i == $len-1){

           $sql .= " article_title like '%".$arr[$i]."%'";

      }else{

           $sql .= " article_title like '%".$arr[$i]."%' and ";

      }

}

$res = mysql_query($sql);

while($row[] = mysql_fetch_assoc($res)){}

以上代码分出来的词的结果:

 

注:这个地方键才是分出来的词

最终搜索出来的结果:

  办理泰国旅游签证跟团泰国旅游需要多少钱几月份去泰国旅游最好什么时候去泰国旅游最便宜去泰国旅游跟团要多少钱金佛瑞雪 童话新秘境 云阳龙缸景区下雪了 歧山草场积雪已达8厘米 西安十三朝古都前秦 西安十三朝古都东汉 国内赏月去哪里好 蜈支洲岛住宿攻略?三亚蜈支洲岛酒店多少钱一晚? 国内有哪些人少景美的旅游景点? 惠州小桂湾水上乐园好玩吗?小桂湾水上乐园价格? 深圳小梅沙海洋世界高考生优惠活动?深圳海洋世界凭准考证优惠吗? 2015深圳海洋世界七夕节活动?深圳小梅沙海洋世界七夕节有什么优惠? 深圳海洋世界表演时间?深圳小梅沙海洋世界表演一天几场? 东部华侨城音乐节门票预订?深圳东部华侨城音乐节什么时候? 炎炎8月去哪里旅游好?品途推荐几大避暑目的地 度过这个宁静之夏 8月去哪里旅游好?品途推荐几大避暑目的地 度过这个宁静之夏(第二季) 西安有哪些特色小吃? 印度游客遇“天上掉馅饼” 猴子漫天撒钞票(图) MG10-1508Q7YC Datasheet MG10-1508Q7YC Datasheet MG10-1508QEC Datasheet MG10-1508QEC Datasheet MG10-1508QGC Datasheet MG10-1508QGC Datasheet 玉龙雪山天气 玉龙雪山天气 玉龙雪山天气 死海在哪里 死海在哪里 死海在哪里 青城山门票 青城山门票 青城山门票