记录与PHP的PK经历 » php http://www.pkphp.com PK with php! Fri, 27 May 2011 02:07:46 +0000 en hourly 1 http://wordpress.org/?v=3.1 [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦 http://www.pkphp.com/2009/02/17/%e8%bd%ac%e5%bc%80%e6%ba%90php%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e6%89%a9%e5%b1%95phpcws-100%e5%8f%91%e5%b8%83%e5%95%a6/ http://www.pkphp.com/2009/02/17/%e8%bd%ac%e5%bc%80%e6%ba%90php%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e6%89%a9%e5%b1%95phpcws-100%e5%8f%91%e5%b8%83%e5%95%a6/#comments Tue, 17 Feb 2009 13:57:39 +0000 askie http://www.pkphp.com/?p=897 您可能也喜欢： php查询alexa排名的代码 php如何解析网页DOM？phpQurey给你搞定一切！ php通用xml解析类 SCWS简易中文分词系统 无觅 ]]> 非常佩服这位兄弟开发的开源php分词系统，现在终于发布1.0.0版本了。本版本的功能有了很大的加强，同时也简化了使用，仅一个php函数。现在转帖全部内容，对张宴表示强烈的支持!！

[文章/程序 作者：张宴 本文版本：v1.0 最后修改：2009.02.16 原文链接：http://blog.s135.com/post/398.htm]

名称：PHPCWS（PHP中文分词扩展）
协议：New BSD License
作者：张宴
网址：http://code.google.com/p/phpcws/
SVN：http://code.google.com/p/phpcws/source/browse/#svn/trunk/phpcws

一、PHPCWS 简介

1、什么是 PHPCWS ？
PHPCWS 是一款开源的PHP中文分词扩展，目前仅支持Linux/Unix系统。

PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理，再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理，并增加标点符号过滤功能，得出分词结果。

ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System）是中国科学院计算技术研究所在多年研究工作积累的基础上，基于多层隐马模型研制出的汉语词法分析系统，主要功能包括中文分词；词性标注；命 名实体识别；新词识别；同时支持用户词典。ICTCLAS经过五年精心打造，内核升级6次，目前已经升级到了ICTCLAS3.0，分词精度 98.45%，各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan 组织的评测中都获得了多项第一名，是当前世界上最好的汉语词法分析器。

ICTCLAS 3.0 商业版是收费的，而免费提供的 ICTCLAS 3.0 共享版不开源，词库是根据人民日报一个月的语料得出的，很多词语不存在。所以本人对ICTCLAS分词后的结果，再采用逆向最大匹配算法，根据自己补充的 一个9万条词语的自定义词库（与ICTCLAS词库中的词语不重复），对ICTCLAS分词结果进行合并处理，输出最终分词结果。

由于 ICTCLAS 3.0 共享版只支持GBK编码，因此，如果是UTF-8编码的字符串，可以先用PHP的iconv函数转换成GBK编码，再用phpcws_split函数进行分词处理，最后转换回UTF-8编码。

2、PHPCWS 中文分词在线演示

演示网址：http://blog.s135.com/demo/phpcws/

3、PHPCWS 分词速度及用途

初次使用时，Apache 或 php-cgi(FastCGI) 进程，需要加载一次词库到内存中，需要0.0X秒。58字节的一句话——“2009年2月13日，我编写了一款PHP中文分词扩展：PHPCWS 1.0.0。”，分词速度只需0.0003秒。

PHPCWS 属于《亿级数据的高并发通用搜索引擎架构设计》 的一部分，用作“搜索查询接口”的关键字分词处理。在此架构中，Sphinx索引引擎对于CJK（中日韩）语言支持一元切分，假设【反恐行动是国产主视角 射击网络游戏】这段文字，Sphinx会将其切成【反 恐 行 动 是 国 产 主 视 角 射 击 网 络 游 戏】，然后对每个字建立反向索引。如果用这句话中包含的字组成一个不存在的词语，例如【恐动】，也会被搜索到，所以搜索时，需要加引号，例如搜索【”反恐 行动”】，就能完全匹配连在一起的四个字，不连续的【”恐动”】就不会被搜索到。但是，这样还有一个问题，搜索【”反恐行动游戏”】或【”国产网络游 戏”】就会搜索不到。所以，我在搜索层写了个PHP中文分词扩展，搜索“反恐行动游戏”、“国产网络游戏”，会被PHPCWS中文分词函数分别切分为“反 恐行动 游戏”、“国产 网络游戏”，这时候，用PHP函数给以空格分隔的词语加上引号，去搜索【”反恐行动” “游戏”】或【”国产” “网络游戏”】，就能搜索到这条记录了。由于PHPCWS位于搜索层，中文分词词库发生增、删、改，只需平滑重启一次Web服务器或php-cgi进程即 可，无需重建搜索索引。

根据上述情况，对于那些采用二元交叉切分的搜索引擎，PHPCWS用在前端搜索层对用户输入的搜索关键字、短语进行分词处理，同样适合。PHPCWS开发的目的正在于此，对于短句、小文本中文分词切分，速度非常之快。

4、自定义词库

自定义词库名称为userdict.tch，格式为 Tokyo Cabinet DBM 的 Abstract key-value 内存哈希数据库（key为GBK编码的词语名词，value为词频。目前词频均填1，暂时用不上）。自定义词库的修改在安装步骤中会详细介绍。

二、PHPCWS 1.0.0 安装步骤

1、安装 Tokyo Cabinet 数据库：

wget http://tokyocabinet.sourceforge.net/tokyocabinet-1.4.5.tar.gz
tar zxvf tokyocabinet-1.4.5.tar.gz
cd tokyocabinet-1.4.5/
./configure –prefix=/usr/local/tokyocabinet-1.4.5
make && make install
mkdir -p /usr/local/tokyocabinet-1.4.5/lib/static/
cp -f /usr/local/tokyocabinet-1.4.5/lib/*.a /usr/local/tokyocabinet-1.4.5/lib/static/
echo “/usr/local/tokyocabinet-1.4.5/lib” >> /etc/ld.so.conf
/sbin/ldconfig
cd ../

2、安装 PHPCWS 扩展：

wget http://phpcws.googlecode.com/files/phpcws-1.0.0.tar.gz
tar zxvf phpcws-1.0.0.tar.gz
cd phpcws-1.0.0/
/usr/local/webserver/php/bin/phpize
./configure –with-php-config=/usr/local/webserver/php/bin/php-config –with-tc=/usr/local/tokyocabinet-1.4.5
make && make install
cd ../

注：其中/usr/local/webserver/php/为您的PHP安装目录。

3、安装 ICTCLAS 3.0 词库和 PHPCWS 自定义词库（词库汉字编码均为GBK）：

cd /usr/local/
wget http://phpcws.googlecode.com/files/phpcws-dict-1.0.0.tar.gz
tar zxvf phpcws-dict-1.0.0.tar.gz
mv phpcws-dict-1.0.0 phpcws

您可以往自定义词库内增加自己的词语，方法如下：

cd /usr/local/phpcws/

#如果userdict.tch已经被PHP加载，请拷贝一个备份
cp userdict.tch userdict_new.tch

#添加新词语
/usr/local/tokyocabinet-1.4.5/bin/tcamgr put userdict_new.tch 词语一 1
/usr/local/tokyocabinet-1.4.5/bin/tcamgr put userdict_new.tch 词语二 1

查询某个词语是否已经在词库内
/usr/local/tokyocabinet-1.4.5/bin/tcamgr get userdict_new.tch 词语名词

#删除一个词语
/usr/local/tokyocabinet-1.4.5/bin/tcamgr out userdict_new.tch 词语名称

#将修改后的新词库覆盖回原词库
mv userdict_new.tch userdict.tch

#重启您的Apache服务器，或php-cgi(FastCGI)进程。
#例如重启php-cgi(FastCGI)进程：
/usr/local/webserver/php/sbin/php reload

您可以从搜狗细胞词库网站下载自己需要的行业分类文本词库，整合到PHPCWS自定义词库中。

4、修改您的php.ini文件，增加以下几行内容：

[phpcws]
extension = “phpcws.so”
phpcws.dict_path = “/usr/local/phpcws”

5、重启您的Apache服务器，或php-cgi(FastCGI)进程

6、查看您的phpinfo信息，如果搜索到以下内容，则表明安装成功：

点击在新窗口中浏览此图片

三、PHPCWS 1.0.0 调用方式

1、PHPCWS扩展拥有一个PHP函数：
string phpcws_split ( string $text [, string $interpunction ] )

参数说明：
$text 为GBK编码的文本内容；

$interpunction 为可选参数，用来控制是否过滤标点符号。
①、值为空时，表示不过滤；

②、值为”default”时，过滤掉默认的标点符号，即以下标点符号：
,.!！＂＃￥％＆｀＇（）〔〕〈〉《》「」『』〖〗【】．＊＋，－．。、？…—·ˉˇ¨‘’“”々～‖∶＂／：；｜〃＜＝＞？＠［＼］＾＿｀｛｜｝￣

③、值为其他字符串时，表示过滤掉自定义的标点符号，例如值为”,.!，。！”即过滤掉半角、全角的逗号、句号、感叹号。

2、PHP中文分词实例：

①、对GBK编码的字符串进行中文分词处理（example_gbk.php）：

  1. <?php
  2. @header(‘Content-Type: text/html; charset=gb2312′);
  3. $text = “2009年2月13日，我编写了一款PHP中文分词扩展：PHPCWS 1.0.0。”;
  5. echo “分词结果为：<BR>”;
  6. $result = phpcws_split($text);
  7. echo $result . “<BR><BR>”;
  9. echo “过滤掉默认标点符号的分词结果为：<BR>”;
  10. $result = phpcws_split($text, “default”);
  11. echo $result . “<BR><BR>”;
  13. echo “过滤掉全角逗号与冒号的分词结果为：<BR>”;
  14. $result = phpcws_split($text, “，：”);
  15. echo $result . “<BR><BR>”;
  16. ?>


②、对UTF-8编码的字符串进行中文分词处理（example_utf8.php）：

  1. <?php
  2. @header(‘Content-Type: text/html; charset=utf-8′);
  3. $text = “2009年2月13日，我编写了一款PHP中文分词扩展：PHPCWS 1.0.0。”;
  4. $text = iconv(“UTF-8″, “GBK//IGNORE”, $text);
  6. echo “分词结果为：<BR>”;
  7. $result = phpcws_split($text);
  8. $result = iconv(“GBK”, “UTF-8//IGNORE”, $result);
  9. echo $result . “<BR><BR>”;
  11. echo “过滤掉默认标点符号的分词结果为：<BR>”;
  12. $result = phpcws_split($text, “default”);
  13. $result = iconv(“GBK”, “UTF-8//IGNORE”, $result);
  14. echo $result . “<BR><BR>”;
  16. echo “过滤掉全角逗号与冒号的分词结果为：<BR>”;
  17. $result = phpcws_split($text, “，：”);
  18. $result = iconv(“GBK”, “UTF-8//IGNORE”, $result);
  19. echo $result . “<BR><BR>”;
  20. ?>


输出结果为：

分词结果为：
2009年 2月 13日 ， 我 编写 了 一款 PHP 中文 分词 扩展 ： PHPCWS 1.0.0 。

过滤掉默认标点符号的分词结果为：
2009年 2月 13日 我 编写 了 一款 PHP 中文 分词 扩展 PHPCWS 1.0.0

过滤掉全角逗号与冒号的分词结果为：
2009年 2月 13日 我 编写 了 一款 PHP 中文 分词 扩展 PHPCWS 1.0.0 。

以上两个实例PHP程序文件可以从SVN中获取：

Related items

http://www.pkphp.com/(2)php 中文分词(8)php中文分词(1)php分词(2)ictclas 3.0(3)phpcws(3)php　分词(1)开源php(1)中文分词开源(2)utf-8 逗号(1)ictclas 过滤 标点(1)开源词库,下载(1)PHP 中文分词系统(1)php 中英文 分词(1)php 匹配中文句号(1)
您可能也喜欢：
php查询alexa排名的代码
php如何解析网页DOM？phpQurey给你搞定一切！
php通用xml解析类
SCWS简易中文分词系统
无觅
]]> http://www.pkphp.com/2009/02/17/%e8%bd%ac%e5%bc%80%e6%ba%90php%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e6%89%a9%e5%b1%95phpcws-100%e5%8f%91%e5%b8%83%e5%95%a6/feed/ 2 PHP如何判断ajax请求 http://www.pkphp.com/2009/01/24/how-to-determin-a-ajax-request-using-php/ http://www.pkphp.com/2009/01/24/how-to-determin-a-ajax-request-using-php/#comments Sat, 24 Jan 2009 05:29:27 +0000 askie http://www.pkphp.com/?p=846 您可能也喜欢： Google AJAX Libraries API 使用juqery创建加载消息Using JQuery for an Ajax loading message [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦 php如何解析网页DOM？phpQurey给你搞定一切！ 无觅 ]]> 如何在php中判断一个网页请求是ajax请求还是普通请求？你可以通过传递参数的方法来实现，例如使用如下网址请求：
/path/to/pkphp.com/script.php?ajax
在php脚本中使用如下方法判断：
if(isset($_GET['ajax'])) {
...这是一个ajax请求，然后...
}
else {
...这不是一个ajax请求，然后...
}
通过传递_GET参数的方法简单实现了网页请求的判断。但是如果需要这样的功能，这个方法可能就有弊端，功能需求如下：
1.通过ajax请求的网页与普通请求的网页内容是不相同的
2.通过ajax请求的网页是为了方便用户操作，两种方法请求打开的网页必须的内容是相同的，只是ajax请求到的网页内容比较简化和使用，去除了网页的大框架模板。
3.这么做的目的是：用户在网页操作时通过ajax实现，而搜索引擎访问网页时（相当于普通打开网页），得到的内容是一个完整的网页（包含了网页的大框架模板）。
要完成上面的这个功能，就不能使用前面介绍的通过GET参数传递来判断了，如果使用GET传递来判断的话，用户ajax请求和普通网页请求都会是一样的内容，因为你不可能为一个链接设置一个带ajax判断参数和不带的URL。那么如何才能实现这个功能呢？必须通过服务器端PHP判断解决这个问题。也就是今天要说的PHP如何判断ajax请求。这个问题要解决有一个先决条件，那就是你使用的ajax框架必须是jquery。在jquery框架中，对于通过它的$.ajax, $.get, or $.post方法请求网页内容时，它会向服务器传递一个HTTP_X_REQUESTED_WITH的参数，你可以利用如下方法判断某个请求是ajax请求还是普通请求：
if(isset($_SERVER['HTTP_X_REQUESTED_WITH']) && strtolower($_SERVER['HTTP_X_REQUESTED_WITH']) == 'xmlhttprequest')
{
...这是一个ajax请求，然后...
}
else {
...这不是一个ajax请求，然后...
}
利用这个来进行判断操作，可以使网页端的URL保持一致，但是能够对两种不同的请求却能够得到不同内容的网页。即实现了用户操作优化，又不影响搜索引擎收录，我觉得是一个很棒的解决方案！

这里有一个另外需要注意的问题，就是如果你的jquery请求是通过iframe打开网页的，那么HTTP_X_REQUESTED_WITH参数不会被传递，也就是说你没有办法判断请求的类型。

Related items

http://www.pkphp.com/(2)php 判断是否Ajax请求(1)WordPress (1)php 判断 请求结束(1)ajax请求(1)php如何实现ajax(1)ajax 请求(4)PHP ajax(10)php 中如何判断请求方式(1)php 中如何判断请求方式是post还是get(1)如何判断 AJAX(2)php 判断 ajax(4)ajax 普通请求(1)HTTP_X_REQUESTED_WITH(5)php判断在线用户(1)
您可能也喜欢：
Google AJAX Libraries API
使用juqery创建加载消息Using JQuery for an Ajax loading message
[转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
php如何解析网页DOM？phpQurey给你搞定一切！
无觅
]]> http://www.pkphp.com/2009/01/24/how-to-determin-a-ajax-request-using-php/feed/ 1 php如何解析网页DOM？phpQurey给你搞定一切！ http://www.pkphp.com/2009/01/21/php-dom-phpqurey/ http://www.pkphp.com/2009/01/21/php-dom-phpqurey/#comments Wed, 21 Jan 2009 13:50:06 +0000 askie http://www.pkphp.com/?p=841 find('p'); $ul = pq('ul'); 创建phpQuery对象有以下方法可供选择： * phpQuery::newDocument($html, $contentType = null) 从html创建文档，如果$contentType不设置，那么根据$html自动解析编码，如果失败的话则使用utf-8编码. * phpQuery::newDocumentFile($file, $contentType = null)从文件创建文档. 与newDocument()类似 * phpQuery::newDocumentHTML($html, $charset = 'utf-8') * phpQuery::newDocumentXHTML($html, $charset = 'utf-8') * phpQuery::newDocumentXML($html, [...]
您可能也喜欢：
[转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
PHP中htmlentities跟htmlspecialchars的区别
php通用xml解析类
php查询alexa排名的代码
无觅
]]> 大名鼎鼎的jquery已经3岁了，他的出现让浏览器端的UI应用到达了新的水平，让javascript更加简单、方便得到应用。

jQuery由美国人John Resig创建，至今已吸引了来自世界各地的众多javascript高手加入其team。包括来自德国的J&ouml;rn Zaefferer，罗马尼亚的Stefan Petre等等。

jQuery是继prototype之后又一个优秀的Javascrīpt框架。其宗旨是——WRITE LESS,DO MORE,写更少的代码,做更多的事情。
它是轻量级的js库(压缩后只有21k) ，这是其它的js库所不及的，它兼容CSS3，还兼容各种浏览器 （IE 6.0+, FF 1.5+, Safari 2.0+, Opera 9.0+）。
jQuery是一个快速的，简洁的javaScript库，使用户能更方便地处理HTML documents、events、实现动画效果，并且方便地为网站提供AJAX交互。
jQuery还有一个比较大的优势是，它的文档说明很全，而且各种应用也说得很详细，同时还有许多成熟的插件可供选择。
jQuery能够使用户的html页保持代码和html内容分离，也就是说，不用再在html里面插入一堆js来调用命令了，只需定义id即可。

要使用它首先要一个jQuery的库，也就是类包“jquery.js”，有了它我们就可以轻松的实现各种js功能了，它还有许多插件，可实现很多功能，所以说很强大嘛。

官方下载地址为：http://jquery.com/

其实以我的理解，jquery是一个很简单的DOM解析器，它能够在浏览器端很方便的解析网页DOM结构。如何在php中解析网页DOM呢？phpQuery诞生了，它是一个利用php语言在服务器端实现了网页DOM解析的API。利用phpQuery可以像jquery一样方便的解析网页DOM，而且phpQuery与jquery语法和函数基本一致，也就是说如果你会了jquery的语法，那么你也就会了phpQuery的用法，太强大了！有了phpQuery，如果你要制作php采集程序，那就很简单了。

下面是phpQurey的基本用法：
phpQuery::newDocumentFileXHTML('my-xhtml.html')->find('p');
$ul = pq('ul');
创建phpQuery对象有以下方法可供选择：
* phpQuery::newDocument($html, $contentType = null) 从html创建文档，如果$contentType不设置，那么根据$html自动解析编码，如果失败的话则使用utf-8编码.
* phpQuery::newDocumentFile($file, $contentType = null)从文件创建文档. 与newDocument()类似
* phpQuery::newDocumentHTML($html, $charset = 'utf-8')
* phpQuery::newDocumentXHTML($html, $charset = 'utf-8')
* phpQuery::newDocumentXML($html, $charset = 'utf-8')
* phpQuery::newDocumentPHP($html, $contentType = null)
* phpQuery::newDocumentFileHTML($file, $charset = 'utf-8')
* phpQuery::newDocumentFileXHTML($file, $charset = 'utf-8')
* phpQuery::newDocumentFileXML($file, $charset = 'utf-8')
* phpQuery::newDocumentFilePHP($file, $contentType)
详细的使用方法请参见

phpQuery手册

Related items

phpQuery(11)dom插件(1)如何解析网页(3)php dom(8)phpquery utf8(2)PHP 用DOM函数解析网页(1)dom 采集(2)php 分析网页(5)网页dom(2)php xhtml dom(1)phpQuery API(1)PHP网站如何解析(1)php与dom交互(1)php post dom(1)safari file dom(1)
您可能也喜欢：
[转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
PHP中htmlentities跟htmlspecialchars的区别
php通用xml解析类
php查询alexa排名的代码
无觅
]]> http://www.pkphp.com/2009/01/21/php-dom-phpqurey/feed/ 0 php通用xml解析类 http://www.pkphp.com/2008/09/17/php-generic-xml-parser/ http://www.pkphp.com/2008/09/17/php-generic-xml-parser/#comments Wed, 17 Sep 2008 12:15:25 +0000 askie http://www.pkphp.com/?p=647 您可能也喜欢： [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦 PHP中htmlentities跟htmlspecialchars的区别 php查询alexa排名的代码 php如何解析网页DOM？phpQurey给你搞定一切！ 无觅 ]]> 使用代码，文件名：test_xml_parser.php

<HTML>
<HEAD>
<TITLE>Test for Manuel Lemos’s XML parser PHP class</TITLE>
</HEAD>
<BODY>
<H1><CENTER>Test for Manuel Lemos’s XML parser PHP class</CENTER></H1>
<HR>
<?
require("xml_parser.php");

Function DumpArray(&$array,$indent)
{
for(Reset($array),$node=0;$node<count($array);Next($array),$node++)
{
echo $indent."\"".Key($array)."\"=";
$value=$array[Key($array)];
if(GetType($value)=="array")
{
echo "\n".$indent."[\n";
DumpArray($value,$indent."\t");
echo $indent."]\n";
}
else
echo "\"$value\"\n";
}
}

Function DumpStructure(&$structure,&$positions,$path)
{
echo "[".$positions[$path]["Line"].",".$positions[$path]["Column"].",".$positions[$path]["Byte"]."]";
if(GetType($structure[$path])=="array")
{
echo "&lt;".$structure[$path]["Tag"]."&gt;";
for($element=0;$element<$structure[$path]["Elements"];$element++)
DumpStructure($structure,$positions,$path.",$element");
echo "&lt;/".$structure[$path]["Tag"]."&gt;";
}
else
echo $structure[$path];
}

$file_name="example.xml";
$error=XMLParseFile($parser,$file_name,1,$file_name.".cache");
if(strcmp($error,""))
echo "<H2><CENTER>Parser error: $error</CENTER></H2>\n";
else
{
echo "<H2><CENTER>Parsed file structure</CENTER></H2>\n";
echo "<P>This example dumps the structure of the elements of an XML file by displaying the tags and data preceded by their positions in the file: line number, column number and file byte index.</P>\n";
echo "<PRE>";
DumpStructure($parser->structure,$parser->positions,"0");
echo "</PRE>\n";
}
?></BODY>
</HTML>

+++++++++++++++++++++++++++++++++++++++++++++++++
测试结果如下图：

+++++++++++++++++++++++++++++++++++++++++++++++++

下载完整的php通用xml解析类：php-xmlparser

Related items

php xml(4)php XML 解析 中文(1)php xml解析类(14)xml php 解析类(2)php xml array 类(1)zend framework parse XML(1)php xml to array(5)php xml array(9)php xml 解析(13)php xml解析(5)php xml 解析类(21)php xml Indent(1)XML php(1)php xml feed parser(1)xml path cache(1)
您可能也喜欢：
[转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
PHP中htmlentities跟htmlspecialchars的区别
php查询alexa排名的代码
php如何解析网页DOM？phpQurey给你搞定一切！
无觅
]]> http://www.pkphp.com/2008/09/17/php-generic-xml-parser/feed/ 3 蝈蝈采集程序核心代码：任意字符串截取函数 http://www.pkphp.com/2008/09/03/spy-getstring-function/ http://www.pkphp.com/2008/09/03/spy-getstring-function/#comments Wed, 03 Sep 2008 13:38:30 +0000 askie http://www.pkphp.com/?p=595 您可能也喜欢： php查询alexa排名的代码 linux和windows下均可查询pr的php代码 今日到南京上网，发现偶尔打开的网页出现如下代码 [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦 无觅 ]]> 今天无聊，公布自己的写的一个函数，这个函数是我的蝈蝈采集系统的核心函数。通过这个函数，你可以把获取到的html代码按照你想要的部分提取出来。这个函数的特点是简单易用，不需要正则。有了这个函数你也可以写采集程序了！哈哈！

代码如下：

<?
/*
*  作者：askie
*  主页：http://www.pkphp.com
*  email or gtalk: imaskie[at]gmail.com
*
*  $str:任意字符串
*  $start:要替取的字符串之前的字符串
*  $end:要替取的字符串之前的字符串
*  $add:提取出来的结果是否加上$start和$end
*  返回数组
*/
    function inContent($str,$start,$end,$add=true)
    {
        $first=strstr($str,$start);
        if ($first==false)
        {
            return array();
        }
        else
        {
            $first=substr($first,strlen($start));
        }
        $second=strstr($first,$end);
        if ($second==false)
        {
            if ($add)
            {
                return array($start.$first);
            }
            else
            {
                return array($first);
            }


        }


        $final=substr($first,0,-strlen($second));


        if ($add)


        {


            $final=$start.$final.$end;


        }


        $result[]=$final;


        $second=substr($second,strlen($end));


        if (strstr($second,$start))


        {


            $result=array_merge($result,inContent(substr($second,strlen($end)),$start,$end,$add));


        }


        return $result;


    }




//例子


$html='<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">


<html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="en-US">


<head profile="http://gmpg.org/xfn/11">


    <title>记录与PHP的PK经历 / PK with php!</title>


    <meta http-equiv="content-type" content="text/html; charset=UTF-8" />


    <link rel="stylesheet" type="text/css" media="screen,projection" href="http://www.pkphp.com/wp-content/themes/plaintxtblog/style.css" title="plaintxtBlog" />


    <link rel="stylesheet" type="text/css" media="print" href="http://www.pkphp.com/wp-content/themes/plaintxtblog/print.css" />


    <link rel="alternate" type="application/rss+xml" href="http://www.pkphp.com/feed/" title="记录与PHP的PK经历 RSS feed" />


    <link rel="alternate" type="application/rss+xml" href="http://www.pkphp.com/comments/feed/" title="记录与PHP的PK经历 comments RSS feed" />


    <link rel="pingback" href="http://www.pkphp.com/xmlrpc.php" />


';




//获取title


print_r(inContent($html,'<title>','</title>',false));


/*


返回：


Array


(


    [0] => 记录与PHP的PK经历 / PK with php!


)


*/


print_r(inContent($html,'<title>','</title>',true));


/*


返回：


Array


(


    [0] => <title>记录与PHP的PK经历 / PK with php!</title>


)


*/


print_r(inContent($html,'href="','"',false));


/*


返回：


Array


(


    [0] => http://www.pkphp.com/wp-content/themes/plaintxtblog/style.css


    [1] => http://www.pkphp.com/wp-content/themes/plaintxtblog/print.css


    [2] => http://www.pkphp.com/feed/


    [3] => http://www.pkphp.com/comments/feed/


    [4] => http://www.pkphp.com/xmlrpc.php


)


*/


?>






这个函数对你有用么？


Related items


wp采集(1)php 任意字符串(1)采集程序需要的函数(2)蝈蝈采集(6)php 采集程序(1)Email 采集 代码(1)pkphp(1)wordpress采集程序(2)采集函数 pkphp(1)wordpress 采集程序(1)php email采集(1)采集程序(2)php 采集 wp(1)php title 截取函数(1)采集 核心函数(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        php查询alexa排名的代码
                    
                
            

            

                
                    
                    
                        linux和windows下均可查询pr的php代码
                    
                
            

            

                
                    
                    
                        今日到南京上网，发现偶尔打开的网页出现如下代码
                    
                
            

            

                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/09/03/spy-getstring-function/feed/
		2
		
		
		php查询alexa排名的代码
		http://www.pkphp.com/2008/07/25/php%e6%9f%a5%e8%af%a2alexa%e6%8e%92%e5%90%8d%e7%9a%84%e4%bb%a3%e7%a0%81/
		http://www.pkphp.com/2008/07/25/php%e6%9f%a5%e8%af%a2alexa%e6%8e%92%e5%90%8d%e7%9a%84%e4%bb%a3%e7%a0%81/#comments
		Fri, 25 Jul 2008 15:37:22 +0000
		askie
				
		
		
		

		http://www.pkphp.com/?p=341
		
    
    
        您可能也喜欢：
    
    
            
                
                    
                    
                        linux和windows下均可查询pr的php代码
                    
                
            
            
                
                    
                    
                        蝈蝈采集程序核心代码：任意字符串截取函数
                    
                
            
            
                
                    
                    
                        php通用xml解析类
                    
                
            
            
                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            
    
    
        
            
                无觅
            
        
    
]]>
			




   1: <?PHP


   2: /*


   3: update: askie 


   4: Homepage: http://www.pkphp.com


   5: email: askie@sohu.com


   6: */


   7: class Alexa 


   8: {


   9: private $badclasses;


  10: private $site;


  11: private $cache;


  12:  


  13: function alexa() 


  14: {


  15: preg_match_all('#\.([a-z0-9]+) \{#i',file_get_contents('http://client.alexa.com/common/css/scramble.css'),$this->badclasses); 


  16: }


  17: private function descramble ($matches) {


  18: return in_array($matches[1],$this->badclasses[1])?'':$matches[2];


  19: }


  20: public function stats ($site, $section = 4, $item = 5) 


  21: {


  22: if (!is_array($this->cache[$site])) {


  23: $items = array();


  24: $html = preg_replace('# #','',preg_replace('#(?:<|<)!--.+?--(?:>|>)#','',file_get_contents('http://www.alexa.com/data/details/traffic_details/' . $site)));


  25: preg_match_all('#


  26:  


  27: .+? 


  28: #',$html,$tables);


  29:  


  30: for ($i=0,$len=count($tables[0]); $i<$len; $i++) {


  31: preg_match_all('#


  32:  


  33: (.+?) 


  34: #',$tables[0][$i],$info);


  35: for ($i2=0,$len2=count($info[1]); $i2<$len2; $i2++) {


  36: $info[1][$i2] = preg_replace('##','$1 ',$info[1][$i2]);


  37: $items[$i][] = preg_replace_callback('#(.+?)#im',array(get_class($this), 'descramble'),$info[1][$i2]);


  38: }


  39: }


  40: $this->cache[$site] = $items;


  41: }


  42: if ($section == 4 && $item == 5) {


  43: return $this->cache[$site];


  44: } elseif ($item == 5) {


  45: return $this->cache[$site][$section];


  46: } else {


  47: return $this->cache[$site][$section][$item];


  48: }


  49: }


  50: public function threeMothAlexa($site)


  51: {


  52: $urlinfo=parse_url($site);


  53: $site=$urlinfo["host"];


  54: $score=$this->stats($site,1);


  55: return $score[2];


  56: }


  57: }


  58: //


  59: //$alexa = new Alexa();


  60: //print_r($alexa->stats('www.pkphp.com'));


  61: //print_r($alexa->stats('www.pkphp.com',1));


  62: //print_r($alexa->stats('www.pkphp.com',1,1));


  63: //print_r($alexa->threeMothAlexa('http://www.pkphp.com/'));


  64: ?>







Related items


php 查询 alexa排名(1)http://client.alexa.com/common/css/scramble.css(1)http://client.alexa.com/common/css/scramble.css php(1)php Alexa 排名 代码(1)PHP获取alexa排名代码(1)php? 查詢(1)php 查询 alexa(1)alexa php(12)alexa php 代码(2)alexa php 查询(1)php查询alexa排名(1)alexa代码(1)Alexa排名PHP代码(1)php查询代码(1)PHP查询排名(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        linux和windows下均可查询pr的php代码
                    
                
            

            

                
                    
                    
                        蝈蝈采集程序核心代码：任意字符串截取函数
                    
                
            

            

                
                    
                    
                        php通用xml解析类
                    
                
            

            

                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/07/25/php%e6%9f%a5%e8%af%a2alexa%e6%8e%92%e5%90%8d%e7%9a%84%e4%bb%a3%e7%a0%81/feed/
		2
		
		
		linux和windows下均可查询pr的php代码
		http://www.pkphp.com/2008/07/25/linux%e5%92%8cwindows%e4%b8%8b%e5%9d%87%e5%8f%af%e6%9f%a5%e8%af%a2pr%e7%9a%84php%e4%bb%a3%e7%a0%81/
		http://www.pkphp.com/2008/07/25/linux%e5%92%8cwindows%e4%b8%8b%e5%9d%87%e5%8f%af%e6%9f%a5%e8%af%a2pr%e7%9a%84php%e4%bb%a3%e7%a0%81/#comments
		Thu, 24 Jul 2008 17:13:57 +0000
		askie
				
		
		
		
		
		

		http://www.pkphp.com/?p=324
		
    
    
        您可能也喜欢：
    
    
            
                
                    
                    
                        php查询alexa排名的代码
                    
                
            
            
                
                    
                    
                        linux下的脚本文件要注意换行符与Windows不同！
                    
                
            
            
                
                    
                    
                        linux下svn命令大全
                    
                
            
            
                
                    
                    
                        便宜、方便、速度快的国外linux vps主机商Linode.com介绍
                    
                
            
    
    
        
            
                无觅
            
        
    
]]>
			




   1: <?php


   2: // 7/25/2008 - Updated by Askie (http://www.pkphp.com/)


   3: // 3/20/2008 - Updated by Roger Collins (http://www.rogercollins.com/)


   4: // to remove graphing step


   5:  


   6: //PageRank Lookup v1.1 by HM2K (update: 31/01/07)


   7: //based on an alogoritham found here: http://pagerank.gamesaga.net/


   8:  


   9: class PageRank


  10: {


  11: //settings - host and user agent


  12: var $googlehost='toolbarqueries.google.com';


  13: var $googleua='Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.6) Gecko/20060728 Firefox/1.5';


  14:  


  15: //convert a string to a 32-bit integer


  16: function StrToNum($Str, $Check, $Magic) {


  17:     $Int32Unit = 4294967296;  // 2^32


  18:  


  19:     $length = strlen($Str);


  20:     for ($i = 0; $i < $length; $i++) {


  21:         $Check *= $Magic;     


  22:         //If the float is beyond the boundaries of integer (usually +/- 2.15e+9 = 2^31), 


  23:         //  the result of converting to integer is undefined


  24:         //  refer to http://www.php.net/manual/en/language.types.integer.php


  25:         if ($Check >= $Int32Unit) {


  26:             $Check = ($Check - $Int32Unit * (int) ($Check / $Int32Unit));


  27:             //if the check less than -2^31


  28:             $Check = ($Check < -2147483648) ? ($Check + $Int32Unit) : $Check;


  29:         }


  30:         $Check += ord($Str{$i}); 


  31:     }


  32:     return $Check;


  33: }


  34:  


  35: //genearate a hash for a url


  36: function HashURL($String) {


  37:     $Check1 = $this->StrToNum($String, 0x1505, 0x21);


  38:     $Check2 = $this->StrToNum($String, 0, 0x1003F);


  39:  


  40:     $Check1 >>= 2;     


  41:     $Check1 = (($Check1 >> 4) & 0x3FFFFC0 ) | ($Check1 & 0x3F);


  42:     $Check1 = (($Check1 >> 4) & 0x3FFC00 ) | ($Check1 & 0x3FF);


  43:     $Check1 = (($Check1 >> 4) & 0x3C000 ) | ($Check1 & 0x3FFF);    


  44:     


  45:     $T1 = (((($Check1 & 0x3C0) << 4) | ($Check1 & 0x3C)) <<2 ) | ($Check2 & 0xF0F );


  46:     $T2 = (((($Check1 & 0xFFFFC000) << 4) | ($Check1 & 0x3C00)) << 0xA) | ($Check2 & 0xF0F0000 );


  47:     


  48:     return ($T1 | $T2);


  49: }


  50:  


  51: //genearate a checksum for the hash string


  52: function CheckHash($Hashnum) {


  53:     $CheckByte = 0;


  54:     $Flag = 0;


  55:  


  56:     $HashStr = sprintf('%u', $Hashnum) ;


  57:     $length = strlen($HashStr);


  58:     


  59:     for ($i = $length - 1;  $i >= 0;  $i --) {


  60:         $Re = $HashStr{$i};


  61:         if (1 === ($Flag % 2)) {              


  62:             $Re += $Re;     


  63:             $Re = (int)($Re / 10) + ($Re % 10);


  64:         }


  65:         $CheckByte += $Re;


  66:         $Flag ++;    


  67:     }


  68:  


  69:     $CheckByte %= 10;


  70:     if (0 !== $CheckByte) {


  71:         $CheckByte = 10 - $CheckByte;


  72:         if (1 === ($Flag % 2) ) {


  73:             if (1 === ($CheckByte % 2)) {


  74:                 $CheckByte += 9;


  75:             }


  76:             $CheckByte >>= 1;


  77:         }


  78:     }


  79:  


  80:     return '7'.$CheckByte.$HashStr;


  81: }


  82:  


  83: //return the pagerank checksum hash


  84: function getch($url) { return $this->CheckHash($this->HashURL($url)); }


  85:  


  86: //return the pagerank figure


  87: function printrank($url) 


  88: {


  89:     $urlinfo=parse_url($url);


  90:     $start=$urlinfo["scheme"]<>""?strlen($urlinfo["scheme"]."://"):0;


  91:     $url=substr($url,$start);


  92:     


  93:     $pr = 0;    // default return


  94:     $ch = $this->getch($url);


  95:     $fp = fsockopen($this->googlehost, 80, $errno, $errstr, 30);


  96:     if ($fp) {


  97:        $out = "GET /search?client=navclient-auto&ch=$ch&features=Rank&q=info:$url HTTP/1.1
";


  98:        //echo "<pre>$out</pre>
"; //debug only


  99:        $out .= "User-Agent: {$this->googleua}
";


 100:        $out .= "Host: {$this->googlehost}
";


 101:        $out .= "Connection: Close

";


 102:     


 103:        fwrite($fp, $out);


 104:        


 105:        //$pagerank = substr(fgets($fp, 128), 4); //debug only


 106:        //echo $pagerank; //debug only


 107:        while (!feof($fp)) {


 108:             $data = fgets($fp, 128);


 109:             //echo $data;


 110:             $pos = strpos($data, "Rank_");


 111:             if($pos === false){} else{


 112:                 $pr=substr($data, $pos + 9);


 113:                 $pr=trim($pr);


 114:                 $pr=str_replace("
",'',$pr);


 115:                 return $pr;


 116:             }


 117:        }


 118:        //else { echo "$errstr ($errno)<br />
"; } //debug only


 119:        fclose($fp);


 120:     }


 121:     return $pr;


 122:     }


 123: }


 124: //$gpr = new PageRank();


 125: //print_r($gpr->printrank("http://www.pkphp.com/"));







    
<?



Related items


linux(1)php linux 和 windows(1)pagerank查询 php(1)php查询pr 代码(1)pr查询 代码(1)中文URL PR值(1)php pr(1)php toolbarqueries.google.com(1)php 查询 pr(1)pr查询代码 php(1)pr php google linux(1)PageRank Lookup v1.1 by HM2K(1)Windows下php版的查询代码(1)Google PR查询代码(1)php 查pr(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        php查询alexa排名的代码
                    
                
            

            

                
                    
                    
                        linux下的脚本文件要注意换行符与Windows不同！
                    
                
            

            

                
                    
                    
                        linux下svn命令大全
                    
                
            

            

                
                    
                    
                        便宜、方便、速度快的国外linux vps主机商Linode.com介绍
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/07/25/linux%e5%92%8cwindows%e4%b8%8b%e5%9d%87%e5%8f%af%e6%9f%a5%e8%af%a2pr%e7%9a%84php%e4%bb%a3%e7%a0%81/feed/
		2
		
		
		PHP中htmlentities跟htmlspecialchars的区别
		http://www.pkphp.com/2008/06/30/php%e4%b8%adhtmlentities%e8%b7%9fhtmlspecialchars%e7%9a%84%e5%8c%ba%e5%88%ab/
		http://www.pkphp.com/2008/06/30/php%e4%b8%adhtmlentities%e8%b7%9fhtmlspecialchars%e7%9a%84%e5%8c%ba%e5%88%ab/#comments
		Mon, 30 Jun 2008 13:25:57 +0000
		askie
				
		
		
		

		http://www.pkphp.com/?p=117
		
    
    
        您可能也喜欢：
    
    
            
                
                    
                    
                        php通用xml解析类
                    
                
            
            
                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            
            
                
                    
                    
                        php查询alexa排名的代码
                    
                
            
            
                
                    
                    
                        Ubuntu下安装 apache+php+mysql文本服务器！
                    
                
            
    
    
        
            
                无觅
            
        
    
]]>
			很多人都以为htmlentities跟htmlspecialchars的功能是一样的，都是格式化html代码的，我以前也曾这么认为，但是今天我发现并不是这样的。


这两个函数在格式化带有英文字符的html代码的时候基本没啥问题，但是htmlentities对中文字符也不放过，这样得出来的结果是中文字符 部分变为一堆乱码。当时做英文站的时候根本就没觉察到这个问题，而今天公司的一个收藏站却因为有有非英文字符而出现了问题，我最终查出来是 htmlentities这个函数的问题，同时我也找到了htmlspecialchars这个函数。


对于这两个函数，php手册上都是英文做的解释，其中在htmlentities函数的说明部分有这么一段英文：


This function is identical to htmlspecialchars() in all ways, except with htmlentities(), all characters which have HTML character entity equivalents are translated into these entities.


从这句话中我们也可以看出来这两个函数虽然基本功能差不多，但是还是有细微的差别在里面的。再仔细看htmlspecialchars函数里面的一段话：


The translations performed are:


‘&’ (ampersand) becomes ‘&’


‘”‘ (double quote) becomes ‘”‘ when ENT_NOQUOTES is not set.


”’ (single quote) becomes ”’ only when ENT_QUOTES is set.


‘<’ (less than) becomes ‘<’


‘>’ (greater than) becomes ‘>’

可以了解到htmlspecialchars只转化上面这几个html代码，而htmlentities却会转化所有的html代码，连同里面的它无法识别的中文字符也给转化了。


我们可以拿一个简单的例子来做比较：






$str=‘<a href=”test.html”>测试页面</a>‘;

echo htmlentities($str);












$str=‘<a href=”test.html”>测试页面</a>‘;

echo htmlspecialchars($str);








有条件的朋友，可以分别运行一下上面的这两段代码，就可以看出两者的差别了。


Related items


htmlentities和htmlspecialchars(1)htmlspecialchars 中文(7)php htmlspecialchars htmlentities(6)htmlentities 中文(12)htmlspecialchars() php(1)<?php <? 区别(1)html php 区别(2)PHP中htmlentities跟htmlspecialchars的区别(1)htmlentities跟htmlspecialchars的区别(1)php htmlentities说明(2)HTML entities(1)htmlentities中文(4)htmlentities php(5)htmlentities(8)htmlspecialchars htmlentities 区别(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        php通用xml解析类
                    
                
            

            

                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            

            

                
                    
                    
                        php查询alexa排名的代码
                    
                
            

            

                
                    
                    
                        Ubuntu下安装 apache+php+mysql文本服务器！
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/06/30/php%e4%b8%adhtmlentities%e8%b7%9fhtmlspecialchars%e7%9a%84%e5%8c%ba%e5%88%ab/feed/
		0
		
		
		SCWS简易中文分词系统
		http://www.pkphp.com/2008/06/12/scws%e7%ae%80%e6%98%93%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e7%b3%bb%e7%bb%9f/
		http://www.pkphp.com/2008/06/12/scws%e7%ae%80%e6%98%93%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e7%b3%bb%e7%bb%9f/#comments
		Thu, 12 Jun 2008 15:04:26 +0000
		askie
				
		
		
		
		
		
		
		

		http://www.pkphp.com/?p=76
		
    
    
        您可能也喜欢：
    
    
            
                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            
            
                
                    
                    
                        WordPress SEO 中文插件 V1.0发布！
                    
                
            
            
                
                    
                    
                        WordPress SEO 中文插件设计细节公布
                    
                
            
            
                
                    
                    
                        【原创】WordPress中文SEO插件 V0.8发布!
                    
                
            
    
    
        
            
                无觅
            
        
    
]]>
			SCWS-1.x.x 自述文件 (Written by hightman)

HomePage: http://www.hightman.cn


$Id: README,v 1.1.1.1 2008/03/04 14:00:36 hightman Exp $


> ———————————————————– <

1. 简介


2. 安装说明


3. API 使用说明


4. 配套工具


5. PHP 扩展安装说明


6. 代码结构


7. rules.ini 规则集编写说明


> ———————————————————– <


[SCWS 简介]


SCWS 是 Simple Chinese Words Segmentation 的缩写（简易中文分词系统）。

它是一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的

切分成词，因为词是汉语的基本语素单位，而书写的时候不像英语会在词之间

用空格分开，所以如何准确快速的分词一直是中文分词的攻关难点。


本分词法并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专

有名称，人名，地名，数字年代等规则识别来达到基本分词，经小范围测试大

概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取

等场合运用。首次雏形版本发布于 2005 年底。


本系统支持的汉字编码包括 GBK、UTF-8


在线分词演示：

G  B K: http://www.hightman.cn/demo/scws/v4.php

UTF-8: http://www.hightman.cn/demo/scws/v48.php


详情可参看：http://www.hightman.cn/?scws


[安装说明]


以 Linux(FreeBSD) 操作系统为例


1. 取得 scws-1.0.0 的代码

wget http://www.hightman.cn/down/logged/lscws-1.0.0.tar.gz


2. 解开压缩包

[hightman@d1 ~]$ tar xvzf scws-1.0.0.tar.gz


3. 进入目录执行配置脚本和编译

[hightman@d1 ~]$ cd scws-1.0.0

[hightman@d1 ~]$ ./configure –prefix=/usr/local/scws ; make ; make install


注：这里和通用的 GNU 软件安装方式一样，具体选项参数执行 ./configure –help 查看。

常用的三个选项为：

–prefix=<scws的安装目录>

–disable-mmap     <这表示禁用 MMAP 来读取 xdb，在 debian, ubuntu 的部分 Linux 中建议关闭 mmap>

–enable-developer <这表示以开发者模式编译，主要是用于调试编译时加入了 -g 选项及部分标准输出的信息>


4. 顺利的话已经编译并安装成功到 /usr/local/scws 中了，执行下面命令看看文件是否存在

[hightman@d1 ~]$ ls -al /usr/local/scws/lib/libscws.la


5. 试试执行 scws-cli 文件

[hightman@d1 ~]$ /usr/local/scws/bin/scws -h

scws (scws-cli/1.0.0)

Simple Chinese Word Segmentation – Command line usage.

Copyright (C)2007 by hightman.

…


6. 生成词典

在源代码目录树的 etc/ 目录下附上了词典的文本文件，编码为 GBK，使用前必须先转换成 xdb 格式。

假设您在 源码目录中，请执行

/usr/local/scws/bin/gen_scws_dict -h 查看词典生成帮助，调用指令(-c用于指定编码, gbk或utf8)：


/usr/local/scws/bin/gen_scws_dict -c gbk -i etc/dict_chs_gbk.txt -o /usr/local/scws/etc/dict_chs_gbk.xdb

/usr/local/scws/bin/gen_scws_dict -c utf8 -i etc/dict_chs_utf8.txt -o /usr/local/scws/etc/dict_chs_utf8.xdb


执行需要一段时间，最终生成可用的 xdb 文件于 /usr/local/scws/etc/ 中


注：如果您需要使用 utf8 编码，请事先将 dict_chs_gbk.txt 转换成 utf8 编码再调用 gen_scws_dict 来转换。


7. 写个小程序测试一下

[hightman@d1 ~]$ cat > test.c

#include <scws.h>

main()

{

scws_t s;

s = scws_new();

scws_free(s);

printf(“test ok!\n”);

}


8. 编译测试程序

gcc -o test -I/usr/local/scws/include -L/usr/local/scws/lib test.c -lscws

./test


9. 好了，就可以用这套 API 了


> ———————————————————– <


[LibSCWS API 使用说明]


本说明由 hightman 编写于 2007.06.08

网页版地址：http://www.hightman.cn/bbs/viewthread.php?tid=37


0. 概述

Libscws 代码是当前 SCWS(简易中文分词) 算法使用C语言编写的链接库，

目前仅基于 Unix 族的操作系统，可能必须适当修改才能运行在 Windows

平台中。这套 scws 库没有外部扩展依赖，代码力争简洁高效，针对分词

词典组织上做了一些优化。除分词外，由于分词词库采用的是自行设计的

xdb 和 xtree 结构，故本库函数也可以用以 XDB 和 XTree 数据存取

（另行介绍，暂时没有说明）。


1. 数据类型 （仅列出API中需要关注的部分）

·scws 操作句柄，几乎所有的 API 函数都使用到它，不应尝试拷贝 scws_st 结构，不保证这类拷贝结果会有用。

typedef struct

{

xdict_t d;

rule_t r;

unsigned char *mblen;

unsigned int mode;

unsigned char *txt;

int len;

int off;

int wend;

scws_res_t res0;

scws_res_t res1;

word_t **wmap;

struct scws_zchar *zmap;

} scws_st, *scws_t;

struct scws_zchar

{

int start;

int end;

};

注：xdict_t 和 rule_t 分别是词典和规则集的指针，可判断其是否为 NULL 来判断加载的成功与失败。

·scws 系列结果集，每次 scws 返回的分词结果的数量都是不定的，直到返回结果为 NULL 才表示这次分词过程结束，这是一个单链表结构。

typedef struct scws_result *scws_res_t;

struct scws_result

{

int off;

float idf;

unsigned char len;

char attr[3];

scws_res_t next;

};

·scws 高频关键词统计集，简称＂词表集＂，这是 scws 中统计调用时返回用的结构，也是一个单链表结构。


typedef struct scws_topword *scws_top_t;

struct scws_topword

{

char *word;

float weight;

short times;

char attr[2];

scws_top_t next;

};


2. 函数说明

·scws_t scws_new();

描述：分配或初始化与scws系列操作的 scws_st 对象。该函数将自动分配、初始化、并返回新对象的指针。通过调用 scws_free() 来释放该对象。

返回值：初始化的 scws_st * （即 scws_t） 句柄。如果无足够内存以分配新的对象，返回NULL。

错误：在内存不足的情况下，返回NULL。

·void scws_free(scws_t s);

描述：释放由 scws_new() 返回的 scws 操作句柄及对象内容，同时也会释放已经加载的词典和规则。

返回值：无

错误：无

·void scws_set_charset(scws_t s, const char *cs);

描述：设定当前 scws 所使用的字符集，目前仅支持 gbk 和 utf-8 两种字符集。参数 cs 描述的是新指定的字符集。若无此调用则系统缺省使用gbk字符集，指定字符集时 cs 参数的大小写不敏感。

返回值：无

错误：若指定的字符集不存在，则会自动使用 gbk 字符集替代。

·void scws_set_dict(scws_t s, const char *fpath, int mode);

描述：设定当前 scws 操作所有的词典文件。参数 fpath 描述的是词典的文件·¯径，词典格式是 XDB 格式。

参数 mode 有2种值，分别为宏定义的：SCWS_XDICT_XDB （这表示直接读取 xdb 文件）、SCWS_XDICT_MEM （这表示将 xdb 文件全部加载到内存中，以 XTree 结构存放）。具体用哪种方式需要根据自己的实际应用来决定。当使用本库做为 daemon server 时应当使用 mem 方式，当只是 embed 调用时应该使用 xdb 方式，将 xdb 文件加载进内存不仅占用了比较多的内存，而且也需要一定的时间（35万条数据约需要0.3~0.5秒左右）。

若此前 scws 句柄已经加载过词典，则此调用会先释放已经加载的词典。

返回值：无


错误： 如果加载失败，scws_t 结构中的 d 元素为 NULL，即通过  s->d == NULL 与否来判断加载失败或成功。


·void scws_set_rule(scws_t s, const char *fpath);

描述：设定规则集文件。参数 fpath 是规则集文件的路径。若此前 scws 句柄已经加载过规则集，则此调用会先释放已经加载的规则集。规则集定义了一些新词自动识别规则，包括常见的人名、地区、数字年代等。规则编写方法另行参考其它部分。

返回值：无

错误：加载失败，scws_t 结构中的 r 元素为 NULL，即通过 s->r == NULL 与否来判断加载的失败与成功。


·void scws_set_ignore(scws_t s, int yes);

描述：设定分词执行过程中是否忽略所有的标点等特殊符号（不会忽略\r和\n）。参数 yes 为 1 表示忽略，为0表示不忽略，缺省情况为不忽略。

返回值：无

错误：无


·void scws_set_multi(scws_t s, int mode);

描述：设定分词执行时是否执行针对长词复合切分。（例如：中国人->中国+人+中国人）。参数 mode 表示复合分词法的级别，取值为 1 ~ 15。mode 设定值，1~15。1|2|4|8 依次表示 short|duality|zmain|zall。缺省不复合分词。

返回值：无

错误：无


·void scws_set_duality(scws_t s, int yes);

描述：设定是否将闲散文字自动以二字分词法聚合，参数 yes 的值如果为 1 表示执行二分聚合，0 表示不处理，缺省为 0。

返回值：无

错误：无


·void scws_set_debug(scws_t s, int yes);

描述：设定分词时对于疑难多路径综合分词时，是否打印出各条路径的情况。注意，打印使用的是 fprintf(stderr, … 故，这项功能不要随便使用，仅在命令行嵌入式调用时可以使用，参见例子中的 cmd.c 。当库函数编译选项中加入 -DLIBSCWS_QUIET 时此项不生效。（参见 php 扩展，PHP扩展里就是加入此项）

返回值：无

错误：无


·void scws_send_text(scws_t s, const char *text, int len);

描述：设定要切分的文本数据，text 指定该串文本的起始位置，而 len 表示这段文本的长度。该函数可安全用于二进制数据，不会因为字符串中包括 \0 而停止切分。这个函数应该在 scws_get_result 和 scws_get_tops 之前调用。

返回值：无

错误：无。

注：scws结构内部维护着该字符串的指针和相应的偏移及长度，故连续调用的话后者会覆盖前者的设定；不应在多次 scws_get_result 循环中调用 scws_send_text()。


·scws_res_t scws_get_result(scws_t s);

描述：取回一系列分词结果集，该分词结果必须调用 scws_free_result() 释放，传入链表头指针。

返回值：返回的是结果集链表的头部指针。该函数必须循环调用，当返回值为 NULL 时表示分词结束。

错误：无


·void scws_free_result(scws_res_t result);

描述：根据结果集的链表头释放结果集

返回值：无

错误：无


·scws_top_t scws_get_tops(scws_t s, int limit, char *xattr);

描述：返回指定的关键词表统计集，系统会自动根据词语出现的次数及其 idf 值计算排名。参数 limit 指定取回数据的最大条数，若传入值为0或负数，则自动重设为10。参数 xattr 用来描述要排除或参与的统计词汇词性，多个词性之间用逗号隔开。当以~开头时表示统计结果中不包含这些词性，否则表示必须包含，传入 NULL 表示统计全部词性。

返回值：返回词表集链表的头指针，该词表集必须调用 scws_free_tops 释放

错误：无


·void scws_free_tops(scws_top_t tops);

描述：根据词表集的链表头释放词表集

返回值：无

错误：无


3. 使用实例

一个简单的分词实例：

#include <scws.h>

#include <stdlib.h>

main()

{

scws_t s;

scws_res_t res, cur;

char *text = “Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言”;


if (!(s = scws_new())) {

printf(“error, can’t init the scws_t!\n”);

exit(-1);

}

scws_set_charset(s, “gbk”);

scws_set_dict(s, “/usr/local/scws/etc/dict_chs_gbk.xdb”, SCWS_XDICT_XDB);

scws_set_rule(s, “/usr/local/scws/etc/rules.ini”);


scws_send_text(s, text, strlen(text));

while (res = cur = scws_get_result(s))

{

while (cur != NULL)

{

printf(“Word: %.*s/%s (IDF = %4.2f)\n”, cur->len, text+cur->off, cur->attr, cur->idf);

cur = cur->next;

}

scws_free_result(res);

}


scws_free(s);

}


编译：gcc -o test -I/usr/local/scws/include -L/usr/local/scws/lib test.c -lscws


> ———————————————————– <


[配套工具]


1. /usr/local/scws/bin/scws 或  $prefix/bin/scws


这是分词的命令行演示版本

执行 scws -h 可以看到详细帮助：


Usage: scws [options] [input] [output]

-i <file|string> input string or filepath

(default: try to read from <stdin> everyline)

-o <file>        output filepath (default to <stdout>)

-c <charset>     set the charset (default: gbk)

charset must been same with dictionary & ruleset

-r <file>        set the ruleset file (default: none)

-d <file>        set the dictionary file (default: none)

-M <1~15>        use multi child words mode(中国人->中国+人+中国人)

1|2|4|8: short|duality|zmain|zall

-I               ignore the all mark symbol such as ,:

-A               show the word attribute

-E               import the xdb dict into xtree(memory)

-N               don’t show time usage and warnings

-D               debug segment, see the segment detail

-U               use duality algorithm for single chinese

-t <NUM>         fetch the top words instead of segment

-a [~]<attr1,attr2,…>   prefix by ~ means exclude them.

For topwords, exclude or include some word attrs

-v        Show the version.

-h        Show this page for help.


-i <>: 要切分的字符串或者文件路径，如不指定则程序自动读取标准输入，每输入一次换行执行一次分词

-o <>: 切分结果输出保存的文件路径，若不指定直接输出到屏幕

-c <>: 指定分词的字符集，默认是 gbk

-r <>: 指定规则集文件（规则集用于数词、数字、专有名字、人名的识别）

-d <>: 指定词典文件路径（XDB格式，请在 -c 之后使用）

-M <>: 复合分词的级别：1~15

-I:    输出结果忽略跳过所有的标点符号

-A:    显示分词属性

-E:    将 xdb 词典读入内存 xtree 结构 (如果切分的文件很大才需要)

-N:    不显示切分时间和提示

-D:    debug 模式 (不必用, 需要编译时打开 –enable-developer)

-U:    将闲散单字自动调用二分法结合

-t <>: 取得高频词，参数为个数

-a [~]<attr1,..> 只显示某些词性的词，加~表示过滤该词性的词

-v:    查看版本

-h:    查看帮助


2. /usr/local/scws/bin/gen_scws_dict 或 $prefix/bin/gen_scws_dict


这将文本的词典转换成 xdb 文件

词典格式请参见源码 etc/ 中的 dict_chs_gbk.txt 和 dict_cht_gbk.txt

每行一个词，各行由4个字段组成，字段之间用 \t 分隔，含义分别为：


<词>  <词频(TF)>  <词重(IDF)>  <词性(北大标注)>


—

Usage: gen_scws_dict [options] [input file] [output file]

-i        Specified the plain text dictionary(default: dict.txt).

-o        Specified the output file path(default: dict.xdb)

-c        Specified the input charset(default: gbk)

-p        Specified the PRIME num for xdb

-v        Show the version.

-h        Show this page.


-c 指定字符集

-i 文本文件(txt)

-o 输出 xdb 文件的路径

-p (指定XDB结果的质数，一般不需要）


> ———————————————————– <

[PHP 扩展安装说明]


本软件包，在源码目录树中包含了 php 扩展的移植代码，可用于 php4

或 php5 ，这里介绍它的安装方式，假设您已经将 scws-1.0.0 安装到

/usr/local/scws 中或 $prefix 中。


安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake

工具及 phpize


1. 进入源码目录的 phpext/ 目录

2. 执行 phpize （在PHP安装目录的bin/目录下）

3. 执行 ./configure –with-scws=/usr/local/scws –with-php-config=/usr/local/php/bin/php-config

若 php 安装在特殊目录 $php_prefix, 则请在 configure 后加上

–with-php-config=$php_prefix/bin/php-config


4. 执行 make 然后用 root 身份执行 make install


5. 在 php.ini 中加入以下几行


[scws]

extension = scws.so

scws.default.charset = gbk

scws.default.fpath = $prefix/etc


6. 命令行下执行 php -m 就能看到 scws 了或者在 phpinfo() 中看看关于 scws 的部分


7. 这样就算安装完成了，余下的工作只是PHP代码编写问题了。关于 PHP 扩展的使用说明

请参看代码中 phpext/php_scws_manual.txt 文件


> ———————————————————– <


6. 代码结构


scws-1.0.0/

COPYING             — 版权说明

README              — 相关全部文档，包括安装及使用，必读

cli/                — 配套工具 scws-cli 及 词典制作工具

scws_cmd.c

gen_dict.c


libscws/            — 核心C代码

*.h *.c


phpext/             — php扩展的代码

etc/                — 文本词典及规则集文件

rules.ini

rules.utf8.ini    — utf8编码版的rules


dict_chs_gbk.txt  — gbk 编码的简体为主的文本词表

dict_cht_gbk.txt  — gbk 编码的繁体为主的文本词表


> ———————————————————– <


7. rules.ini 规则集编写说明


（暂缺）


> ———————————————————– <


Related items


http://www.pkphp.com/(1)rules.ini 规则集编写说明(2)scws.default.charset utf(1)scws.so的位置(1)dict_chs_gbk 规则(1)scws(3)php 中文分词(1)scws 段错误(1)C# 读 取词语(1)中文分词 内存占用(1)php中文分词(1)php分词(1)linux php5 scws(1)中文分词 词库 助词 形容词 量词 下载(1)支持中文分词的搜索引擎程序(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        [转]开源PHP中文分词扩展:PHPCWS 1.0.0发布啦
                    
                
            

            

                
                    
                    
                        WordPress SEO 中文插件 V1.0发布！
                    
                
            

            

                
                    
                    
                        WordPress SEO 中文插件设计细节公布
                    
                
            

            

                
                    
                    
                        【原创】WordPress中文SEO插件 V0.8发布!
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/06/12/scws%e7%ae%80%e6%98%93%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e7%b3%bb%e7%bb%9f/feed/
		2
		
		
		memcache测试脚本
		http://www.pkphp.com/2008/03/29/memcache%e6%b5%8b%e8%af%95%e8%84%9a%e6%9c%ac/
		http://www.pkphp.com/2008/03/29/memcache%e6%b5%8b%e8%af%95%e8%84%9a%e6%9c%ac/#comments
		Fri, 28 Mar 2008 16:12:57 +0000
		askie
				
		

		http://www.pkphp.com/?p=19
		
    
    
        您可能也喜欢：
    
    
            
                
                    
                    
                        安装memCache for PHP
                    
                
            
            
                
                    
                    
                        wordpress启用memcache详解
                    
                
            
            
                
                    
                    
                        手机测试
                    
                
            
            
                
                    
                    
                        windows live writer 测试！
                    
                
            
    
    
        
            
                无觅
            
        
    
]]>
			<?php

//连接

$mem = new Memcache;

$mem->connect(“127.0.0.1“, 11211);


//保存数据

$mem->set(‘key1‘, ‘This is first value‘, 0, 60);

$val = $mem->get(‘key1‘);

echo “Get key1 value: “ . $val .“<br>“;


//替换数据

$mem->replace(‘key1‘, ‘This is replace value‘, 0, 60);

$val = $mem->get(‘key1‘);

echo “Get key1 value: “ . $val . “<br>“;


//保存数组

$arr = array(‘aaa‘, ‘bbb‘, ‘ccc‘, ‘ddd‘);

$mem->set(‘key2‘, $arr, 0, 60);

$val2 = $mem->get(‘key2‘);

echo “Get key2 value: “;

print_r($val2);

echo “<br>“;


//删除数据

$mem->delete(‘key1‘);

$val = $mem->get(‘key1‘);

echo “Get key1 value: “ . $val . “<br>“;


//清除所有数据

$mem->flush();

$val2 = $mem->get(‘key2‘);

echo “Get key2 value: “;

print_r($val2);

echo “<br>“;


//关闭连接

$mem->close();

?>


如果正常的话，浏览器将输出：

Get key1 value: This is first value

Get key1 value: This is replace value

Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )

Get key1 value:

Get key2 value:


Related items


memcache 测试(8)memcached php 测试脚本(1)memcached illegal character(1)php memcached 测试(2)memcache 测试脚本(1)value(1)memcached 测试 php(1)测试memcache最大连接(1)memcached 测试脚本(2)php memcache测试(1)memcache测试(3)memcache 管理脚本(1)測試 memcached(1)memcahce 测试(1)php memcache 管理脚本(1)

    
    

        您可能也喜欢：
    

    
            

                
                    
                    
                        安装memCache for PHP
                    
                
            

            

                
                    
                    
                        wordpress启用memcache详解
                    
                
            

            

                
                    
                    
                        手机测试
                    
                
            

            

                
                    
                    
                        windows live writer 测试！
                    
                
            

    
    

        
            
                无觅
            
        
    


]]>
			http://www.pkphp.com/2008/03/29/memcache%e6%b5%8b%e8%af%95%e8%84%9a%e6%9c%ac/feed/
		0