ITeye博客

King's blog for Search Engine

yy8354 · 共 23 篇文章

[置顶] (下载)搜索引擎、自然语言理解相关的论文和电子书

以前的BLOG直接提供下载,现在都上传到网络硬盘了,这个速度还挺快的。以后陆续把之前的资源整理完了上传上去。就不另写帖子了,在这里置顶,不定期更新。 http://www.ziddu.com/download/5316375/计算机语言学-词法分析.rar.html http://www.ziddu.com/download/5316374/LuceneInAction.rar.html http://www.ziddu.com/download/5316228/大规模搜索引擎检索系统框架与实现要点.pdf.html http://www.ziddu.com/download/5316227…

2009-06-24T10:31:01Z · 评论(1)

[置顶] 原King's blog for Search Engine(blog.likeshow.net)

因为没免费服务器了,发现这里也能穿10M以下的附件,省钱了,以后转移到这重新开始写BLOG,非原创类的文章,我会在以后慢慢转帖回来,恢复原来BLOG的所有内容 我是KING 原来看BLOG欢迎重新回来 现在域名也转这里了 www.likeshow.net blog.likeshow.net 可以用域名直接访问 以前那些没转过来的文章资料 可以通过搜索引擎的缓存访问

2009-04-09T09:10:51Z · 评论(0)

小问题记录

启动resin时设置jdk编码格式,保证编码与预期一致,linux系统编码不顶用 -Dfile.encoding="UTF-8"

2012-11-16T18:54:48Z · 非技术 · 评论(0)

Nginx开发笔记

1、Nginx全部是纯C写的,如果编写的模块使用C++相关代码及函数,无法正确编译。 2、过多的警告也会导致编译失败,可以手工修改configure生成的Makefile 去掉相关的检查 3、在模块代码目录下的config文件中 CORE_LIBS="$CORE_LIBS -limage_seg -lmySegImg -lcxcore -lhighgui -lml -lcv -lcvaux -lmemcached" 该参数为指定模块编译时使用的动态链接库,但在用configure生成Makefile时需要增加--with-ld-opt=".L/home/yang" 来指定动态链接库的位置 4…

2010-11-28T20:47:51Z · 编程语言 · 评论(0)

Linux c 学习笔记

1、编译好的程序运行时找不到共享库文件(.so)文件问题原因 默认搜寻共享库文件为系统根相关目录,或者使用export指定shell相关参数改变搜寻路径(export LD_LIBRARY_PATH=./) 相关文章:http://blog.sina.com.cn/s/blog_690c46500100kxhd.html 2、编译过程中在当前目录下查找不到需要的共享库文件 libsegimg.so库文件lib为默认命名规则,实际编译过程中-l参数后只跟segimg即可 3、gcc编译c程序出现“__gxx_personality_v0” 只知道“__gxx_personality_v0”的错…

2010-11-28T20:32:41Z · 编程语言 · 评论(0)

libsvm分类总结

以前对于libsvm的应用主要当它是个机器学习的工具,单纯的当一个现成的分类器使用,主要研究的是如何选择合适的分类特征和做分类训练数据,对于参数的基本了解,但很少改动由于官方网站上也推荐文本分类使用线性分类,当初做文本分类精力完全在特征和样本筛选上了,最近由于样本和特征的稀疏数据分类问题,又一次在各种核函数和参数上下功夫妄求提升分类准确率,在此总结记录以防以后又忘记了 c g两个参数不用说了 这个完全靠测试没什么可说的 w参数很重要 在不同分类样本不均衡时 需要依赖此参数对对应的分类进行惩罚值调整 比如分类1有20个样本 而另一个分类2有200个样本 分类1的w设置1的话 另一个分类2的w最…

2010-09-27T19:05:13Z · 非技术 · 评论(2)

专业词的抽取之通用度

词语的通用度 所谓词语的通用度,是指词语在语言应用的各个领域里常用性的综合指标。0通用度兼顾到词语的分布率和频率两个方面,并且把两者有机地结合起来了。通用度概念中所说的“领域”,既可以指“空间”,也可以指“时间”,它既可指一个词在共时的语言应用中各领域里的通用程度,也可指一个词在历时的各个时期里的语言应用中的通用程度。现在我们假设把抽样统计的全部语料分成k组,每组语料的数量大致相等。某一个词在1,2,......,k组的出现次数分别为n1,n2,...,nk,那么这个词的通用度定义为: 术语实际上就是某个学科领域所使用的“词语”,词语的通用度计算方法在某个独特的学科领域可以用作术语的通用度计…

2009-08-26T11:09:28Z · 评论(0)

解压chunked

//处理Transfer-Encoding="chunked"的头的压缩数据 private static byte[] doUnchunk(byte[] writeData) { try { if ((writeData == null) || (writeData.length == 0)) { return new byte[0]; } ByteArrayOutputStream stream1=new ByteArrayOutputStream(writeData.length); int sourceIndex = 0; boolean flag1 = false; byte[] …

2009-08-14T17:43:38Z · 评论(0)

JAVA与C#通信过程中数据转换问题解决

由于JAVA语言的数据类型都是有符号类型,而C# C++一般数据类型都是分有符号和无符号,因此在通信过程中传递的Byte[]无法直接转换成C#需要的类型,以前倒是没注意这些细节,因为一般用一种语言编程,大都有内置的转换方法。跨语言环境的转换就的自己动手想办法了。 1、java的Byte[]转换成c#的Int32 private int CoverJavaByteToInt(byte[] bytes) { char[] chars = Encoding.ASCII.GetChars(bytes); int r = 0; r |= (((int)(chars[0])) & 0xff) << 24…

2009-06-05T15:13:40Z · 企业架构 · 评论(0)

LibSvm.net调用方法及参数

libsvm是著名的SVM开源组件,目前有JAVA.C/C++,.NET 等多个版本,本人使用的是2.82 libsvm命名空间下主要使用类: svm_model 为模型类,通过训练或加载训练好的模型文件获得 svm_parameter 为参数类,主要为支持向量机设定参数,具体参数如下: svm_parameter.svm_type svm类型:SVM设置类型(默认svm_parameter.C_SVC) svm_parameter.C_SVC -- C-SVC n(n>=2)分类器,允许用异常值惩罚因子C进行不完全分类。 svm_parameter.NU_SVC -- ν-SVC n类似然…

2009-04-15T12:16:28Z · 评论(0)

SuffixTree 后缀树 c#实现

后缀树算是应用比较广泛的字符串处理算法了,压缩方面应用不少。这是我根据JAVA版本改写的版本。

2009-04-15T12:13:35Z · 评论(0)

LUCENE Field字段类型的意义

很多看LUCENE IN ACTION的人,开始写代码最容易遇到的问题就是Field.Keyword Field.UnIndexed Field.UnStored Field.Text……都没了 因为那LUCENE高版本提供的已经有很大区别Field类已经没那些玩意,最近问的人多了,我就把我常用的个简单的转译函数贴这给大家参考 FieldType是个自定义的emnu类型 替代原有的Field.Keyword……之类 方便大家写代码的时候直接移植低版本LUCENE程序 如果不懂意义直接对照那书上的表看我这个函数也能明白新类型怎么用了 public static Field IndexField…

2009-04-15T12:08:32Z · 评论(0)

同一进程内线程的CPU占用

public ArrayList ShowProcessThreadList(Process pID) { ArrayList List = new ArrayList(); ProcessThreadCollection tList; tList = pID.Threads; TimeSpan totalThreads = new TimeSpan(); foreach (ProcessThread tID in tList) { totalThreads = totalThreads + tID.TotalProcessorTime; } foreach (ProcessThread t…

2009-04-09T09:28:31Z · 评论(0)

BloomFilter算法的C#简化版,主要应用于URL消重

using System; using System.Collections; using System.Text; using NUnit.Framework; namespace OurAlgorithmCollections { public class BloomFilter { /// <summary> /// BitArray用来替代内存块,在C/C++中可使用BITMAP替代 /// </summary> private static BitArray bitArray = null; private int size = -1; /// <summary> /// 构造函数…

2009-04-09T09:27:07Z · 评论(1)

大规模网页快速消重中网页特征的提取

刚在群里有人突然提起这个,也就顺便写写大家暂且看之,所以算法都需要考虑应用场景,而我自己设计的算法也仅满足我当时的业务应用而已,不可直接照抄,否则后果自负。 1、一般处理的方法 (1)最原始的使用文本相似度判别,相当准确,但是计算速度慢,提高的方法无非是先索引进行预处理,或者用SVD来降维减少矩阵运算时间 (2)文本摘要为文本特征,进行特征重复判别 (3)抽取文本关键词,构成比较小的文本向量做为特征进行判别 大家考虑过以上3中算法的共性没?那就是要分词,中文分词博大精深,效果越好速度越慢这是铁律,但具体还要看分词算法的设计。所以这部分时间的消耗以上3中方法是无可避免的必须进行的步骤。 而我所…

2009-04-09T09:22:05Z · 评论(1)