搜狗拼音输入法词库是怎样炼成的

出处：搜狐官方博客[ 2007-04-08 18:19:11 ]  作者：吕杰勇  


　　众所周知，搜狗输入法在词库方面具有鲜明的特色，其词库不仅超大全面（大概有35万左右），而且词条质量也很高。随着搜狗输入法的不断普及，越来越多的用户体验到了搜狗输入法的超级流畅性，但是这样的流畅性是以一个优秀的词库为基础的。作为一个输入法的核心部分，搜狗的超强词库是怎样来的呢？下面和广大关心搜狗输入法的朋友们分享一下词库制作中的艰辛和快乐。

　　搜狗的词条来源

　　词汇是一切中文应用的基础，但是世界上并没有任何一个词典包含了输入法所需要的所有词汇。比如中国汉语大辞典虽然包含了很多词条，但是仍然缺乏很多比较新、比较具体的词，网络的新词又层出不穷，所以搜狗输入法必须自己想办法构造一个适合他自己的词库。

　　由于搜狗是一家搜索引擎公司，自然会有一批自己做文本分析的词库，它包含了常用的基本词汇和部分专业词汇，但是在数量上还是远远不能覆盖用户对词汇的需求空间。经过分析可知，这部分缺少的词中有相当一部分是人名、地名、歌曲、小说、财经、旅游、游戏、体育等。幸运的是，搜狐矩阵蕴含着许多搜狗需要的这些资源，比如地名资源可以从go2map拿到，歌曲资源可以从搜狗的音乐搜索拿到，小说资源可以从搜狐网拿到，游戏词汇可以从17173游戏网拿到……这些资源虽然是内部资源，但是当初也是编辑经过长时间大量的整理维护工作的结晶，并且这涉及到大量部门间的合作，每一个流程下来都会花许多精力。

　　除了搜狐内部资源的整合，我们还为某些事件、场合特别整理了大量的词表。比如在世界杯期间，我们的编辑整理了几乎所有与世界杯相关的词汇，使得球迷们可以更为流畅地交流。对于诗词，我们特别汇总了几乎所有从最早的诗经到毛泽东的所有古诗词（包括宋词），这都成为搜狗词库来源的一部分。

　　在融合搜狗自己的词库和各个兄弟部门提供的资源后，搜狗输入法词库有了较大的完善，但是仍然缺少很多各种各样的词，比如“挖人”、“电荒”等。这些词无法通过寻找资源的方式全部找到，所以不得不自己想办法。幸运的是，互联网网页是个大宝库，里面蕴含着几乎所有我们需要的知识，所以我们的工程师们设计了一套机器学习的算法从这些网页中训练新词，训练的结果是得到了大批的新词汇，但是也引入了大量的噪声，即垃圾词。比如在最初的搜狗输入法版本里，“谢霆锋”这个词的错法就有“谢霆峰”、“谢廷锋”等数种，这对用户的体验和输入法的智能性都造成了损害。

　　搜狗的词频统计

　　输入法离不开词频，词频直接影响着智能组词。搜狗输入法的词频统计是在一个极其大的互联网网页上统计出来的。为了得到一个最优的词频,或者得到某类风格的词频（比如口语化风格），我们不断更换语料库，从网页类型的选取、文章长度的限制、某些特殊的预处理等都做了大量的尝试。每一次尝试都需要重新统计词频，动辄需要几天时间才能完成一轮词库的制作与验证，占用的机器、人力、资源之多不是某些小手工作坊式的输入法小组能够完成的。

　　词库过滤系统的搭建

　　经过前面的资源整理，我们得到了一个非常非常大的词库（约合几百万），这个词库中的词良莠不齐，需要坚决的过滤才能满足输入法的需要。试想，从几百万个词条的集合过滤得到35万左右的词条集合，这注定是一个庞大而又精细的工作。

　　事实上词条出现的频率是词条质量的最重要维度，频率越高则词条是好词的概率越高，并且不同来源的词汇有着不同的可信度。为此我们搭建了一个词库过滤系统，这个系统好比是一个漏斗，可以灵活地对源头的词汇进行过滤，同时输出中间每一步的过滤过程以方便开发人员调整算法。就这样，在不断的过滤、验证、修改参数的循环中，这个系统逐渐趋于稳定，为整个词库的质量做出了重要的保证。这个系统虽然只有几千行代码，但是开发人员对它阈值等参数的调整可谓不计其数。经过这一轮的处理，词条的总体质量有了飞跃般的提升。

　　词库的机器整理

　　在1.0版本发布以后，许多用户抱怨垃圾词太多，于是我们又进入了与剩余垃圾词的战斗，以其进一步提高输入法词库的质量。

　　经过分析我们认为垃圾词可以根据垃圾的类型分为几大类，例如：交叉型垃圾词，比如“量将”；错别字类型垃圾词，如“张亮影”、“张亮颍”，“张亮颖”等。

　　对于这三种垃圾词，我们可谓使出了浑身解数。针对每一种类型的垃圾词，我们结合词性、互信息等理论进行大规模的统计操作，并对每一个阈值下过滤的词进行抽样把关，像淘沙子一样由一位工程师持续过滤了近一个月，过滤了近3万的垃圾词。

　　词库的人工整理

　　机器不是万能的，在机器的铡刀间总会存在无法自动处理的角落。为了再进一步提升词库质量，我们招聘了名校中文系的毕业生来审查我们的词库。由于编辑的辛勤劳动，不断与众多不知名的文字专家探讨垃圾词的标准，并借助技术工程师的力量，通过人工、机器两相配合的方式，又进一步过滤了数以万计的垃圾词。其中我们的编辑特别辛苦，需要对每一个词条进行确认，对于一部分词，还需要查字典确认，仅仅手工查《现代汉语词典》就超过2000次。终于，搜狗词库的混乱状态得到了改观，用户抱怨搜狗词库的声音逐渐平息，输入法的智能性也在不断努力中接连攀升。

　　词库的注音

　　由于普通词条是没有拼音的，所以我们必须对它们注音。注音的难点在于对多音字的处理，为此我们搜集了大量的拼音语料，从中统计出每一个多音字的读音概率，并开发了一套完整的注音程序，从而使每一个词条拥有了读音。但是注音问题也是一个经典的问题，从没有过完美的解决方案，因此我们的注音结果也存在诸多谬误。除此之外，有时甚至还存在一种事理上的矛盾，比如有些词（如模板，正确读音为muban，但很多人读moban）的大众读音是错的，那么到底该不该纠正该读音? 像这种物理上谬误的逐步纠正和现实中矛盾的合理处理，都是我们的编辑和工程师不断努力的结果。

　　新词发现

　　除了已有的词库，我们还要不断发现新词。因为人类的词库是不断变化的，而互联网对这种变化相当敏感，所以我们开发了一套从互联网中发现新词的算法和系统。此系统拥有自动流程，每周自动发送新词报告，再由人工过滤确认，从而使搜狗词库保持与互联网同步，与人们的生活同步。

　　词库的验证

　　在输入法词库制作完成以后，我们不会直接发布给用户，而是需要经过严格的准确性评测。准确性评测的方法主要是用机器自动模拟人工在输入法上击键输入，在数万行的中文样本上计算首选词正确的比例，以及不正确情况下翻页找词的次数。每次词库评测都需要测试组工程师花上数天的时间来完成，确保词库制作无误、首选词的准确性达标才能发布出来。

　　所以搜狗输入法的词库凝聚了众多开发工程师、测试工程师、中文编辑长达十几个月的心血。随着输入法小组集体的努力，搜狗的词库错误越来越少，质量越来越高。每当听到用户好的反馈，我们总是十分的高兴与欣慰。

　　然而在词库成绩显著的同时，我们也不能忽视词库中存在的个别问题，如仍有个别错词垃圾词存在，为此我们开通了各种渠道便于用户举报错词；我们也会进一步优化词库相关技术，相信在开发小组和用户的共同努力下，我们能够呈献给大家一款更加完善好用的输入法。

出处：搜狐


　　近日，大量网友向我公司反映，Google于2007年4月4日推出的“谷歌拼音输入法”涉嫌盗用“搜狗拼音输入法”词库(详情：《证据确凿!Google拼音输入抄袭搜狗? 》)。经过我公司技术人员技术鉴察，Google的拼音输入法词库确系直接盗用搜狗拼音输入法词库(包括且不限于1.5beta2版本，含词表及对应注音）。
　　
　　针对Google盗用“搜狗拼音输入法”词库的行为，搜狐公司通过各媒体做如下声明：

　　1、我公司为推动传统中文输入法的创新与发展，开创性地依托搜狗搜索引擎技术和数据库，独立研发了搜狗拼音输入法这一新一代、领先的中文输入法。同时，通过大量的技术研发和智力编辑，形成了全新的搜狗拼音输入法词库（含词表及对应注音和词频等），对中文词库有突破性发展。关于搜狗拼音输入法词库建设的流程和原理请参见《搜狗输入法词库是怎样炼成的》

　　2、搜狗搜索从未以任何形式公开搜狗拼音输入法词库(包括且不限于1.5beta2版本)，更未授权Google获得并使用此词库。Google未经任何合法有效的途径获得、直接盗用我公司搜狗拼音输入法词库的行为，我们表示强烈愤慨。

　　3、搜狗拼音输入法自2006年6月5日问世，已经经历了10个版本的升级，凝聚了搜狗技术开发团队大量的智慧、心血和劳动。Google作为以技术和创新闻名世界的著名互联网企业，并将“Don’t be evil(不做恶)”作为公司道德信条，更应当合法诚信、尊重商业道德。而此次Google技术团队竟然无视搜狗技术人员劳动成果，直接盗用搜狗拼音输入法词库，搜狐公司对此非常不理解。

　　4、2007年4月5日晚，Google拼音输入法升级至1.0.16.0版本，遗憾的是，升级后版本的词库，仍然明显盗用“搜狗拼音输入法”词库。

　　5、针对Google盗用搜狗拼音输入法的行为，搜狐公司要求Google公司：对以上行为公开赔礼道歉，立即停止盗用了搜狗拼音输入法词库的google输入法的下载和运营，停止相关产品的宣传，搜狐公司将保留采取进一步行动的权利。

　　感谢媒体朋友及广大网友对搜狗拼音输入法的关注和支持，搜狗搜索将继续加大研发力度，持续改进搜狗拼音输入法产品的品质，为网友提供最优质的中文输入服务和体验。同时欢迎媒体朋友及广大网友继续对搜狗拼音输入法提出宝贵意见，为继承和弘扬民族文化及民族知识产权做出努力。

　　搜狐公司

　　2007年4月8日

http://tech.163.com/07/0408/19/3BJ2ABN4000915BF.html

　针对网友质疑及搜狐公司声明，Google中国向网易科技发来声明称，已注意到了部分用户对谷歌输入法词库的质疑，承认“该词库在试验阶段确实包含了一些非Google（谷歌）的数据源”，愿意面对问题。
4月4日，谷歌轰轰烈烈的发布了“谷歌拼音输入法”，以表明其本土化的能力和决心。然而输入法发布后，却引发了业内大量质疑。众多网友怀疑谷歌拼音输入法词库直接盗用搜狗拼音输入法词库，不少网友发贴表示，很多搜狗输入法中故意设置的偏僻的词语竟也出现在谷歌输入法中，甚至还有搜狗员工的姓名。而另一方面，搜狗早期版本部分因出错而无法输入的词语竟然也出现在谷歌输入法中。

4月8日，搜狐发表声明，称经其技术人员鉴定，“google的拼音输入法词库确系直接盗用搜狗拼音输入法词库(包括且不限于1.5beta2版本，含词表及对应注音）”，并要求google中国公开道歉，停止相关产品下载运营。

针对网友质疑及搜狐公司声明，Google中国向网易科技发来声明，称已注意到了部分用户对谷歌输入法词库的质疑，承认“该词库在试验阶段确实包含了一些非Google（谷歌）的数据源”，愿意直面问题。（网易科技 王少勋）

--------------------------------------------------------------------------------


以下为声明全文：

谷歌拼音输入法在实验室发布（2007年4月4日）以来，我们收到了用户大量的反馈和建议，其中，我们特别注意到了部分用户对谷歌输入法词库的质疑。该词库在试验阶段确实包含了一些非Google（谷歌）的数据源，我们愿意直面自己的问题。 我们为因此带来的不便表示抱歉的同时，立即采取了行动。本周日（2007年4月8日）的中午，我们完成了谷歌拼音输入法发布以来的第二次全面升级（谷歌拼音输入法 1.0.17.0版本）。目前的词库是从谷歌多年积累的海量搜索数据库数千万条目中产生， 我们欢迎用户与业界对我们升级版本给予更多的反馈和监督。 最后，谷歌自身、同时也希望同业界共同努力，为提升输入法的全面升级、功能突破作出长期、踏实的实质性工作，不断的为用户提供更多、更好的应用体验。

曾在某输入法论坛上浸了一段时间，得知输入盗用词库的现象时有发生，原装五笔加加的词库就是盗用OFFICE自带的王码五笔86版的。
整理一个词库（尤其是拼音词库，因为要注重整句输入）的时间会比写一个输入法（最初发布版本）更花时间，尤其是对于个人或者几人的开发团队来说，所以估计Google拼音开发团队人很少，而且都是写代码或美工类的，哈哈。另外Google拼音也是仓促发布（为了尽快占领市场），所以根本没花时间去整理词库，否则以Google这样大型的搜索引擎要整理一个词库并不是难事，只是看投入多少时间和精力而已。祝Google拼音走好。

拼音加加制作人:输入法独创功能很难得到保护国内主流的拼音输入法之一-拼音加加的制作人孙百川针对谷歌拼音输入法盗用搜狗拼音输入法事件发表看法:作为输入法的作者,其实最难受的事情不是词库抄袭,而是创新功能被人剽窃.“在新功能方面,拼音加加做了很多创新的尝试,”孙百川说,对这些独创的功能,却很难用专利等手段进行保护.

  孙百川透露,在制作拼音加加的过程中,他曾经尝试过去将新开发的功能申请专利,但是由于专利法得不完善,导致软件上的功能专利不像硬件的改进申请专利来得容易.他的很多独创的功能,也因此被很多输入法“借鉴”,甚至抄袭的人还觉得天经地义.

  孙百川表示,现在软件的任何自我保护措施都可能被破解,如果有人想看某输入法的词库也不是一件难事.

  “拼音加加一直将词库公开,用文本格式任网友传播,”孙百川说,软件的版权都没完全得到保护,要保护词库就更难了,因此就直接将拼音加加的词库公开了.

新浪科技消息


深有同感，用过拼音加加4的可以去看看搜狗一路是怎么来的。雷同的功能太多了……

搜狗最高！！！！！

新版似乎是没用了搜狗的词库，但有人测试过了，新版的词库词频很垃圾，比如jingye的首选是“精液”而不是“敬业”。

我不看好这个谷歌，相比之下我还是喜欢搜狗多一点。

2007-4-9 9:58:00　文/网络整理　出处：网络收集

　　作为一个技术工作者，Google给我的一贯印象是：顶级的技术，严谨正派的作风，创造力的源头。作为搜狐公司的一员，我对Google拼音的心情是充满矛盾的。一方面，Sogou拼音输入法的创意被Google跟风，无疑是一种认可，证明了我们当初选择的正确性；另一方面也意味着更加激烈的竞争。然而，后来的事情确实是所有人都万万没有想到的。

　　网上的讨论很多，作为开发者我闭着眼睛也能举出无数证据出来，但这不是今天写这篇博客的目的。先解释一下我在前一篇博客中说过的引起争议的那句话：

　　gpy的一些功能，sogou不是不能做而是不敢做，怕被人骂流氓，十年怕井绳呀。不过google开了个头就好办了……

　　郑重声明一下，流氓行为Sogou输入法从未做过也永远不会做，但由于Sogou曾经有过不良的记录，使每一项功能都非常小心，避免产生争议。

　　即使是这样，一些不周到的环节还是被用户质疑。例如，自动更新词库设置和自动更新输入法设置容易混淆，一些用户认为Sogou输入法在关闭升级选项后依然自动升级，是流氓行为；用户卸载后我们发送了一个pingback用于卸载计数(向服务器发送一个包)，是流氓行为；右键菜单里面有搜狗搜索的条目，是流氓行为；更不用说各种杀毒软件对我们的误报了。。。。。。 简而言之，遍地是雷，步履蹒跚。但google输入法完全没有这些问题，一键搜索，网络词库同步，捆绑工具条。。。。。。网上纷纷较好，赞誉一片，我们心里那叫一个酸呀，要知道这些创意只是Sogou输入法庞大产品创意库中的一小部分。。。。。。一时眼红，才有“google开了个头就好办了”这句话，没想到被转载的到处都是，受到很多人的批评，向各位道歉了。

　　不得不说，sogou和google就是这样一个不平等的状态，这也是我们必须一直面对的问题。

　　另外，用户在网上的讨论出现什么内容都很正常，也有很多人为google输入法辩护，这都可以理解，但有两句话我实在是不能接手听不惯：a) 词库又不是代码，抄抄有什么了不起；b) google用了你的词库，你一定也用的别人的词库，谁也别说谁。这两个问题我实在是不吐不快。我在sogou待了很多年，经历了搜索引擎和搜狗输入法两个产品的开发，全程参与了sogou词库从无到有的过程，相信是最有发言权的人之一。

　　sogou词库最早的需求来自sogou搜索引擎，从互联网上抓取网页后，用特定算法进行统计分析学习得来，在sogou搜索引擎成长和发展过程中不断的积累，这是sogou输入法词库的前身。但搜索引擎的词库不能完全满足输入法的要求，毕竟搜索和输入两个应用差别太大。

　　为了得到更好的词库，我们做了相当多的工作。首先从搜狐的兄弟部门取来了各个领域的资源(名人，歌曲，房产，旅游，财经，体育，。。。。)，集成处理后得到覆盖各个领域的词库；再通过网页新词发现模块的完善，挖掘出更多的新词，这才得到一个基本可用的词库。但这个词库还存在很多问题，网民输入的随意性导致错词和垃圾词很多，我们实现了较复杂的算法，通过规则和统计进行过滤。之后是注音环节，互联网词汇(特别是新词)是不包括读音信息的，对于多音字的情况需要通过算法进行自动的读音标注。最后，选择合适的语料库，得到词频(决定词序)。以上过程中，需要大量的代码编写和长久的维护工作。

　　词库是个很复杂的问题，通过程序是没法自动解决所有问题的，这也是为什么词库中会出现(pinggong冯巩)和(蝴碟)。为了解决这些错误，一方面我们改进程序使正确率不断提升，另一方面人工对这些词进行检测，编辑有时候需要一次性处理数千词。sogou每周都会发布错词报告，纠正词库中的错误。可以说，如今的sogou词库凝聚了开发人员，测试人员，编辑人员的心血，也是sohu内部资源整合的结晶。从某种程度上来说，google输入法使用 sogou输入法词库，说明了sogou输入法词库的优秀。

　　总的说来，这件事情是令人失望的，对g粉们是这样，对sogou而言也是这样。以google开发人员的聪明才智和google近乎无限的资源，google依然有能力成为一个优秀的输入法，我们并不畏惧竞争，只是希望这样的竞争更公平，更堂堂正正一些。

本人对新版紫光寄予后望，什么时候搜狗不流氓了再作考虑

微軟新注音輸入法才是真王道

= =+

2007-4-9 19:20:00　文/lt　出处：IT.com.cn(IT世界网)

　　Google中国在改名为“谷歌”后，本地化进程步子也迈的越来越大。主推.cn域名、TOP排名等一系列举措的推出，让人看到Google本地化进程正在有条不紊的实施着。不过这种平静在4月4日被打破了，Google在这一天推出的谷歌输入法被指大量抄袭搜狗的词库文件，随后事态就像我们所看到的一样，搜狗发布说明，Google随后发布公告承认的抄袭事实并做了道歉。一向以创新而闻名的Google，居然也干了抄袭一这行当，这让不少喜爱Google的网友大失所望……

　　模仿搜狗仿过了头

　　输入法的用户黏着度不言而喻，当用户用上了一个输入法后，往往几年或几十年不会更换，而且输入法和搜索引之间也有不少的关联关系，所以搜狗搜索以搜狗输入法做为搜索网站的宣传形式，可谓走出了一条不错的创新互补推广形式。这些自然看在了Google的眼力，急需本地化的Google就这样自然的也推出了自己的拼音输入法，借鉴没错，但Google好象忘记了借鉴的只能是形式上的，可能是输入法词库的编辑整理太过耗时耗力，Google一并连词库也借鉴了过来。这种软件抄袭的事件，我们在国内看到过不少，但出现在大名鼎鼎的Google身上却让不少的人大跌眼睛。合理的借鉴外加自己的创意，这种发展形式已经在腾讯、淘宝身上得到了成功验证。单从Google推出输入法这个举措来看，Google的确模仿的不错，不过模仿过了头，到头来却适得其反，甚至可能会祸及Google公司在全球的品牌形象。

　　正所谓，强龙难压本地蛇，雅虎、eBay等大公司一直以来在中国的发展不是那么的顺利。而Google一直以来也是表现出水土不服的迹象，此次抄袭事件更是做的得不偿失，不过好在Google在这件事情的处理方式上，体现了大公司的作用，并没有掖着藏着，先是承认抄袭后又向搜狗道歉，虽然损失是一定不可避免的了，但这种积极的直面问题的态度还是得到了不少支持者的认可。

　　通过本次抄袭事件，相信Google以后能够引以为戒，在坚持创新的本地化道路上越走越好。