• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师

• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师

• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 搜狐网站诚聘Java、PHP和C++工程师

• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 搜狐网站诚聘Java、PHP和C++工程师

• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 搜狐网站诚聘Java、PHP和C++工程师

http://blog.csdn.net/oyd/archive/2007/07/19/1699237.aspx---原网址

我这里介绍一个极适合大量URL快速排重的方法 ，这个算法被称为Bloom filter，基本上，它也只适合这样的场合。

这里的大量是指有5000万至1亿的URL，更大的数据量可能也不合适了。

一开始我使用了一个最复杂的做法，是有一个单独的daemon程序负责排重，数据和排重结果通过socket传输。
后来发现不行，仅仅几百万数据要做好几个小时，5000万不把人都急疯了？至于daemon中具体用什么算法就次要了，因为一涉及到网络通讯，速度再快也被拉下来（这里针对的是发送一条记录/返回一条结果的模式，一次传送一批数据则与网络状况有关了）

所以，把目标锁定在单机排重，一开始，试验了perl中的hash，非常简单的代码

use DB_File;
my %db;
#tie %db, 'DB_File', "createdb.dat", or die "Can't initialize db:: $! ";
while(<>) {
        chomp $_;
        $db{$_} = 1;# add code here
}
#untie %db;

从标准输入或文件中每行一个URL读入，插入到perl内置的hash表中，这就成了，需要输出结果则预先判断一下插入的key是否存在。

这个方法速度很快，可惜的是，它占用内存太大，假设1个URL平均50字节，5000万个URL需要2.5G内存。

于是又想到一个方法，把部分数据放入硬盘空间，perl中也提供一个现成的模块DB_File，把上面代码中的注释去掉，就可使用DB_File了，用法与hash一样，只是内部用数据库实现的。

测试了一下，速度明显下降了一个档次，仅40万的数据就要1分钟，关键还在于随着数据量的增加，速度下降加快，两者不呈线性关系。

数据量大的时候，有可能用MySQL的性能会比DB_File好，但是总体上应该是一丘之貉，我已经不抱期望了。

也许DB_File可以优化一下，使用更多的内存和少量的硬盘空间，不过这个方案还是太复杂，留给专家解决吧，一般来说，我认为简单的方法才有可能做到高效。

下面我们的重点对象隆重登场：Bloom filter。简单的说是这样一种方法：在内存中开辟一块区域，对其中所有位置0，然后对数据做10种不同的hash，每个hash值对内存bit数求模，求模得到的数在内存对应的位上置1。置位之前会先判断是否已经置位，每次插入一个URL，只有当全部10个位都已经置1了才认为是重复的。

如果对上面这段话不太理解，可以换个简单的比喻：有10个桶，一个桶只能容纳1个球，每次往这些桶中扔两个球，如果两个桶都已经有球，才认为是重复，问问为了不重复总共能扔多少次球？

10次，是这个答案吧？每次扔1个球的话，也是10次。表面上看一次扔几个球没有区别，事实上一次两个球的情况下，重复概率比一次一个球要低。Bloom filter算法正式借助这一点，仅仅用少量的空间就可以进行大量URL的排重，并且使误判率极低。

有人宣称为每个URL分配两个字节就可以达到0冲突，我比较保守，为每个URL分配了4个字节，对于5000万的数量级，它只占用了100多M的空间，并且排重速度超快，一遍下来不到两分钟，极大得满足了我的欲望。

• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师

一项技术是否会没落,有的会跟一两个天才扯上关系,Delphi就是如此!

从一项没落的技术中,我们可以学习些什么呢?

(1)先看完这两本书再谈

http://www.doany.net/  --Delphi源代码分析作者--周爱民的个人网址

李维的《Inside VCL》,有《深入浅出MFC》的意味

(2)Delphi为什么会没落?

Win32已经不会再往前发展了,

在.net framework下,语言只是工具,核心是CLR,而不是RTL

(3)我们可以学习些什么?

-- 一种语言如何在Windows中运行:数据类型,PE,内存分配与线程

-- 在语言上如何包裹上组件?

• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师

虽然.net Framework大行其道,还是有win32的资料的 :) ,由于是老技术,都写的透彻而深奥啊!

http://www.vczx.com/tutorial/mfc/mfc.php MFC一个教程

http://soft.yesky.com/lesson/36/2280536.shtml  win32多线程,有总比没有强

http://www.ithao123.com/Windows/0011.html 也许这个问题,侯捷讲的很清楚了

其实win32汇编编程也是windows编程!而且更靠近Win32API!--罗云彬的书值的一看

http://www.cnblogs.com/unruledboy/archive/2005/06/23/179569.html (  http://www.pinvoke.net/win32API )的.net封装---呵呵好东西!

http://www.czvc.com/bbs/showforum.asp?forumid=4  还有VC/MFC/win32API的论坛!

• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 搜狐网站诚聘Java、PHP和C++工程师

收集一些.net Framework的学习笔---.net多么深入人心,Win32的东西更少人研究啊.

http://www.rainsts.net/article.asp?id=426  WCF

http://www.dotnettools.org/Blog/article.asp?id=207 

感叹:现在的程序员比DOS年代的聪明,也会赶时髦

http://www.cnblogs.com/shanyou/archive/2007/07/02/803572.html 对比.net和jvm对动态语言的支持.(Java5前,c#向Java学习,从Java5开始,Java向c#学习--个人观点)

• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师

现在一窝蜂的都在搞WEB,不知道还有几个在捣鼓Win32的东西

趁现在还有精力,我还是决定把Win32的那套东西"研究"一下---有点像考古.

有两样东西不能错过:MFC和COM. 当然Jeffrey Richter的<核心编程>不能不读

但粗略看了一下,光语言门槛就够受的:C++,虽然不是C++98标准.然后需要学学MFC,当然是VC98版的那一种了,微软都已经不对之提供技术支持了,还有收集了基本MFC的几本好书:侯捷的<深入浅出MFC>,写的好啊!还有一本比砖头还厚的.--不知道.NET下的MFC是个什么样子.下一步就是COM了,Dan Box的是本应该读的书,可惜现在很难买到了.当年也没收入囊中,至今引为憾事.幸好,还有潘爱民写的一本COM的书可以读读.其实围绕COM的还有COM+,DCOM,可惜这些名词几年前还有所耳闻,有一两本书可以看看.现在已经被那时的程序员丢在书箱里了,而新生代的Windows程序员满眼尽是.net!

从DOS到Windows3.1/3.2到Windows9x再到WindowsXP,大家对Windows的内部机理,尤其是源码是垂涎三尺.这在2003年的Windows源码泄露事件发生之时更是演变到了一种巅狂的状态!就在那年,国内出了本的教材.也许事情到了顶峰就要走下坡路,现在很少听有人说要研究下Windows的内部机理.就连Jeffrey Richter也去研究.net了!我一直就又有个疑惑:.net跟以前的Win32有什么样的联系,Win32今后会怎么样.Win32的地位正好象Windows95时的DOS内核,也许这个比喻不太恰当.记得97年读大学的时候,Windows95很少有人使用,我们当时的计算机老师对DOS6.22非常熟悉,在课堂上对Windows95言语之间有些不以为然.而从后来的情形看,很多当时国内一流的DOS编程高手,在向Win32转变的过程中没跟上脚步.谈到这点,不能不佩服微软的战略决定:在90时代末互联网蓬勃发展之时,能够抛弃原有的编程模式,将公司的未来押在了.net上.我毕业的时候是2001年,说句实话对Java只听过其名,而J2EE实在没听过.但对.net却是听的多啊.只是那时不太明白微软想干嘛.因为那时还是VC,VB兴盛繁荣的年代,许多人认为VC程序员是非常厉害的.还知道Borland公司在编程领域是MS的强大竞争对手,他的Delphi非常优秀.如今.net已经深入人心,MS也在网络时代站住了脚跟,拥有了跟IBM,SUN这些公司竞争的武器.现在假想下,MS不去发展.net,不弄个C#出来.那么Java对MS的冲击会有多大!而如今,MS更是将自己的许多产品都准备融合.net中去,包括Office,SQL Server,甚至Windows操作系统.这可是很大的一个产品转型.

那么Win32API何去何从?但Don Box在其著作<.net本质论>中开篇就说:".net是更好的COM".COM一直是MS的精心培育的技术.从Don Box的这句话中也许可以想象一下.net的轮廓和发展方向. .net的确从Java上得到了不少的技术前进动力,虚拟机的设计理念帮了MS不小的忙.难怪,Java一面世,Bill Gates就对之赞赏不已,并给予了非常高的评价.我们知道Gates本人不仅是技术天才,也是商业奇才.所以他看待一项技术,应该不只从技术角度上讲的.另外Gates本人特别重视人才,不光识才,还爱才.为.net充当前锋的C#,其设计者就是他本人亲自从Borland公司"请"过来的.而这个人大家相信都耳熟能详了,不过他的名字实在不好读.一定程度上影响了他的传播度..net有许多东西,统一用.net Framework来称呼吧.但我们也知道Vista发布的时候,还有许多新鲜东西如:WCF,WPF,WF.这些东西又如何取代Win32API ? 还有一个问题;CPU正在逐步淘汰32位的.那么Win32API会不会变成Win64API?

现在正是从一种Windows编程模式向另外一种编程模式转变的年代.我跟你一样,正在经历!

• 北京: 千橡集团暨校内网诚聘软件研发工程师
• 搜狐网站诚聘Java、PHP和C++工程师

设计模式实际上是良好的OO思想的一种提炼。每一种设计模式后面都体现了一种良好的OO思路，这些思路对于解决软件中常见的“change”问题有很大的适应性，而每种模式又有自己独特的解决思路，带有一定的通用性。而组合各种模式又可以解决许多常见问题。不可否认的是，还存在一些未经总结的设计模式。实际上，你自己也可以总结一些模式出来。无论怎样，设计模式仍然是面向对象，它不是新东西，也没有必要言必称设计模式—似乎不懂设计模式就落伍了，但给OO的开发者提供一个言简意赅的沟通桥梁。

 
设计模式告诉了我们什么是好的OO思想，思考如何更好的应用OO的思想—虽然还是那几个耳熟能详的术语：封装、继承、组合、多态。

 
设计模式首先是对传统的OO使用方法的矫正：如针对接口编程而不是实现；优先使用组合，而不是继承。其次是在原来理解上的突破：封装是对变化而言的，不仅仅是属性和方法的集合。类不仅是现实事物的抽象，同时它还具有责任。更有创新：依赖式注入。

=====

Part2--2008-1-11

最近学了一点Ruby,发现很少提及设计模式之类的东西,就连AOP这样的高级玩意,有的帖子也讲Ruby并不需要.反正在Java中提的很多的"热词",在Ruby的世界中都是"冷"的.

设计模式,AOP,泛型这样的东西为什么对于Java是必要的？

因为它缺！这样回答是一句废话.

换个说法: Java在语法层面先天缺少一些超前的设计,本来它就是对于C++的改进,冲着简化C++的使用而去的.在C++中使用复杂的地方,我们都会觉得用Java要方便.再联想到EJB的设计,更是让人觉得SUN的工程师们是怎样的思考方式了:基于对于现有技术的改进,而鲜有加入新技术.在对于改进现有技术的能力上,的确有不少创新点.比如跨平台的设计,多线程直接借助语言层面,EJB的分布式处理.但是在改进Java自身的能力上,却很少有惊艳之处:JDK5的泛型,JDK6的脚本语言支持.Java对于泛型的设计实在赶不上C++！而加入对动态语言的支持,不外乎扩展JVM的能力,也是希望动态语言能利用原有的Java资源.这是整合,接旧,而不是改进！

Java最大的贡献在于引领了计算机技术的又一次勃发,看看在Java出现后计算机界出现的巨大变化就可以想象得到了－－看看M$就很清楚这一点了.

• 搜狐网站诚聘Java、PHP和C++工程师
• 北京: 千橡集团暨校内网诚聘软件研发工程师