为什么尿布和啤酒放在一起买？(数据挖掘)

我们正处在一个信息大爆炸的年代，主要表现在大量信息的产生并以数字化的方式被记录下来。之所以会有信息大爆炸，一个主要的原因是信息技术的成本大幅下降并且迅速广泛普及。10年前，一台个人电脑的硬盘大概也就是1GB大小，今天硬盘的大小都用几百GB甚至TB（1TB=1024GB）来衡量了，而价钱基本上没有变化。正是信息技术的普及造就了信息大爆炸的年代。信息多了，是好事儿，也是坏事儿。好事儿呢，是因为信息可以帮助人们更好地决策；坏事儿呢，是因为信息太多了，如何找到有用的信息又变成了一件难题。

大海捞针，出自明代戏曲作家王錂的《春芜记·定计》：“觅利如大海捞针，搅祸似干柴引火。”你想想，大海有多大、多深、多广阔，而一根针又是多么细微和渺小，要想在广阔的大海里找到一根针，是一件不可能完成的任务。在今天的信息大爆炸年代，代表信息的数据就好像大海，广阔无边，而要在这广阔的大海里找到想要的某一条信息，也确实是一件很难的事情。所以说，大海捞针的“捞”其实很形象地刻画了数据挖掘的过程。

简而言之，数据挖掘就是从存放在数据库中的大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程。这个定义说出了数据挖掘的四个基本特征：一是有效；二是新颖；三是有用；四是可理解。这四个基本特征缺少一个就不是严格意义上的数据挖掘。“有效”是指数据挖掘过程所使用的方法是正确的，无论用统计抽样、假设检验，还是人工智能、模式识别和机器学习等方法，都要是正确地使用。“新颖”是指数据挖掘结果是意想不到的、事先不知道的，如果是已经知道的，还费那么大的力气去挖掘什么呢。“有用”是指数据挖掘结果可以用来指导公司决策，否则，费了九牛二虎之力挖掘出来的东西岂不都是垃圾。“可理解”是指数据挖掘结果能够用常识或理论解释，如果解释不了，那么这个结果很可能是碰巧得来的。这次碰巧得到了，不知道下次还能不能碰上，这样的结果使用价值也不大。

数据挖掘的应用之一就是关联规则，通过对大量数据的分析，找到两个或几个总是同时发生的事件。对于关联规则，有一个关于沃尔玛的传说，之所以说是传说，是因为这个故事在商学院MBA课堂上广泛流传，谁也不知道源头在哪里，到底是不是真的。有一个学期，我有几个学生非常较真，做了大量的搜索工作，最后也无法确定这个故事的源头和真相，这故事后来就成了一个谜，反倒更增加了它的吸引力。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的历史购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘，发现了一个很有意思的现象：婴儿尿布和啤酒有很高的相关度，即跟尿布一起购买最多的商品竟然是啤酒！

不要忘记我们前面说的四个基本特征。有效？没问题，沃尔玛的数据存储和分析肯定都是正确有效的。新颖？当然！在这之前，谁会想到啤酒和尿布会是一起购买最多的商品呢？那么，这个发现有用么？当然有用，这个发现可以帮助沃尔玛商场合理摆放商品。一个从众思维的经理会利用这个发现把啤酒和尿布摆放到一起，方便顾客购买，这是中规中矩。但是，一个有批判思维的经理会觉得把啤酒和尿布摆放得越远越好，这样一来，顾客拿了啤酒就要在商场里穿过别的货架去拿尿布，这个过程中可能又看到别的感兴趣的但没准备买的东西，也装入购物车，增加了商场的额外收入。最难的应该是最后一个特征，这个现象可不可以解释？它是不是一个纯粹的巧合？在把这个故事讲了几十遍以后，我的学生们基本上有两个解释。一个是有了孩子以后，丈夫出去泡酒吧的机会少了，只好自己买啤酒在家自酌自饮。另一个是丈夫工作了一天回家还要照顾孩子，很累，有一些抑郁，于是需要一些酒精的麻醉，借酒浇愁。应该说，这两个解释都基本可信。所以，这个发现符合四个基本特征，是一个典型的数据发掘的应用例子。

数据挖掘还有一个有趣的例子，也是关于沃尔玛的，但这个是真的，不是传说。沃尔玛想知道在自然灾害来临前，比如飓风、龙卷风等，顾客都买什么东西。也就是说，想通过数据发掘找到和自然灾害预报相关的顾客购物习惯。通过对其各门店的详细原始交易数据的挖掘，沃尔玛确实发现了一种商品顾客买得相当多，而沃尔玛以前却不知道。通常，人们会猜是电池、水、面包、胶带等，但是，这些商品和自然灾害的相关性还用数据挖掘吗？根本不用！人人都知道自然灾害来临前要买这些东西，所以他们不构成新颖的特征。沃尔玛发现一种新颖的商品——高糖压缩饼干。仔细一想，这个也好理解，如果自然灾害真的很严重，把人在地下室困上几个星期的话，面包早就坏了，而高糖压缩饼干，别说几个星期，就是几个月甚至几年，都没问题，并且高糖压缩饼干体积小、易携带。那么，沃尔玛如何利用这条数据挖掘结果呢？很容易，每次有自然灾害预报的时候（比如飓风要来了），它就要保证店面里有充足的高糖压缩饼干供应，不要脱销。

那么是不是有的时候数据挖掘的结果无法解释呢？当然有。好莱坞著名女星安妮·海瑟薇（Anne Hathaway）的姓和华尔街投资家巴菲特的公司其名称的后一个词一模一样，都叫“Hathaway”，一个叫Anne Hathaway，一个叫Berkshire Hathaway。有好事者做了一个数据挖掘，发现如下有趣现象：

● 2008年10月3日，《Rachel Getting Married》首映；同天，巴菲特公司的股票（BRK.A）上涨0.44％；

● 2009年1月5日，《Bride Wars》首映；同天，巴菲特公司的股票（BRK.A）上涨2.61％；

● 2010年2月8日，《Valentines Day》首映；同天，巴菲特公司的股票（BRK.A）上涨1.01％；

● 2010年3月5日，《Alice in Wonderland》首映；同天，巴菲特公司的股票（BRK.A）上涨0.74％；

● 2010年11月24日，《Love and Other Drugs》首映；同天，巴菲特公司的股票（BRK.A）上涨1.62％；

● 2010年11月29日，安妮·海瑟薇被选为奥斯卡联合主持人；同天，巴菲特公司的股票（BRK.A）上涨0.25％。

每当好莱坞著名女星安妮·海瑟薇的电影上映的那天，或者其他正面消息的那天，巴菲特公司的股票都不同幅度地涨了！新颖不？太新颖了！有用不？太有用了！能解释不？太难了！有一种可能就是投资者以为巴菲特的公司和好莱坞著名女星安妮·海瑟薇有某种裙带关系，所以电影出来的时候，也就是公司股票利好的消息。可这基本不可能，巴菲特的公司股票一股要十几万美元，根本就不是普通投资者能买得起的，那些精明的投资公司绝对不会笨到不知道巴菲特的公司和好莱坞著名女星安妮·海瑟薇有没有裙带关系的地步。所以可以肯定地说，这是一个纯粹的巧合，没有任何的因果关系。解释不了，就不是数据挖掘。