大数据小思考 (二): 数据过滤与销毁会成为下一个热点技术吗？
按照idg的说法，地球上的数据在以两年翻一番的速度增长，如果这个统计属实，我们很容易想到的就是著名的棋盘存粮故事:
在印度有一个古老的传说：舍罕王打算奖赏国际象棋的发明人——宰相西萨·班·达依尔。国王问他想要什么，他对国王说：“陛下，请您在这张棋盘的第1个小格里，赏给我1粒麦子，在第2个小格里给2粒，第3小格给4粒，以后每一小格都比前一小格加一倍。请您把这样摆满棋盘上所有的64格的麦粒，都赏给您的仆人吧！”国王觉得这要求太容易满足了，就命令给他这些麦粒。当人们把一袋一袋的麦子搬来开始计数时，国王才发现：就是把全印度甚至全世界的麦粒全拿来，也满足不了那位宰相的要求。
每一字节数据的产生、存储、应用都需要容器占用和能源消耗，虽然技术进步在不断提高数据存储密度和降低数据处理功耗，但是解决不了根本问题。所以有预测再过十年数据中心的能源消耗会让人类不可承受。
解决之道是什么？
正如边缘计算成为现在热点一样，我预测数据的自动过滤与销毁很快会被学界关注。
这个时间点在什么时候？
成本收益平衡是人类一切经济活动的亘古之道。当有一天人们发现对数据的记录存储加工所付出的代价大于预期收益，就必然产生对数据要有所取舍的需求，有了需求，就有研发的动力和人才。
大数据时代刚刚开始，人们就像一个婴幼儿对每一个玩具都充满好奇一样对认为每一个字节都有其价值。可是，必然会有那么一天，数据会被分类，被评估为无价值的数据从源头就不会产生，被评估失去价值的数据会被自动销毁。今天，不同的数据应用在对同样的数据源在不断地清洗加工，消耗能源，就像是不断有后来者对本已被筛选无数次的沙子重新淘金一样，在传统产业中我们会认为这样做很愚蠢，可是在今天的数字经济中这样愚蠢的事情却在不断发生。
所以，大数据的下一个热点反而可能是数据过滤与销毁，看起来非常矛盾。但是《道德经》有云:月盈则亏。
反者，道之动也。
这是一个非主流预测，让我们拭目以待吧！