案例详情

揭秘中国经典的大数据项目

　　多大的数据算大数据?一百万?一亿?一百亿?这个问题谁也给不出一个确切答案，当然也不是单纯的量大就能被称为大数据。但是数据量越大，在分析和计算方面对技术的要求就越高，这一点是毋庸置疑的。中国移动这个项目，可以说是中国商业领域里数据规模最大的大数据项目之一了。

　　随着智能手机的普及，手机恶意软件日益泛滥。根据百度安全实验室的最新数据，2014年第三季度，安卓平台恶意软件和高危软件的总数已经突破了200万个，达到了历史新高。这些恶意软件会造成用户隐私泄露、信息丢失、设备损坏、话费损失等诸多问题，给客户利益带来极大危害，同时给电信运营商的网络运营带来了极大的不利影响。传统的安全防护手段能够在网络侦测和防范已发现的恶意软件，但对于未知的恶意软件，目前还缺乏高效的分析方法。

　　中国移动考虑，有必要建立一套信息安全分析系统。对核心网数据进行全量分析。不过，摆在中国移动面前的一个现实问题是:全网数据量的峰值为数百万条/秒，每小时增量数据上千亿条。即将建设的这套系统要对这些庞大的数据进行实时的信息安全扫描，找出有问题的记录，并进行实时拦截处理。

　　作为最重要的技术提供商，国内知名的一站式大数据分析平台服务商BL&YH科技参与承建了该系统。BL&YH科技利用自主研发的大数据平台。采集分析来自运营商移动核心网的关键日志数据，通过模式识别算法，帮助移动运营商从海量数据中分析发现恶意软件的蛛丝马迹。

　　BL&YH的技术原理是，通过在上百台服务器上搭建(多节点并行计算)大数据集市和敏捷BI系统，来支撑这一系统所需要的庞大的数据分析计算。从架构上分为：〔服务器集群由5个子集群组成，分别是:

　　1.前置机集群:用于接收全国各个省的日志数据。

　　2.流计算集群:用于扫描数据，将匹配的日志数据放入数据库。

　　3.数据库集群:用于累积匹配的数据并做评判，最终生成疑似数据，放入MPP集群，并上报总部。

　　4. MPP集群:存储疑似数据，用于数据分析和挖掘。

　　5.管理集群:用于集群监控、配置管理、BI前端等。