在云端数据分析应用落地上，云端应用云联英特尔与金山云联手迈出重要一步

作者：zc 2017-04-14 09:05:25服务器 存储 企业动态 KMR平台上整合了主流的数据上英手迈大数据分析组件，但每种组件处理的分析大数据场景则完全不同，有的落地是做批量的离线处理，有些是金山做数据采集，有些是出重做实时的数据分析，有些是云端应用云联作为NoSQL数据库提供服务，它们对于底层硬件的数据上英手迈需求完全不同，有些需要强大的分析计算能力，有些需要较短的落地I/O响应。

 　　在互联网+时代的金山今天，数据带来的出重价值已经得到了企业的高度重视，如何有数地对数据进行分析，云端应用云联充分挖掘和利用数据价值，数据上英手迈把握商机，分析成为当前热点。为推进数据分析在云计算平台上的全面应用，加速企业的数字化转型，借助英特尔提供的强大稳定的平台，金山云推出了托管Hadoop服务(Kingsoft MapReduce，简称KMR)。

　　何为KMR，与竞品相比它有哪些优势?

　　大数据分析平台的建设过程非常复杂，虽然有很多开源的软件可供参考与使用，但是利用传统的模式建设一个成熟、健壮的大数据分析平台，从搭建到上线大概需要几个月的时间才能完成。有没有更好的解决方案呢?金山云技术产品部高级产品经理杨亮表示，通过云计算解决大数据分析平台，将会变得非常简单，只需要点击几下鼠标，等待几分钟，就可以实现。

[[188678]]

金山云技术产品部高级产品经理杨亮

　　KMR就是基于这个理念产生的，是一种比较经典的大数据分析框架。与竞品相比，KMR主要有以几点优势：

　　一是简单的操作做到分钟级的集群的部署和分钟级的扩容。

　　二是整合了大部分比较经典的大数据分析组件，例如Hadoop、Kafka、HBase、Spark等，来满足用户各个方面对于数据处理的需求。

　　三是把金山云的其他数据类产品和计算类产品通过技术把KMR的数据打通，这样用户在金山云上面产生的数据以及在自己的数据中心产生的数据即可以在KMR平台上进行一站式地计算、分析，又能够为企业节省大约75%的存储成本。

　　软硬件组合，KMR数据分析平台拥有***支撑

　　KMR平台上整合了主流的大数据分析组件，但每种组件处理的大数据场景则完全不同，有的是做批量的离线处理，有些是做数据采集，有些是做实时的数据分析，有些是作为NoSQL数据库提供服务，它们对于底层硬件的需求完全不同，有些需要强大的计算能力，有些需要较短的I/O响应。因此，基于不同的需求，结合英特尔提供的强大且稳定的硬件平台，KMR也推出了不同的集群套餐。

　　杨亮表示，在硬件平台上，英特尔既提供了像E5 v4系列的处理器，又有SSD硬盘等。同时，英特尔也会在一些开源项目或是开源软件上面进行优化，例如像英特尔的BigDL模块能够优化Spark机器学习性能等。通过英特尔提供的硬件和软件解决方案，可以提高机器学习几倍的性能，对KMR平台的帮助非常大。

　　英特尔技术专家则表示，大数据部署中主要存在三个方面的挑战，一是多租户支持的问题;二是快速部署的问题;三是系统的灵活性和可靠性问题。这些问题的主要原因是因为Hadoop诞生时硬件产品的性能还处于相对较弱的时期，例如网络是千兆的，硬盘是SAS的等。

　　今天，硬件发生了翻天覆地的变化， CPU计算能力有了大幅度的增长，存储实现了每秒钟50万次的读写，I/O性能有近万倍的提升，网络也有100倍的提升，硬件的革命使得可以把存储和计算分开。为了保证多租户，保证灵活性、安全性，将计算集群和存储集群分到两个独立的集群，通过高速互联网链接起来。

[[188679]]

金山云大数据和AI技术总监张东进

　　金山云大数据和AI技术总监张东进表示，通过与英特尔的合作，可以看到从传统的架构到云上的大数据实现了很多的转变。传统上计算和数据大都在一起，上云之后的计算有可能是虚拟机、有可能是容器，存储和计算是分离的。任何计算节点访问存储的时候大都是通过高速互联网络把数据迁移到本地来，实现的优势是大数据的服务化以及灵活配置。

　　深度学习与大数据相结合，为用户提供***体验

　　云上大数据的机器学习包括三个关键词：一是云，二是大数据，三是机器学习。这三个如何结合呢?英特尔技术专家表示，虽然这三个都不是新概念，但是它们结合在一起就很新了：机器学习提供的是算法，大数据提供并行计算和分布式存储，云提供的是动态配置。利用机器学习的大脑，大数据的轮子来算，云里面提供了一个动态分配引擎，三者结合到一起实际上就实现了云上的大数据机器学习，这也是未来的发展方向。

　　在机器学习方面，英特尔主要做了以下三个方面的工作。一是发布了BigDL，将原来的机器学习、深度学习的算法挪到Spark上去，深度学习和大数据开始结合。二是Caffe on Spark， Caffe是一个传统的做深度学习、做图像识别的软件，在“Caffe on Spark”结合上英特尔投入很大的精力。英特尔能够非常好的支持Caffe on Spark、BigDL，并将与金山云在后期有更加深度的合作。

　　金山云大数据和AI技术总监张东进表示，除了KMR数据分析平台外，金山还有基础研发平台KML(Kingsoft Machine Learning)，这个平台是金山***向业务公布，它是一个机器学习平台，能够深度助力企业拥抱AI，尤其是深度学习的任务托管服务。KML的底层是基于金山云高性能的异构计算集群，融合了英特尔等***合作伙伴的领先技术，将为客户带来非常高的价值。

　　在机器学习平台上，包括两个方面的工作。一是通过深度学习的引擎让客户能够很容易地去使用金山云的底层计算资源去运营它的训练任务;二是通过平台将金山云既有的云存储以及批处理业务跟训练过程进行打通，比如一个前序的流程，数据的提取、数据的处理等，它可以基于金山云既有的存储和流程来处理，随后把处理好的业务再和深度学习引擎结合，把整个流程串起来，为用户提供更佳的体验。

责任编辑：张诚 来源： 51CTO 金山云英特尔

(责任编辑：焦点)