| 设为首页 | 加入收藏
持续拥抱开源 阿里云计算能力三大突破
2017-10-12 16:35  杭州网

    杭州网讯 1012日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。

 

    周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。我们希望通过不断的释放阿里云的计算红利,帮助开发者抓住更多市场机遇。

 

BigBench全球首次达到100TB

 

    TPCx-BigBench是大数据端到端真实复杂的业界领先测试基准,目前,TPC官网公布的测试最大规模为10TB,最佳性能是1491.23BBQpm

 

    当天,阿里云与Intel合作,在最新的Intel硬件上,基于公共云发布的BigBench On MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000 BBQpm,也是首个基于公共云服务的Benchmark

 

    据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAISDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

 

    在规模上的优秀表现,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

 

    在性能上,MaxCompute新一代处理引擎从CompilerOptimizerRuntime等模块进行的持续深度优化。此外,MaxComputeIntel开展深度合作,软硬结合深度优化。

 

    英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxComputeBigBench测试中表现出的优异成绩

 

更快的流计算StreamCompute 2.0

 

    在流计算方面,周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink,并为开源社区提供了大量阿里内部的改进和优化。

 

    新版流式计算2.0的特点包括:

 

    1. 高吞吐低时延处理能力,单作业峰值达数千万的QPS,相比于StreamCompute 1.010+倍提升

 

   2. SQL化的流式分析语言,由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQLBlinkSQL支持完备的流式处理语义,支持包括多种窗口、乱序容忍、完整DDL支持

 

    3. 精准的数据处理语义,提供Exactly-once处理语义,同时为减少磁盘IO,提供增量CheckPoint,优化存储空间。

 

 

E-MapReduce性能3倍提升

 

    E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。

 

    周靖人介绍,为了解决大数据处理以及机器学习的统一调度难题,E-MapReduce产品实现了CPU/GPU的混合调度方案,使得数据预处理以及数据训练可以在一个平台上解决。

 

    E-MapReduce对于数据读写的性能至关重要,产品通过对于对象存储OSS的优化,使得读写OSS的性能是同类产品的3倍,对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。

来源:杭州网    作者:记者 赖正河    编辑:孙丽    

上一篇: 天猫双11公布商家金融服务政策:增加600亿贷款助力商家备战

活 动

更多>>

杭州百脑汇商场9月促销活动预告

    暑期即将结束,快乐的假期已到尾期,这两天,在学生圈内听到最多的话就是:“补暑假作业……

您的客户,正在百度上找您

    百度推广基于服务数十万中小企业的经验,深刻理解企业推广的真实需求,利用自身搜索技术、流量资源等

2017·315消费者权益日

    对网络经济中损害消费者利益的不诚信经营行为的抵制,也是对建设放心无忧网络消费环境的呼唤。

曝光台

更多>>

vivo手机连换两次新机仍有问题

    近日,徐先生向记者反映,去年10月托朋友花3000多元买了一部vivo

网站简介 | 关于我们 | 广告服务 | 建站服务 | 帮助信息 | 联系方式

增值电信业务经营许可证:浙B2-20110366 | 信息网络传播视听节目许可证:1105105 | 互联网新闻信息服务许可证:国新网3312006002
网络文化经营许可:浙网文[2012]0867-091号 | 工信部备案号:浙ICP备11041366号-1 |  浙公网安备:33010002000058号
杭州网(杭州网络传媒有限公司)版权所有未经授权禁止复制或镜像
法律顾问:浙江智仁律师事务所律师 马宏利
Copyright © 2001 - 2017 Hangzhou.com.cn All Rights Reserved