您的位置:首页 >资讯 > 科技 >

Amazon EC2 Inf2实例正式可用 助力更低成本、更高性能的生成式AI推理 环球视讯

2023-04-22 02:45:59    来源:中关村在线

深度学习(DL)的创新,特别是大语言模型(LLM)的快速发展,已经席卷了整个行业。深度学习模型的参数已从数百万增加到数十亿,为我们呈现了越来越多激动人心的新能力。它们正在催生新的应用,如生成式AI或医疗保健和生命科学的高级研究。亚马逊云科技一直在芯片、服务器、数据中心互连和软件服务等多个方面创新,加速深度学习工作负载的大规模应用。

亚马逊云科技在2022 re:Invent 全球大会上,以其最新的自研机器学习推理芯片Amazon Inferentia2为基础,发布了Amazon EC2 Inf2系列实例的预览版。Amazon EC2 Inf2类型实例专门针对全球大规模运行高性能深度学习推理应用程序,为部署在EC2上的生成式AI应用提供最佳性价比,其中包含GPT-J或开放式预训练Transformer(OPT)语言模型。


(资料图)

现在,亚马逊云科技宣布AmazonEC2 Inf2实例正式可用!

Inf2实例是Amazon EC2上首个推理优化的实例,支持可扩展的分布式推理,可实现多个inferentia2芯片之间的超高速连接。用户可以在Inf2实例中跨多个芯片高效部署具有数千亿个参数的模型。与AmazonEC2 Inf1实例相比,Inf2实例的吞吐量提高4倍,延迟降低10倍。

新Inf2实例的亮点

Inf2实例目前有四种可用实例类型,最高扩展至12个Amazon Inferentia2芯片和192个vCPU配置。在BF16或FP16数据类型下,它们能够提供2.3 petaFLOPS的综合计算能力,并具有芯片间超高速NeuronLink互连的功能。NeuronLink可在多个Inferentia2芯片上扩展大模型,避免通信瓶颈,实现更高性能的推理。

每个Inferentia2芯片内有32GB的高带宽内存(HBM),最高配置的Inf2实例可提供高达384GB的共享加速器内存,总内存带宽为9.8TB/s。对于需要大内存支持的的大型语言模型而言,这种带宽对于支持模型推理尤为重要。

基于专门为深度学习工作负载而构建的Amazon Inferentia2芯片的Amazon EC2 Inf2,相比同类实例,单位功率性能高出了50%。

Amazon Inferentia2的创新之处

与亚马逊自研机器学习训练芯片Amazon Trainium类似,每个Amazon Inferentia2芯片都配有两个经过优化的NeuronCore-v2引擎、高带宽内存(HBM)堆栈和专用的集体计算引擎,以便在执行多加速器推理时实现计算与通信的并行。

每个NeuronCore-v2都有专为深度学习算法构建的标量、向量和张量三种引擎,其中张量引擎针对矩阵运算进行了优化;标量引擎针对ReLU(修正线性单元)函数等元素性操作进行了优化;向量引擎针对批处理规范化或池化等非元素向量运算进行了优化。

以下是AmazonInferentia2芯片和服务器硬件其他创新总结:

数据类型——Amazon Inferentia2 支持多种数据类型,包括FP32、TF32、BF16、FP16和UINT8,用户可以为工作负载选择最合适的数据类型。它还支持新的可配置FP8(cFP8)数据类型,该数据类型特别适用于大模型,因为它减少了模型的内存占用和I/O要求。

动态执行和动态输入形状——Amazon Inferentia2 具有支持动态执行的嵌入式通用数字信号处理器(DSP),因此无需在主机上展开或执行控制流运算符。Amazon Inferentia2 还支持动态输入形状,这些形状对于具有未知输入张量大小的模型(例如处理文本的模型)至关重要。

自定义运算符——Amazon Inferentia2支持用C++语言编写的自定义运算符。Neuron自定义C++运算符使用户能够编写在NeuronCore上天然运行的C++自定义运算符。用户可以使用标准的PyTorch自定义运算符编程接口将CPU自定义运算符迁移到Neuron并实现新的实验运算符,所有这些都无需对Neuron Core硬件有任何深入了解。

NeuronLink v2——Inf2实例是Amazon EC2类型中首个将NeuronLink V2 用于推理优化的实例,NeuronLink v2 为Inferentia2芯片间的提供超高速连接,加强分布式推理性能。NeuronLink v2使用all-reduce等聚合通信(CC)运算符,将高性能推理管道扩展到所有的推理芯片上。

新Inf2实例现已可用

用户可在亚马逊云科技美东(俄亥俄州)和美东(北弗吉尼亚州)地区启动Inf2实例,以按需、预留和竞价实例或Savings Plan方式调用。用户仅需为其实际使用的服务付费。如需了解更多相关信息,请访问AmazonEC2定价网站。

Inf2实例可使用亚马逊云科技深度学习镜像进行部署,并可通过Amazon SageMaker、Amazon Elastic Kubernetes Service(Amazon EKS)、Amazon Elastic Container Service(Amazon ECS)和Amazon ParallelCluster等托管服务调用。

计算机科学丛书·云计算:概念、技术与架构

[经销商]京东商城

[产品售价]

进入购买

标签:

相关阅读

精彩放送

罗博特科股东户数增加3.49%,户均持股77.32万元

国际乒联宣布孙颖莎新纪录,超过张怡宁指日可待,恭喜刘国梁!

焦点快播:4K修复版《香魂女》亮相北影节 这次爱奇艺的AI成了“老片修复师”

天天百事通!博创科技(300548)盘中异动 股价振幅达6.87% 跌6.77% 报37.33元(04-21)

保险业务向智能化转变 “80后”成“中流砥柱”

当前快报:中国黄金: 中国黄金集团黄金珠宝股份有限公司关于2022年度利润分配预案的公告

德宏股份(603701.SH):2022年净利润1107.61万元 同比下降71.54% 天天快报

万润新能:根据中登公司提供的股东名册,截止到2023年4月20日,公司股东人数为16986人

当前关注:敦煌小区物业“红黑榜”公布

2022广东省全民阅读指数报告发布 成年人年均读纸质书6.22本 每天电子阅读时长124分钟

执法记录仪突然天旋地转,记录下生死瞬间!-世界热推荐

全球动态:美原油交易策略:油价欲回补缺口,仍有多重关键支撑

【大国基理】送外卖更送温暖 “小哥驿站”助力基层治理

父亲送中毒女儿就医怕遇堵车报警求助 交警开道护送|天天滚动

郑氏点银:黄金日线阴阳循环,早间失守2000先看跌 全球看点

天天速讯:图灵波浪4.21晚-白银反弹二次承压、空头登场

图灵波浪4.21晚-黄金承压下跌、空头登场|天天即时

ACROBiosystems百普赛斯与药明生物联办行业研讨会,加速生物药研发上市进程

全球热资讯!我国法人和其他组织数量约1.7亿个 数量逐年稳步增加

即时:飞天云动涨超7% 机构指公司独特业务模式实现高毛利 业务呈现逐渐发力态势

焦点热文:Python面向对象编程-三大特性-继承-多继承

赏心悦目!23日傍晚“太白”伴“嫦娥”-世界微动态

中船防务涨超6% 机构预计军工行业将迎来触底反弹行情|今日最新

【世界新要闻】4月28日|昆仑决诸神之战选拔赛4珠海站阵容大揭秘

药监局:药品网络交易平台应强化合规意识 确保药品网售质量安全 环球今亮点

2023“钛博会”在陕西宝鸡开幕 专家学者共商共促钛产业发展

倍加洁: 倍加洁集团股份有限公司2023年第一季度报告-消息

全球快看点丨星火成炬 | 妙“手”在民间

资本偏爱优等生,倍思科技诠释全能选手

世界观速讯丨王杨:黄金黑色星期五如期瀑布,欧盘1992直接空!

python-异常处理和错误调试-asyncio中的错误调试(三)

秦氏金升:4.21金价如期下行,黄金走势分析及操作建议|全球快播

世界热消息:Python面向对象编程-反射

德国驻华使领馆:5月1日起,赴德观光旅游将恢复开放|当前播报

何小冰:4月21日黄金再度失守两线,压制下跌|天天热消息

天天快播:沙特阿美:首批获认证的低碳氨由沙特运往日本,将用于清洁发电

秉性是什么意思怎么解释?秉性和禀性的区别是什么啊?

意难平是什么意思?山海自有归期意难平终将和解是啥意思?

第四届“大成杯”诉辩大赛后记(上):我为什么设计了十几个争议焦点?

股票市场风险类型有哪些?股票市场交易时间是何时?

尾盘拉升主力是什么意思?尾盘拉升第二天必跌吗?

天龙八部冰焰脚本答题卡 V7-180729A 官方免费版怎么样?天龙八部冰焰脚本答题卡 V7-18...

慢牛行情什么意思?慢牛股票的形态特征有哪些?

中国科学家精确测量!银河系“体重”算出来了|环球讯息

持仓股票增发是什么意思?一般定增公告后多久开始定增?

股票填权和除权是什么意思?股票分红除权是赚还是亏?

股票日线b是什么意思?股票macd线是什么意思?

【环球时快讯】系误会!MINI中国再致歉 “老外”是员工 每天300份冰激凌需要APP领券发放

今日报丨厄尔尼诺天气现象可能回归 今年全球气温或将创新高

天天观察:银耳羹适合什么季节吃 银耳汤哪个季节食用对身体好

今亮点!广州证券网上交易 V7.95.60.16 官方版怎么样?广州证券网上交易 V7.95.60.16...

Excel2003绿色精简版 32位/64位 免安装版怎么样?Excel2003绿色精简版 32位/64位 免安装版有哪些功能?

麦客疯 V7.0.0304 官方免费版怎么样?麦客疯 V7.0.0304 官方免费版有哪些功能?

掌门人游戏平台 V12.07.11 官方绿色版怎么样?掌门人游戏平台 V12.07.11 官方绿色版...

合金弹头双人版合集 V1.0 中文电脑版怎么样?合金弹头双人版合集 V1.0 中文电脑版有...

关联巴西版“国会山骚乱”?卢拉国安顾问辞职欲证清白

股票登记日和除权日是什么意思?股权登记日买入股票有没有分红?

正宗笔画输入法 V8.01 破解版怎么样?正宗笔画输入法 V8.01 破解版有哪些功能?

天天视讯!方萍萍:黄金短期继续震荡调整蓄势上行

股票打板是什么意思?打板为什么要在涨停瞬间买入?

【天天播资讯】RPGVXACE RTP_RPG制作大师运行库 V1.0 官方版怎么样?RPGVXACE RTP_RP...

今日热闻!SecureCRT8注册码生成器 V8.7.3 绿色免费版怎么样?SecureCRT8注册码生成器 ...

股本总额是什么意思?股本总额3000万是什么概念?

绝佳队友 威少:为队友创造机会是我的职责 环球聚看点

全球快看:solid converter pdf V6.0中文破解版怎么样?solid converter pdf V6.0中文破解版有哪些功能?

股票支撑位含义是什么?股票压力位和支撑位怎么看?

股票三天两板什么意思?股价异常波动能买入吗?

内蒙古扑灭中俄和中蒙边境火明火

什么是科创板股票?688和300开头的股票区别是什么?

天天头条:杜康:黄金2003空暴跌,欧盘1995继续空!

股票倒锤子线是什么意思?股票顶部出现倒垂阳线会怎样?

用产品力作为价值根基,倍思凭什么?

股票市值是什么意思?股票价格与公司市值的关系是什么?

减持股票是什么意思?公司大股东减持股票意味着什么?

全球今日报丨黄金突发跌近1980!道明财富:股市“关键信号”未到 新兴市场提前远离美元

汾阳市气象台发布霜冻蓝色预警【Ⅳ级/一般】

天天热头条丨《运动不一样7》10岁女生一招跆拳道动作惊艳全场!连冠军都自愧不如?

退市整理期后几个交易日摘牌?为什么退市整理期还有交易?

春季守护行动|交通安全进校园 平安路上“警”相随——交通安全“大篷车”走进横沥爱华学校

光头阳线是什么意思?股票收光头阳线是什么意思?

“探寻许你万家灯火背后的大国重器”融媒体活动走进秦山核电 环球最资讯

天天快看点丨《黑暗之魂3》鞭子流玩法流程简单介绍

你有你的人生我有我的旅程是什么歌谁唱的?《爱的可能》歌词是什么?

黄金市场分析:美联储5月决议前,若震荡过后保持在1970美元之上,则后市有望创新高 资讯推荐

讯息:内蒙古扑灭中俄和中蒙边境火明火

十大考古新发现探秘之五|那年大雨后,有了新发现

【天气早知道】气温进入“过山车”模式……

k字头的火车是什么类型?女子吐槽软卧车厢分配3男1女是什么情况?

秦刚:维护二战后国际秩序是神圣职责

细思极恐!摊主被陌生男子贴膏药后,瞬间晕倒 环球播资讯

旭日东升拼音是什么怎么解释?旭日东升象征着什么?

奥运五环的象征意义是什么?奥运会2024是哪个国家?

墙被熏黑了怎么让它变白?家里点香如何防止墙熏黑?

万锦晟4.21最新黄金走势分析,黄金收官或将发力大涨! 世界今日讯

现货黄金交易策略:欧美国家PMI数据来袭,金价下行风险仍存

美国两党争斗不休!麦卡锡公布债务上限新提案

银价站在大跌边缘!白银日内交易分析:若跌破这一水平 银价恐再重挫近2% 全球今日讯

足球解说贺炜经典语录解说是什么?贺炜解说莫泊桑的一句话是咋回事?

水垢俗称什么成分是啥?去除水垢用白醋还是用陈醋?

石头城一般是指我国哪儿?水城是指哪个城市?

动态:“药茅”长春高新一季度核心业务收入下滑 不到两年时间股价跌去69.22%

久祺股份:已在美国沃尔玛、COSCO等线上平台销售公司自主品牌产品

如何修改图片像素 电脑如何修改图片像素-全球今亮点

锦西石化催化烟机运行创最高水平 环球看点

孩子充6000元打游戏,母亲找“客服”退款被骗15万……警方提醒!

用友BIP助力中国领先企业数智化国产替代

艾条熏屋子的正确方法是什么?艾条熏屋子的好处与功效是什么?

@太原人,成团的杨柳絮“火气大”一点就着,极易引发火灾