《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini 原创

Google发布能力最强AI多模态大模型Gemini;深圳发布算力基础设施支持政策;人工智能计算力报告发布。

重要发布

Google发布能力最强AI多模态大模型—Gemini

美国当地时间12月6日,Google发布能力最强AI多模态大模型—Gemini,作为Google各团队大规模协作的AI大模型,其可以概括和无缝理解、操作和组合不同类型的信息,包括文本、代码、音频、图像和视频

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:Google

Gemini作为Google迄今为止最灵活的模型—能够在数据中心到移动终端的各类设备上高效运行,显著增强开发人员和企业客户使用 AI提升生产力。

Gemini 1.0包含三种不同的版本:

  •  Gemini Ultra — 规模最大且能力最强的模型,适用于高度复杂的任务。
  •  Gemini Pro — 用于扩展各种任务的最佳模型。
  •  Gemini Nano — 最高效的设备端任务模型。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:Google

Gemini Ultra 在当前广泛使用的32项学术基准测试集中,有其中30个测试集的性能超过当前SOTA结果。Gemini Ultra在 MMLU(大规模多任务语言理解数据集)中得分达到 90.0%,首次超越人类专家,MMLU 数据集包含数学、物理、历史、法律、医学和伦理学等 57 个科目,用于测试大模型的知识储备和解决问题的能力。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:Google

Gemini 1.0 具有复杂多模态推理能力,可以帮助理解复杂的书面和视觉信息。这使得它尤其擅长发现海量数据中难以辨别的知识。Gemini 1.0 通过阅读、过滤和理解信息具有从数十万份文件中提取 insights 的超凡能力,这有助于科学、金融等诸多领域以超快的速度取得新突破,尤其擅长对数学和物理等复杂学科的问题进行推理。

如下图所示,一位老师画了一个滑雪者从斜坡上下来的物理问题,而一位学生则提出了一个解决方案来计算滑雪者在斜坡底部的速度。利用Gemini的多模态推理能力,该模型能够读懂凌乱的笔迹,正确理解问题的表述,将问题和解决方案都转换为数学公式,识别出学生在解决问题时出错的具体推理步骤,然后给出问题的正确解决方案。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:Google

此外,Gemini 可以理解、解释和生成流行编程语言(如 Python、Java、C++、Go)的高质量代码,具备强大的跨语言工作和推理复杂信息的能力使其成为世界领先的编码基础模型之一。

Google数据中心搭载Cloud TPU v5p的超级计算机

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:Google

Gemini 1.0大模型训练基于Google自研的Tensor Processing Units (TPUs) v4和v5e两款专用芯片。Google同时宣布推出迄今为止功能最强大、最高效、可扩展性最强的TPU——Cloud TPU v5p,专为训练尖端AI模型而设计。下一代TPU将进一步加速Gemini模型的发展,帮助开发人员和企业客户更快地训练大规模生成式AI模型,从而使新产品和新功能更快触达客户。

参考链接:

https://blog.google/technology/ai/google-gemini-ai/?utm_source=gdm&utm_medium=referral#sundar-note

 

IDC与浪潮信息联合发布《2023-2024年中国人工智能计算力发展评估报告》

11月29日,在2023中国人工智能算力大会上,IDC与浪潮信息联合发布《2023-2024中国人工智能计算力发展评估报告》(简称《报告》)。《报告》指出,人工智能正在加速从感知智能到生成式智能迈进,中国人工智能算力市场规模快速成长扩大。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:IDC,浪潮信息《2023-2024年中国人工智能计算力发展评估报告》

在2023年中国人工智能城市排行榜中,北京、杭州、深圳继续保持前三名。其中,北京在大模型领域表现突出,聚集了大批大模型企业。此外,位居TOP10的城市还有上海,苏州,广州,济南,合肥,重庆和成都。整体来说,排名靠前的城市因具有更好的政策、资金和技术支持,可以稳定吸引更多的人才和企业聚集;智算中心的建设也是拉动地区实现人工智能发展的重要驱动力,既可以提升基础设施建设水平,也为吸引更多企业共谋发展起到积极的推动作用。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:IDC,浪潮信息《2023-2024年中国人工智能计算力发展评估报告》

《报告》指出,当前在AIGC的带动下,人工智能计算力技术及应用趋势发生了较大的变化,体现为“三变:

一是计算范式之变。大模型和AIGC的发展加速了更高计算性能、更快互联性能的算力基础设施建设,推进人工智能在云-边-端的覆盖。此外,伴随应用场景多样性,底层基础设施呈现多元化发展。

二是产业动量之变。AIGC可重构现有的工作方式,在内容创作、自动驾驶、零售、医疗等诸多领域改变着人们的生活和生产方式,同时也带来更大的市场机会。算力、算法、应用、服务等诸多产业变量将成为创新的加速器,在算力生态链上的各个环节催生出新的玩家。

三是算力服务格局之变。由于基础大模型的本地训练成本不菲,企业将更多地使用已有的人工智能数据中心设施和生成式AI服务器集群,这将为算力服务市场带来新机会。算力服务供应商需要能够提供定制化的基础设施服务能力,满足单个用户对训练和推理资源的独占式、大规模、长时间使用的诉求,同时帮助用户实现成本控制。

 

毕马威与中关村产业研究院联合发布《人工智能全域变革图景展望》及十大趋势

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:毕马威《人工智能全域变革图景展望:跃迁点来临(2023) 》

12月4日,毕马威联合中关村产业研究院共同发布《人工智能全域变革图景展望:跃迁点来临(2023)》报告。该报告立足全球及中国的人工智能产业现状,结合市场观察从技术变革、应用创新、安全治理、生态协同四大维度,提出人工智能产业未来发展的十大趋势,并深度剖析各个趋势的发展情况与核心驱动力,以期能为AI产业界带来有益参考,锚定机遇,化解挑战。

趋势一:多模态预训练大模型将成为人工智能产业的标配

在算法方面,预训练大模型发展起源于自然语言处理(NLP)领域,当前已进入“百模大战”阶段,预计随着大模型创新从单模态转向多模态,多模态预训练大模型将逐渐成为人工智能产业的标配。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:《人工智能全域变革图景展望:跃迁点来临(2023)》

趋势二:高质量数据愈发稀缺将倒逼数据智能飞跃

在数据方面,大模型的训练需要大量的高质量数据,但是目前在数据质量方面还存在一定的问题,包括数据噪声、数据缺失、数据不平衡等问题。这会影响大模型的训练效果和准确性。预计大模型领域不断迸发的高质量数据需求,将倒逼数据在大规模、多模态、高质量三大维度上的全面提升,数据智能相关技术有望迎来跨越式发展。

趋势三:智能算力无处不在的计算新范式将加速实现

在算力方面,新硬件、新架构竞相涌现,现有芯片、操作系统、应用软件等都可能被推翻重来,预计有望实现“万物皆数据”“无数不计算”“无算不智能”,即智能算力将无处不在,呈现“多元异构、软硬件协同、绿色集约、云边端一体化”四大特征。全球人工智能角逐的制胜点除芯片、数据等核心领域外,场景应用创新也极其重要。大模型技术将重塑生产消费的基本形态,以AIGC、AI4S、AGI为代表的应用场景中有望出现大量范式转换机会。

趋势四:人工智能生成内容应用向全场景渗透

在AIGC(Artificial Intelligence Generated Content,人工智能生成内容)应用方面,其发展源头在数字内容创作领域,从单模态内容到多模态数字化内容创建已初显雏形,预计未来会进一步提高人类创造内容的效率,丰富数字内容生态,开启人机协同创作时代,各种需要创意和新内容的场景,都可能被AIGC重新定义,AIGC向全场景渗透指日可待。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:《人工智能全域变革图景展望:跃迁点来临(2023)》

趋势五:人工智能驱动科学研究从单点突破加速迈向平台化

在AI4S(AI for Science,人工智能驱动的科学研究)应用方面,有望从单点突破加速迈向平台化。在“单点突破”阶段,AI4S发展由科研学者主导,数据、模型、算法及方法论的原创性是市场关注重点,AI4S在特定任务或场景中的“单点应用”初步证明了对应解决方案的落地价值。“平台化”发展则意味着,需要将这些已被证明的价值能力沉淀为平台化工具,提升对下游的通用性价值,与此同时,产业界对于AI4S的工程化需求也逐渐增加,工程师和科研学者将共同主导AI4S下一阶段的发展。

趋势六:具身智能、脑机接口等开启通用人工智能应用探索

在AGI(Artificial General Intelligence,通用人工智能)应用方面,其技术原理强调两大特性:一是需要基于先进算法实现智能处理和决策,包括深度学习、强化学习、进化计算等;二是需要具备和人类大脑相似的认知架构,包括感知、记忆、分析、思考、决策、创造等模块。参照AGI技术原理来看,ChatGPT在感知尤其是实时感知能力等方面,仍需进一步优化,而具身智能、脑机接口等技术的发展恰恰能带来有效助力。

趋势七:人工智能安全治理趋严、趋紧、趋难

人工智能安全治理呈现出趋严、趋紧、趋难三大特征,主要包括“黑箱”困境等技术安全挑战,虚假信息、偏见歧视乃至意识渗透等应用安全挑战,数据泄漏、篡改和真实性难验证等数据安全隐患,此背景下,中美欧三国作为人工智能发展的领军国和地区正积极开展相关立法,呈现出政策法规先行、监管趋严等特征。

趋势八:可解释AI、伦理安全、隐私保护等催生技术创新机遇

人工智能在发展过程中面临的技术伦理与社会伦理风险表明,人工智能安全、可信的发展之路任重道远,在解决AI风险的过程中催生出可解释AI、联邦学习等技术创新机遇。其中,联邦学习正成为新型的“技术基础设施”,有望成为下一代人工智能协同算法。此外,通过“为机器立心”,逐步实现人机价值观对齐也是AI伦理价值的重要发展方向。

趋势九:开源创新将是AGI生态建设的基石

AGI强调人工智能的通用性,意味着其生态需满足大量细分场景和长尾需求,这种情况下,生态系统越是繁荣开放,越能穷尽可能地覆盖所有专用化、场景化乃至碎片化的需求,保证AGI生态的丰富性和完整性。进一步地,开发者越多,意味着底层模型和上层应用等的迭代速度也会越快。但是,开源也存在一定风险,对于产业生态中的主体企业来说,选择开源某种程度上就意味着公开商业机密,不利于其构建竞争壁垒。此外,开源模式还可能会引发专利侵权风险,对开源的知识产权管理规则和流程规范建立提出了挑战。

趋势十:模型即服务(MaaS)将是AGI生态构建的核心

商业模式关乎整体生态能否实现从价值创造到价值实现的完整闭环,目前AGI生态的商业模式主要以AIGC相关的商业模式为代表,主要体现为MaaS(Model as a Service,模型即服务)模式。该模式核心价值可归纳为:降低算法需求侧的开发技术和使用成本门槛,使AI模型和应用成为简单易用、触手可得的工具。由此,需求侧用户可以专注自身业务逻辑和使用体验,而不必关注底层技术细节,有利于解决AI“能用”但“不好用”的这一关键落地瓶颈。而在供给侧,有望形成“通用大模型+领域大模型+行业大模型+企业/个人小模型”这一基础业态,推动AI落地千行百业,最终实现AGI。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:《人工智能全域变革图景展望:跃迁点来临(2023)》

 

行业政策

《深圳市算力基础设施高质量发展行动计划(2024-2025)》发布

12月5日,深圳市工业和信息化局印发《深圳市算力基础设施高质量发展行动计划(2024-2025)》,推动深圳市算力基础设施高质量发展,打造算力先锋城市和中国算网城市标杆。该行动计划的主要内容如下:

一、总体要求

总体目标。到2025年,全市基本形成空间布局科学合理,规模体量与极速先锋城市建设需求相匹配,计算力、运载力、存储力及应用赋能等方面与数字经济高质量发展相适应,绿色低碳和自主可控水平显著提升的先进算力基础设施布局,构建通用、智能、超算和边缘计算协同发展的多元算力供给体系,打造“多元供给、强算赋能、泛在连接、安全融通”的中国算网城市标杆。

总体布局。构建先进算力基础设施,持续优化网络连接设施,到2025年,全市数据中心机架规模达50万标准机架,算力算效水平显著提高。

技术体系。基本形成算力多元泛在、存力安全可靠、运力优质互联、算存运协同建设的算力基础设施技术体系。到2025年,通用算力达到14EFLOPS(FP32),智能算力达到25EFLOPS(FP16),超算算力达到2EFLOPS(FP64)。存储总量达到90EB。先进存储容量占比达到30%以上,重点行业核心数据、重要数据灾备覆盖率达到100%。市内数据中心间时延不高于1ms,至韶关国家枢纽节点时延不高于3ms,至贵安国家枢纽节点时延不高于10ms

绿色安全。强化绿色安全发展,到2025年,我市新建数据中心电能利用效率(PUE)降低到1.25以下,绿色低碳等级达到4A级以上。启动“老旧小散”数据中心升级改造。强化网络、数据、算力设施安全管理和能力建设,构建完善的安全保障体系。

深圳市算力基础设施发展指标(到2025年)

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini
来源:《深圳市算力基础设施高质量发展行动计划(2024-2025)》

二、主要任务

(一)统筹优化算力基础设施布局

1.多措并举协同推进数据中心规划建设。全市按照“城市+园区+边缘”的总体布局,形成城市数据中心、产业园区配套数据中心、分布式边缘计算中心的多层级数据中心体系,实现分类分级布局。

2.积极探索“算力飞地”发展模式。积极响应和落实国家“东数西算”战略,规划建设韶关、贵安等数据中心产业园。鼓励我市企业通过自建、合作、租用等形式在深圳对口帮扶城市建设大型、超大型数据中心,引导对网络时延要求不高数据的存储与计算转移。依托“一带一路”战略,探索国际数据中心、海外新型数据中心协同布局建设,提升国际数据存储、计算和处理能力。

3.加快推进政务系统大数据中心体系规划建设。全市统筹规划建设服务于党政机关、事业单位、群团组织以及教育、医疗、科研院所等公共管理和服务机构的智慧城市大数据中心。在计划期内,推进形成成熟完备的“三地四中心”智慧城市大数据中心架构体系,打造市中心区核心生产中心和深汕合作区同城双活中心,以及韶关、贵安异地算力中心和灾备中心。

4.加快布局智算、超算等高性能算力设施。推进鹏城云脑Ⅱ期智算中心投入使用,为企业降低算力成本。加快推动鹏城云脑Ш期与国家超级计算深圳中心二期项目立项和建设,提供智能与超级算力有机融合的智能计算服务以及面向大规模科学计算服务。大力支持以市场为主导的智能算力基础设施建设,大力支持基础电信企业建设智能算力中心,以适配人工智能产业的发展。

5.加快打造全光极速网络枢纽。全面提升算力基础设施运力质量,减少算力中心网络流量跳转与时延。加快构建全光高速低延时运力底座,深化城市家庭、重点区域、重点行业的全光网络覆盖。打造5G-A先锋城市,实现万兆下行、千兆上行,推动沉浸式体验、全场景物联、智能化车联、柔性化生产、海陆空感知等重要场景的商业化部署。

(二)打造多元算力供给体系

6.强化多元算力供给配置。建设覆盖超算中心、智算中心、数据中心等多元异构算力中心互联互通、高效协同的算力网络,实现公共算力汇聚,力争将我市建成粤港澳大湾区算力供给中心,助力深港合作和大湾区数字产业发展,引领算力技术创新应用。

7.建立算力调度体系。构建超高可靠、极低时延、极速带宽、极高性能、绿色低碳的算力调度体系。以统筹规划建设的园区配套数据中心和边缘计算中心为基础,汇聚社会边缘算力资源,构建城市边缘算力调度体系,采用“政府规划、企业建设”模式,在特定区域内的不同主体间实现边缘算力调度,推动算力交易供给侧和需求侧双向驱动改革

8.搭建政务系统复合型算力平台。基于智慧城市大数据中心体系,打造分布式部署、数据多级联通、开放统一管理的智慧城市复合型算力平台,形成全市统一的智慧城市算力资源底座。推动市、区、街道党政机关及其直属机构所属的低能效、高能耗的“老旧小散”机房所承载业务有序往智慧城市算力平台迁移,保障政务服务“一网通办”、政府治理“一网统管”、政府运行“一网协同”和数据资源“一网共享”等重要业务系统可靠稳定运行。

(三)提升存力高效保障

9.大力发展先进存储技术。鼓励存算并举,规划建设与计算相匹配的存储体系。加速全闪存、蓝光存储、硬件高密等技术部署,构建基于先进存储的存力基础设施。推动存储系统间数据流动能力建设,通过合理的存储分级分层,实现存储资源的高效管理和利用。

10.探索构建热温冷数据分类分级标准体系。探索构建热温冷数据分类分级标准以及分级存储规范,优化数据异地存储保障体系。引导企业在韶关、贵安等数据中心产业园建设符合规范标准的温、冷数据存储数据中心集群。

11.加强关键行业数据容灾备份。加强对关键行业核心数据和重要数据的容灾备份建设,实现核心数据100%灾备。依据实际业务需求,建设同城灾备和异地灾备中心,重点满足政务、科研、医疗教育等重点行业领域的数据备份需求。围绕金融、通信行业产生的重要数据资源,进一步优化完善数据统筹汇聚、共享交换、灾备存储等机制,探索数据容灾管理试点示范,大力促进构建行业存储灾备体系。

(四)提升算力运载能力

12.推动“数网协同”要素保障。加强不同算力中心之间的网络运力统筹规划,优化深圳到韶关等国家枢纽节点以及“算力飞地”的通信网络结构和带宽。支持IPv6+、SRv6、全光交换、网络切片等技术应用,加快推进光传送网(OTN)、全光交叉(OXC)设备部署,实现党政机关、金融机构、医疗机构、高等院校、科院机构、规上企业等重点应用场所OTN网络接入率达到100%

13.优化算力中心内网络质量。针对通用计算、智能计算、超级计算以及边缘计算等场景,开展智能无损网络、超融合网络、高性能网络以及确定性网络的试点应用与布局,降低网络因素对计算能力的折损。

(五)促进绿色低碳算力发展

14.推广应用各类绿色节能技术。推广使用整机柜服务器、AI服务器、液冷服务器等高效IT设备,加快液冷、自然冷源、电力模块、锂电池等绿色节能产品和技术落地。探索建立算力中心与电力网协同建设、联动运行机制;探索电力储能、蓄冷实施方案;探索算力中心之间电源互相备份的全电模式电力保障方案。鼓励数据中心运营商加强内部能耗数据监测和管理,提高能源利用效率;鼓励采用自建光伏、绿色电力交易等方式降碳减排

15.推进存量数据中心改造升级。制定“老旧小散”存量数据中心改造升级相关工作方案,分类分批推动存量数据中心升级、整合、腾退。对历史遗留未取得节能审查的存量数据中心,探索制定合理的节能审查方案。开展存量数据中心转型升级试点示范工程,打造典型案例。

(六)创新推动算力产业生态发展

16.推动算力全产业链协同发展。聚焦信创产业创新发展,强化通用算力芯片、人工智能芯片、操作系统、数据库等自主创新全栈解决方案的研发,打造自主可控的算力底座。发展培育一批大数据服务、软件算法设计、场景算力服务的增值电信企业,形成AI产业生态集群。支持本地龙头企业加大创新投入,突破一批标志性技术产品和方案,加速新技术、新产品落地应用,鼓励积极参与国家“算力强基揭榜挂帅”任务。

17.强化算力赋能服务水平。加快推动全社会上云、用数、赋智,激发释放各行各业使用算力的需求。聚焦工业、先进制造业等优势重点行业,围绕交通、能源、园区等国企场景优势,积极开展算力应用创新,提供算法公共服务。围绕政务服务、城市建设、金融等领域,通过加强政策引导、设立专项基金等举措,激励挖掘算力应用潜力,优化算力服务能力。面向养老、医疗、交通、教育、治安等民生行业需求,完善公共算力资源供给,提供低成本算力服务。

(七)强化算力基础设施安全发展

18.提升算力基础设施可靠性。对承载重要信息系统以及影响国计民生和社会秩序的算力基础设施,结合业务系统的部署模式,增强防火、防雷、防洪、抗震等保护能力,强化供电、制冷等系统的智能安全管控。加强算力基础设施关键技术研发和创新,提升软硬件协同和安全保障能力。

19.强化网络安全保障水平。推动网络安全防护措施与重要算力基础设施同步规划、同步建设、同步使用。加快形成覆盖算力基础设施重要节点和关键业务系统的威胁攻击监测、防御和溯源能力,防范遏制重特大网络安全事件。健全行业网络安全审查体系,加强对网络常态化安全保障和风险评估,提升网络安全保障水平。

20.开展动态监管。加强全市算力基础设施动态监管评估,组织建设本市算力综合管理平台,加强对各类算力中心的在线监测和跟踪管理,对其位置分布、规模体量、能效状况、碳排放、水资源利用、绩效水平等开展综合评估。加强算力基础设施设计、建设、运营全生命周期管理

政策链接:

http://gxj.sz.gov.cn/xxgk/xxgkml/zcfgjzcjd/content/post_11028250.html

 

行业会议

2023人工智能计算大会(AICC)召开

智算力系统创新、加速生成式AI产业发展

刘军 浪潮信息高级副总裁

11月29日,在北京举行的2023人工智能计算大会(AICC)上,浪潮信息高级副总裁刘军在主题演讲《智算力系统创新 加速生成式AI产业发展》中分享了浪潮信息对于智算力系统创新和AI产业发展的思考。面向生成式人工智能带来的机遇与挑战,如何通过智算力系统来更好地支撑AI创新与应用,已经成为智算产业的关键。应对生成式AI的发展和挑战,应该从算力系统、AI软件基础设施(AI Infra)、算法模型和产业生态4个方面来进行综合考量,从而加速智能产业的落地。

智算系统创新,解决生成式AI的算力挑战

在算力系统层面,生成式人工智能面临的挑战主要来自计算、数据和互联三个方面:

在计算方面,首先要针对多元算力,以统一的系统架构和统一的接口规范来兼容各类AI芯片,保障芯片算力的高效释放。浪潮信息早在2018年就着力开放多元的AI算力平台设计,最新发布的G7多元算力平台是业界唯一可以同时兼容SXM、OAI加速卡并实现8卡全互联、16卡全互联和混合立方互联系统拓扑的AI算力平台。为了保障更大规模的集群扩展性能,浪潮信息研制的开放加速计算架构支持PCIe、RocE和多种私有互联协议,节点内和跨节点卡间互联最大达到896 GB/s,跨节点通过免网卡RDMA实现高效扩展,集群性能加速比超过90%

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

在数据存储方面,针对大模型的数据存储需求,浪潮信息在业界率先实现了一套集群系统同时支持文件、对象、大数据等多种非结构化协议的无损互访,同时支持闪存、磁盘、磁带、光盘四类存储介质,并支持数据全生命周期热、温、冷、冰四级存储管理,以一套存储架构支持一个数据中心,真正实现了数据融合、管理融合。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

在网络互联方面,浪潮信息专为生成式AI计算场景发布旗舰51.2T高性能交换机,为企业级智算网络提供高吞吐、高可扩展、高可靠的智算网络产品及方案,解决了传统RoCE方案普遍存在的有效带宽低、尾时延高、故障收敛慢等问题,将大模型训练性能提升38%以上,性能接近InfiniBand,助力AI用户高效释放大模型生产力。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

AI Infra全栈优化:释放多元算力、提升大模型算力效率

针对AI Infra层面的优化,浪潮信息开发了大模型智算软件栈OGAI (Open GenAI Infra)。在算力集群部署方面,开源了业界首个AI算力集群系统环境部署方案PODsys;在大规模训练的长时保障方面,从算力调度平台层实现了自动化断点续训;在多元算力接入方面以标准化、模块化接入方式稳定接入超过40+芯片;在数据治理方面构建了流程化、可自定义的数据清洗pipeline,有效缩短数据清洗时间、提升文本审核过滤准确率;在计算效率优化方面,通过对分布式并行算法的极致优化,将千亿参数规模下的训练计算效率提升到54%;在多模型管理方面已经支持了超过10个业界主流的开源大模型和元脑生态大模型,用实践证明AI Infra全栈基础软件和工作流的创新是多元算力高效释放、提升大模型算力效率的关键。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

基础大模型,生成式AI落地发展的核心支撑

浪潮信息从实践入手,加大创新模型结构、高质量数据准备、高效算力利用投入,并将这些技术运用在了源2.0大模型上,在编程、推理、逻辑等方面展示了先进的能力。在算法方面,源2.0提出并采用了一种新型的注意力算法结构,有效提升了模型自然语言的表达能力与生成精度;在数据方面,源2.0在训练数据来源、数据增强和合成方法等方面进行了全面创新,增强模型数理逻辑能力;在算力方面,源2.0采用非均匀流水并行+优化器参数并行+数据并行+Loss计算分块的策略,让模型训练在“条件有限”的算力规模下实现高效率工作。源2.0作为千亿级基础大模型,在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,展示了较为先进的能力表现。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

生态聚进,联合创新,加速AI应用落地

面对生态复杂离散、产业AI落地困难的挑战,浪潮信息提出元脑生态聚合优质伙伴协同创新,通过“技术支持、方案联合、平台共享”实现不同厂商之间的优势互补。目前,元脑生态以浪潮信息的AI算力平台、AI资源平台和AI算法平台为支撑,已经对接40多家芯片厂商,400+算法厂商,4000+系统集成商,通过多元的算力供给、全栈的AI Infra软件栈、丰富的大模型经验,实现“百模”与“千行”的对接,助力千行百业加速生成式AI 产业创新,高效释放生产力。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

光电智能计算芯片发展及趋势展望

戴琼海 中国工程院院士、中国人工智能学会理事长

人工智能的发展历经三个阶段,以“信息查询”为代表的“第一代人工智能”阶段,包括简单知识、CPU及简单符号推理;以“专家系统”为代表的“第二代人工智能”,包括知识向量、大规模集成CPU、知识推理和机器学习;以“大数据与深度学习”为代表的“第三代人工智能”,包括网络表征、高并行GPU、深度神经网络。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

近年来,欧美等地区将“光计算”纳入重点研发战略规划,欧盟发布《通过光子学确保欧洲战略自主》报告,提出发展光计算等颠覆性技术;美国于2022年发布《芯片与科学法案》明确提出发展高性能光计算系统;美国白宫于2023年发布的《关键和新兴技术国家标准战略》,提出加强光计算等领域的投资和研究。从产业界研发进展来看,英特尔开发用于光计算等场景的联合封装光学器件和集成波分复用激光阵列;IBM开发高速光子处理器和存内计算方案;台积电攻关面向光计算场景的45nm-7nm制程的硅光芯片。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

从光电智能计算的发展趋势来看,短期目标聚焦“专用智能光电芯片”;中期目标涉及“光电智能计算系统及应用”;长期目标则包括“通用AI芯片及光电计算机”

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

算力未来趋势方面,主要包括通用芯片优化、专用芯片设计、新型计算架构三个方面。其中,“通用芯片优化”包括GPU等高性能芯片和终端轻量级芯片;“专用芯片设计”涵盖AI专用类芯片;“新型计算架构”则包含量子计算、存算一体、光电计算。

《数字经济洞察周报》2023年第30期 | Google发布能力最强AI多模态大模型Gemini

图片来源:2023人工智能计算大会(AICC)

 

来源:至顶网至顶智库频道

0赞

好文章,需要你的鼓励

2023

12/07

18:08

分享

点赞