shanghai security defense & alarm association 愛建網(wǎng)">

上海安防网-欧美欧美欧美-上海安全防范报警协会

 當(dāng)前位置:行業(yè)資訊 >> 行業(yè)新聞 >>
華為與科大訊飛聯(lián)合打造中國首個(gè)萬卡國產(chǎn)算力平臺(tái)“飛星一號” AI數(shù)據(jù)湖存儲(chǔ)底座
  2024-03   華為數(shù)據(jù)存儲(chǔ)
字號:


科大訊飛作為亞太地區(qū)赫赫有名的智能語音和人工智能企業(yè),擁有語音及語言國家工程實(shí)驗(yàn)室和認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室。面對業(yè)界百模大戰(zhàn),誰可以快速部署高性能大模型訓(xùn)練平臺(tái),快速訓(xùn)練上線,誰就能先一步搶占市場有利位置。

為此科大訊飛與華為聯(lián)合打造存、算、網(wǎng)全棧國產(chǎn)化的AI大模型解決方案,共同建設(shè)國內(nèi)首個(gè)支持萬億參數(shù)大模型訓(xùn)練的萬卡算力平臺(tái)“飛星一號”。

1w.jpg 

華為AI數(shù)據(jù)湖解決方案,基于多套OceanStor專業(yè)存儲(chǔ)分級建設(shè),依托智能數(shù)據(jù)分級與多集群故障隔離、高效數(shù)據(jù)治理的高性能存儲(chǔ),為客戶提供TB級帶寬,端到端加速AI模型開發(fā)。  

大模型建設(shè)中遇到了哪些問題?

星火認(rèn)知大模型從海量數(shù)據(jù)和大規(guī)模知識(shí)中持續(xù)進(jìn)化,實(shí)現(xiàn)了從提出、規(guī)劃到解決問題的全流程閉環(huán)。人工智能技術(shù)從感知理解世界的專用領(lǐng)域向生成創(chuàng)造世界的通用領(lǐng)域進(jìn)行跨越式演進(jìn),這一過程產(chǎn)生了對數(shù)據(jù)存儲(chǔ)的新挑戰(zhàn):

GPU利用率低:AI大模型訓(xùn)練以多機(jī)多卡任務(wù)為主,故障頻率高,模型加載和斷點(diǎn)續(xù)訓(xùn)CheckPoint讀寫時(shí),對存儲(chǔ)系統(tǒng)IO和帶寬性能要求很高,千卡以上集群平均每天故障1次,斷點(diǎn)恢復(fù)時(shí)間高達(dá)15分鐘+,每次損失幾十萬。

集群分散不可靠:多家存儲(chǔ)“煙囪式”建設(shè),總?cè)萘繋资甈B,切分成幾十個(gè)PB級的分散小集群,極大地增加了管理復(fù)雜度,并采用軟硬分離的方式建設(shè)存儲(chǔ)集群,降低了存儲(chǔ)集群的可靠性同時(shí)也降低了帶寬能力。

數(shù)據(jù)治理困難:AI訓(xùn)練集的文件數(shù)量有百億個(gè),當(dāng)前“煙囪式”存儲(chǔ)集群的建設(shè)模式,形成多個(gè)數(shù)據(jù)孤島,數(shù)據(jù)需要人工遷移,效率低。同時(shí)無全局?jǐn)?shù)據(jù)可視能力,無法識(shí)別冷熱數(shù)據(jù)與高價(jià)值數(shù)據(jù),數(shù)據(jù)難以治理。

綜上可以看到大模型廠商對存儲(chǔ)的核心訴求是:

1、 高性能的存儲(chǔ)底座,以便支撐多機(jī)多卡的AI集群極致的訓(xùn)練時(shí)長和盡可能快的斷點(diǎn)續(xù)訓(xùn)能力,降低錯(cuò)誤回滾率。

2、 統(tǒng)一的AI存儲(chǔ)數(shù)據(jù)湖管理能力,高效可靠的數(shù)據(jù)治理能力。

優(yōu)質(zhì)存儲(chǔ)成為大模型時(shí)代的“黃金門票”

華為數(shù)據(jù)存儲(chǔ)與科大訊飛聯(lián)合打造中國首個(gè)萬卡算力平臺(tái)AI數(shù)據(jù)湖存儲(chǔ)底座,針對通用AI大模型訓(xùn)練,科大訊飛采用算、存分離架構(gòu),計(jì)算側(cè)追求更加極致的算力釋放,存儲(chǔ)側(cè)部署多套華為OceanStor AI存儲(chǔ),提供可靠高效的幾十PB可得容量。 

2w.jpg

AI數(shù)據(jù)湖方案架構(gòu)圖

15min->1min,斷點(diǎn)續(xù)訓(xùn)恢復(fù)速度提升15倍,日節(jié)省幾十萬¥

斷點(diǎn)續(xù)訓(xùn)恢復(fù)速度提升15倍:集群最大提供TB級大帶寬,縮短CheckPoint讀寫耗時(shí),斷點(diǎn)續(xù)訓(xùn)恢復(fù)時(shí)長從15min縮短到1min,速度提升15倍。

集群管理,99.999%高可靠

存儲(chǔ)集群安全可靠:華為OceanStor AI存儲(chǔ)單集群多Storage Pool的方案,管理面合一,數(shù)據(jù)面分離,通過數(shù)據(jù)面隔離避免AI集群故障擴(kuò)散;同時(shí)通過亞健康管理、大比例EC等進(jìn)一步提升存儲(chǔ)可靠性,單集群可靠性達(dá)99.999%。

全生命周期管理TCO降低30%

數(shù)據(jù)治理成本低:統(tǒng)一數(shù)據(jù)湖管理,GFS全局文件系統(tǒng),無損多協(xié)議互通,免除數(shù)據(jù)孤島,數(shù)據(jù)全局可視、可管,高效流動(dòng),跨域調(diào)度效率提升3倍,數(shù)據(jù)零拷貝,端到端加速AI模型開發(fā);千億元數(shù)據(jù)秒級檢索,智能識(shí)別數(shù)據(jù)熱度,精準(zhǔn)分級,實(shí)現(xiàn)存儲(chǔ)系統(tǒng)性能與容量均衡。


面向未來萬卡/十萬卡更大規(guī)模算力集群華為OceanStor AI存儲(chǔ)專為AI而生,與科大訊飛聯(lián)合打造中國首個(gè)萬卡算力平臺(tái)AI數(shù)據(jù)湖存儲(chǔ)底座,借助海量數(shù)據(jù)和知識(shí)加速星火認(rèn)知大模型持續(xù)進(jìn)化,共建“讓機(jī)器能聽會(huì)說,能理解會(huì)思考,用AI建設(shè)美好世界”的美好愿景!






TOP
主辦單位:上海安全防范報(bào)警協(xié)會(huì)
shanghai security defense & alarm association
地址:上海市普陀區(qū)云嶺東路235號3號樓404室   電話:021-54732822   傳真:021-54732822
協(xié)會(huì)標(biāo)準(zhǔn)咨詢郵箱:sdaasc2015@126.com 協(xié)會(huì)工程咨詢郵箱:sdaapc2015@126.com 協(xié)會(huì)申訴咨詢郵箱:shanfang2701@126.com
ICP備案號: 滬ICP備14004542號-2

滬公網(wǎng)安備 31011202001934號


技術(shù)支持 : 愛建網(wǎng)
建議使用最新版瀏覽器,以獲得最佳瀏覽效果。
主站蜘蛛池模板: 芜湖人才网_芜湖招聘网_【官方网站】| 江门市金环电器有限公司| 通信系统-通信人在线| 生物除臭_废气处理_玻璃钢风机_布袋除尘_脱硫脱硝_催化燃烧_生物滤池_广东正州环保科技股份有限公司 | 兰州职业学校-新华互联网学校咨询平台中心 | 天津市力豹润滑科技有限公司 | 酒类灌装机厂家_贴标机_灌装生产线-青州市锦德包装机械有限公司 酒店设计_建筑设计_室内装修装饰-北极点酒店设计公司 | 橡塑板_橡塑板厂家_橡塑保温管厂家_廊坊虓龙保温材料有限公司 | 模具架,模具货架,抽屉式模具架-模具架厂家 | 氯化亚铜_氯化亚铜厂家_衡水丰亿工贸有限公司 | 消防车厂家_东风水罐泡沫消防车价格图片吨位-湖北新东日专用汽车有限公司 | 激光切管机_等离子切管机_相贯线切管机厂家|服务为先-山东美峰智能设备有限公司 | 驾驶洗地机|手推洗地车|天津洗地机|扫地车|仓库工厂扫地机|工业吸尘器|扫雪机|耐洁思 | 激光切割机_激光切割机价格-山东大威激光科技有限公司 | 混凝土修补-清水混凝土保护剂-仿清水混凝土-混凝土装修-混凝土色差处理-混凝土色差修复剂-德州唐荣建筑装饰工程有限公司 | 金酱酒_金酱酒代理加盟招商_OEM贴牌企业定制! – 金酱酒代理加盟!茅台镇较早的酿酒烧坊,年产优质酱香白酒5000余吨,仁怀市十强白酒企业,主营主品:金酱酒、金酱陈香酒、酱香老酒等系列品牌产品 | 瑞安网站建设_网站制作_做网站找瑞安联创网络:专业网页制作、手机网站、SEO百度网站关键字优化 软文营销推广-新闻稿发布-软文撰写-百科词条编辑-品牌全案策划推广网络营销传播-喜尚传媒 | 济南晨阳科技有限公司-锅巴生产设备-夹心米果设备-膨化食品机械 集装箱零配件_不锈钢丝绳厂家_镀锌铁链条_合页非标件定制_上海英鑫多实业有限公司 | 金属雕花板厂家_外墙保温板_专业生产批发_山东百菲特 | 重庆监控安装_监控系统工程_高清监控摄像头-重庆监控系统安装公司 | 济宁市兴大工程机械有限公司| 金诺国际拍卖集团有限公司--金诺国际拍卖集团有限公司 | 主题公园设计|主题公园规划|水上乐园设计|龙翔设计|龙翔景观|龙翔文旅|深圳市龙翔设计景观工程有限公司 | 通道闸-人行通道闸|通道闸机系统厂家-深圳伊帕克智能科技有限公司 | 双相钢,双相不锈钢,2507双相不锈钢-海新双相钢| 山东国新起重机械有限公司,国新起重,起重设备,起重机械,山东起重机厂家,行车,龙门吊 | 信管飞软件官网 - 亚拓软件旗下精细化管理软件、进销存管理软件、混凝土ERP、通风设备ERP、风管报价软件、出纳软件、送货单打印软件、ERP软件等免费下载 | 上海航空货运,上海空运,东方航空快递,机场物流,航空快运,上海东方航空托运公司 | 永磁电机,防爆电机,调速电机,永磁同步电机_河南华信电机股份有限公司 | 首页|广东蒙泰高新纤维股份有限公司|丙纶细旦丝|丙纶异形丝|丙纶FDY网络丝 - 广东蒙泰高新纤维股份有限公司 | 网络公关公司_舆情监测_危机公关_品牌公关_一夜红传媒 | 耐磨焊丝厂-堆焊焊材研发-修复工程-天津舜荣焊材官网 | 呼吸家官网|肺功能检测仪生产厂家|国产肺功能仪知名品牌|肺功能检测仪|肺功能测试仪|婴幼儿肺功能仪|弥散残气肺功能仪|肺功能测试系统|广州红象医疗科技有限公司|便携式肺功能仪|大肺功能仪|呼吸康复一体机|儿童肺功能仪|肺活量计|医用简易肺功能仪|呼吸康复系统|肺功能仪|弥散肺功能仪(大肺)|便携式肺功能检测仪|肺康复|呼吸肌力测定肺功能仪|肺功能测定仪|呼吸神经肌肉刺激仪|便携式肺功能 | 九江江菱电梯有限公司| 辣椒烘干机-百信机械提供大中小型辣椒烘干机房设备视频图片厂家价格多少钱 | 山东自保温砌块_泰安自保温砌块厂家_山东润德新型建材有限公司【网站】 | 破碎机锤头_知名破碎机锤头厂家-巩义东辰 | 深圳社区邦家政公司-保姆_月嫂_育儿嫂 _早教育婴师_家政钟点工_家政培训_家政加盟- 社区邦优质生活服务 专业、标准化、便捷、安心,一站式家庭服务平台,服务专业有保障 ! | 重庆物流公司,重庆商贸货运,工厂物流,同城冷链物流配送,物流软件租售-重庆协通国际物流有限公司 重庆污水处理设备_废气处理设备_纯净水设备-山艺环保 | 文件管理系统-文件管理软件-文档管理系统-文档管理软件-档案管理系统-档案管理软件 - 致得软件 | 昆明纸箱厂-礼盒定制-包装盒定做-纸箱厂-云南包掌柜包装有限公司 |