優(yōu)步人工智能推出了用于分布式機(jī)器學(xué)習(xí)的新圖書(shū)館

很多文章的報(bào)道都是由微觀而宏觀，今日小編講給大家?guī)?lái)的關(guān)于優(yōu)步人工智能推出了用于分布式機(jī)器學(xué)習(xí)的新圖書(shū)館的資訊也不例外，希翼可以在一定的程度上開(kāi)闊你們的視野！y有對(duì)優(yōu)步人工智能推出了用于分布式機(jī)器學(xué)習(xí)的新圖書(shū)館這篇文章感興趣的小伙伴可以一起來(lái)看看
優(yōu)步有開(kāi)源光纖，一個(gè)新的庫(kù)，旨在授權(quán)用戶在計(jì)算機(jī)集群上實(shí)現(xiàn)大規(guī)模的機(jī)器學(xué)習(xí)計(jì)算。庫(kù)的主要目標(biāo)是利用異構(gòu)計(jì)算硬件，動(dòng)態(tài)規(guī)模算法，并減輕工程師在集群上實(shí)現(xiàn)復(fù)雜算法的負(fù)擔(dān)..

對(duì)于機(jī)器學(xué)習(xí)框架來(lái)說(shuō)，保持足夠的靈便性來(lái)支持強(qiáng)化學(xué)習(xí)(RL)和基于人口的算法以及其他啟示式算法(如深度學(xué)習(xí))是一個(gè)挑戰(zhàn)，因?yàn)樾枨罂赡軙?huì)有很大的變化。
雖然TensorFlow和Py Torch等已建立的框架涵蓋了大多數(shù)常見(jiàn)機(jī)器學(xué)習(xí)方法的分布式培訓(xùn)設(shè)置，但這些框架不太適合基于RL和基于人口的方法，這往往需要與模擬器頻繁交互以及復(fù)雜和動(dòng)態(tài)的縮放策略。光纖為其分布式計(jì)算框架提供了統(tǒng)一的Python用戶界面，以支持這些新需求。

與Fiber一起發(fā)表的研究論文詳細(xì)介紹了用于評(píng)估框架開(kāi)銷(xiāo)、進(jìn)化策略和近端策略優(yōu)化(PPO)庫(kù)的實(shí)驗(yàn) 。研究人員比較了Fiber與IPy并行(iPython用于并行計(jì)算)、Spark和標(biāo)準(zhǔn)python多處理庫(kù)在框架開(kāi)銷(xiāo)上的性能，發(fā)現(xiàn)Fiber在任務(wù)持續(xù)時(shí)間較短時(shí)優(yōu)于iPy并行和Spark，這是處理模擬器時(shí)要理解的重要指標(biāo) 。
與Atari基準(zhǔn)中關(guān)于Breakout的多處理實(shí)現(xiàn)相比，F(xiàn)iber啟用的PPO分布式版本的性能表明， Fiber可以將RL算法擴(kuò)展到本地機(jī)器之外。

光纖分成API層，后端層，簇層.. API層與標(biāo)準(zhǔn)Python多處理模塊具有相似的要求和語(yǔ)義，但擴(kuò)展到分布式環(huán)境中工作。
后端層可以處理多個(gè)不同集群治理器的任務(wù)通信。最后，聚類(lèi)層包含Kubernetes和Peloton等集群治理器。
光纖引入了一個(gè)新的概念，稱為工作支持過(guò)程。當(dāng)啟動(dòng)其中一個(gè)進(jìn)程時(shí)，將創(chuàng)建一個(gè)在當(dāng)前集群上帶有Fiber后端的新作業(yè) 。父容器在使用相同的容器映像啟動(dòng)子進(jìn)程之前封裝所需的文件、輸入數(shù)據(jù)和該作業(yè)的任何其他依賴項(xiàng)，以保證一致的運(yùn)行環(huán)境。下圖更詳細(xì)地說(shuō)明了這一架構(gòu)：
【優(yōu)步人工智能推出了用于分布式機(jī)器學(xué)習(xí)的新圖書(shū)館】纖維和谷歌新的分布式強(qiáng)化學(xué)習(xí)庫(kù)種子RL的公布表明，大科技公司的目標(biāo)是既降低成本，又簡(jiǎn)化培訓(xùn)尖端機(jī)器學(xué)習(xí)算法的過(guò)程。

欧美国产高清污视频在线观看-欧美久久综合九色综合-国产黄色自拍网站在线-国产三级精品三级在专区精-97中文字幕一区二区-大吊操白虎学生妹逼-精品久久久久亚洲综合网-青青草原国产av一区欧美-国产在线一区二区三区在线

優(yōu)步人工智能推出了用于分布式機(jī)器學(xué)習(xí)的新圖書(shū)館

猜你喜歡