MOE怎么看結(jié)構(gòu)相似度
MOE怎么看結(jié)構(gòu)相似度
MOE算法結(jié)果中,Correlation=1則是目標(biāo)相似度低,結(jié)果值越高則是相似度越高。MOE是Mixtureofexperts的縮寫,也就是說MOE結(jié)構(gòu)的算法底層是有多個(gè)experts組成,這些experts網(wǎng)絡(luò)是彼此獨(dú)立的,最終的輸出結(jié)果其實(shí)是目標(biāo)在多個(gè)experts上的概率分布結(jié)果。MOE可以通過一個(gè)Gate去控制,Gatenetwork也叫門控網(wǎng)絡(luò),可以控制在不同應(yīng)用場景下每個(gè)expert的參與權(quán)重。OMOE指的是onegateMOE,MMOE指的是multigateMOE,從字面意思理解,MMOE一定是比OMOE更全面的。
導(dǎo)讀MOE算法結(jié)果中,Correlation=1則是目標(biāo)相似度低,結(jié)果值越高則是相似度越高。MOE是Mixtureofexperts的縮寫,也就是說MOE結(jié)構(gòu)的算法底層是有多個(gè)experts組成,這些experts網(wǎng)絡(luò)是彼此獨(dú)立的,最終的輸出結(jié)果其實(shí)是目標(biāo)在多個(gè)experts上的概率分布結(jié)果。MOE可以通過一個(gè)Gate去控制,Gatenetwork也叫門控網(wǎng)絡(luò),可以控制在不同應(yīng)用場景下每個(gè)expert的參與權(quán)重。OMOE指的是onegateMOE,MMOE指的是multigateMOE,從字面意思理解,MMOE一定是比OMOE更全面的。
![](https://img.51dongshi.com/20241205/wz/18201469252.jpg)
MOE算法結(jié)果中,Correlation=1則是目標(biāo)相似度低,結(jié)果值越高則是相似度越高。MOE是Mixtureofexperts的縮寫,也就是說MOE結(jié)構(gòu)的算法底層是有多個(gè)experts組成,這些experts網(wǎng)絡(luò)是彼此獨(dú)立的,最終的輸出結(jié)果其實(shí)是目標(biāo)在多個(gè)experts上的概率分布結(jié)果。MOE可以通過一個(gè)Gate去控制,Gatenetwork也叫門控網(wǎng)絡(luò),可以控制在不同應(yīng)用場景下每個(gè)expert的參與權(quán)重。OMOE指的是onegateMOE,MMOE指的是multigateMOE,從字面意思理解,MMOE一定是比OMOE更全面的。
MOE怎么看結(jié)構(gòu)相似度
MOE算法結(jié)果中,Correlation=1則是目標(biāo)相似度低,結(jié)果值越高則是相似度越高。MOE是Mixtureofexperts的縮寫,也就是說MOE結(jié)構(gòu)的算法底層是有多個(gè)experts組成,這些experts網(wǎng)絡(luò)是彼此獨(dú)立的,最終的輸出結(jié)果其實(shí)是目標(biāo)在多個(gè)experts上的概率分布結(jié)果。MOE可以通過一個(gè)Gate去控制,Gatenetwork也叫門控網(wǎng)絡(luò),可以控制在不同應(yīng)用場景下每個(gè)expert的參與權(quán)重。OMOE指的是onegateMOE,MMOE指的是multigateMOE,從字面意思理解,MMOE一定是比OMOE更全面的。
為你推薦