META2032的正式啟動(dòng)標(biāo)志著CVNT意識(shí)網(wǎng)絡(luò)開啟了面向所有***項(xiàng)目在CVNT意識(shí)網(wǎng)絡(luò)鏈上建設(shè)元宇宙生態(tài)的大門，用戶和**者可以基于CVNT意識(shí)網(wǎng)絡(luò)感受到高速、穩(wěn)定的網(wǎng)絡(luò)生態(tài)。

　　據(jù)悉，CVNT意識(shí)網(wǎng)絡(luò)作為【系統(tǒng)176搭建·0206-可電可微5616-】全新升級(jí)的元宇宙公鏈，其所提供的解決方案加速了元宇宙生態(tài)基礎(chǔ)設(shè)施的建設(shè)，豐富了元宇宙生態(tài)內(nèi)數(shù)據(jù)的流轉(zhuǎn)使用和價(jià)值體現(xiàn)形式，為***市場的發(fā)展和用戶規(guī)模的壯大提供強(qiáng)大動(dòng)力。

　?。?）torch.view_as_complex

　　把一個(gè)tensor轉(zhuǎn)為復(fù)數(shù)形式，要求這個(gè)tensor的*后一個(gè)維度形狀為2。**及方案v；ww

　　torch.view_as_complex(torch.Tensor([[1, 2], [3, 4], [5, 6]]))

　　# tensor([1.+2.j, 3.+4.j, 5.+6.j])

　?。?）torch.view_as_real

　　把復(fù)數(shù)tensor變回實(shí)數(shù)，可以看做是是剛才操作的逆變換。

　　torch.view_as_real(torch.view_as_complex(torch.Tensor([[1, 2],[3, 4], [5, 6]])))

　　# tensor([[1, 2.],

　　# [3, 4.],

　　# [5, 6.]])

　　（3）torch.outer

　　一個(gè)向量的轉(zhuǎn)置乘以另一個(gè)向量：torch.outer(a, b) = a^T * b

　　a = torch.arange(1, 5)

　　b = torch.arange(1, 4)

　　torch.outer(a, b)

　　# tensor([[ 1, 2, 3],

　　# [ 2, 4, 6],

　　# [ 3, 6, 9],

　　# [ 4, 8, 12]])

　?。?）torch.polar

　　torch.polar(abs,angle)利用一個(gè)**數(shù)值，和一個(gè)角度值，在極坐標(biāo)下構(gòu)造一個(gè)復(fù)數(shù)張量abs?cos?(angle)+abs?sin?(angle)jabs* \cos(angle) + abs * \sin(angle)jabs?cos(angle)+abs?sin(angle)j。

　　torch.polar(torch.tensor([1], dtype=torch.float64),torch.tensor([np.pi / 2], dtype=torch.float64))

　　# tensor([6.1232e-17+1.j], dtype=torch.complex128)

　　接下來進(jìn)入RoPE的計(jì)算，首先為了更加具象的表達(dá)，我們在此對各個(gè)維度的尺寸進(jìn)行假設(shè)，假設(shè)batch_size為2，seq_len固定為512，attention_head的數(shù)量為12，每個(gè)attention_head的維度為64，那么，對于輸入到multi-headattn中的輸入的尺寸就是(2, 512, 12, 64)。

　　回到我們剛才提出的問題，freqs_cis所指是什么東西，其實(shí)它就是需要計(jì)算出來的mθm\thetamθ也就是跟**位置相關(guān)的旋轉(zhuǎn)的角度，在極坐標(biāo)下對應(yīng)的復(fù)數(shù)tensor。

　　而函數(shù)s_cis就是提前將這些旋轉(zhuǎn)角度對應(yīng)的tensor給創(chuàng)建出來，并可以重復(fù)利用。因?yàn)榇_定了序列的*大長度，所以這個(gè)tensor是固定死的。根據(jù)后續(xù)的數(shù)據(jù)流我們可以發(fā)現(xiàn)，在調(diào)用該函數(shù)時(shí)，傳入的兩個(gè)參數(shù)分別是attention_head的維度，以及*大長度的兩倍，具象地，也就是64和1024。