注意力機制。變換器沒有顯式的循環或卷積結構，而是使用自注意力機制來處理輸序列中的依賴關系。自注意力機,制可以計算輸入序列中每個位置與其他位置的相關性，從而將全局的上下文信息融入到每個位置的表示中變換器的核心組件是多頭注意力機制和前饋神經網絡。多頭注意力機制允許模型在不同的表示空間中進行多次自注意計算，以捕捉不同層次和角度的語義關系。前饋神經網絡則負責對每個位置的表示進行非線性變換和映射。在變換器中，輸入席列通過多層的編碼器(Encoder)進行編碼，同時經過自注意力計算和前饋神經網絡映射。編碼器為每個位置生成-個上下文感知的表示。在序列到序列任務中(比如機器翻譯)，編碼器的輸出被傳遞到解碼器(Decoder)中，解碼器也是由多層的變換器模塊組成。解碼器通過自注意力和前饋網絡生成目標序列的表示。