[BERT] FFNN에서 position별 parameter 공유

While the linear transformations are the same across different positions, they use different parameters from layer to layer. 

-> BERT에서 FFNN은 position-wise라서, position마다 각자의 FFNN을 가지는데, 각자 독립적으로 가중치가 다르다.

 

 

[출처]

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.