자연어처리: BERT, GPT

BERT and GPT

BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 구글이 공개한 사전 훈련된 모델, 트랜스포머를 이용하여 구현, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델

..작성중..

BERT

참고자료

• 딥 러닝을 이용한 자연어 처리 입문(https://wikidocs.net/book/2155)