torchtext 정리

torchtext란?

- nlp에 필요한 pytorch 모듈이다.

1.TabularDataset

-> path, format, field로 구성이 되어있으며 filed는 column 형식으로 객체 생성을 하게 된다.

-> format은 csv,tsv,json 형식의 파일이 있다.

TEXT.build_vocab를 사용했을때, pretrained 된 model들은 

https://github.com/pytorch/text/blob/v0.2.1/torchtext/vocab.py#L379

여기서 어떤 모델을 받는지 확인할 수 있다.