Hugging Face

• 0. 허깅 페이스
  • "Transformer 기반으로 파생된 다양한 모델", "각종 데이터셋", "학습 스크립트" 등을 제공하는 플랫폼.
  • Python Module
    • transformers.models : 다양한 모델을 pytorch 및 tensorflow 로 각각 구현. (모델별 tokenizer도 구현)
    • transformers.Trainer : 학습 및 평가 필요한 optimizer, weight, learning-rate, ckpt, tensorbord, evaluation 등.
• % Transformer 란?
  • 17년 구글이 발표한 논문 "Attention is all you need" 에서 나온 모델.
  • 기존 seq2seq 구조의 Encoder/Decoder 를 따르면서도, Self-Attention 만으로 구현을 한것이 특징.
  • 텍스트, 이미지, 오디오 등을 처리함에 있어서 CNN RNN 보다 우수한 성능을 보여줌.
• 1. Models
  • ...
• 2. Datasets
• 3. Spaces
• ...
• ex) Fine-tune a pretrained model 을 할수있는 API 및 도구
  • load_dataset() 데이터셋 다운로드 -> tokenizer() -> train, evaluation data 분리
  • AutoModelForSequenceClassification.from_pretrained() 모델 로드
  • TrainingArguments() 하이퍼파라미터 조절 및 Trainer() 파일튜닝 수행

-끝-