민듀키티

Introduction(1) DRL의 어려움명확하고 정확한 Reward Function을 설계하기 어려워예를 들면 로봇이 clean a table or scramble an egg ⇒ 정량적인 보상 함수를 만들기는 극도로 어려운 상황clean a table : ‘깨끗하다’ 라는 기준이 모호하고 보상함수 설계 어려움 (먼지 1개당 1점 ? 접시를 싱크대에 넣으면 5점?) → 주관적인 보상 설계scramble an egg : 섬세한 조작 필요 ( 계란을 깨고, 볼에 넣고, 젓고, 팬에 붓고 등 ), 보상함수 설계 어려움 (계란이 익었을 때 10점?)(2) 논문의 접근 방식사람이 직접 Reward Function을 만들지 않고, Human Preferences (인간의 선호)를 활용하여 보상 함수를 학습STE..

AbstractInstruct GPT : 좋은 응답을 보여주고 → human feedback을 활용하여 → 미세조정 (fine-tuning) 함으로써 3단계 학습 과정을 거침훨씬 더 모델의 크기가 작음에도 불구하고 GPT-3보다 훨씬 더 사용자의 지시를 잘 따름 ( 즉, 모델 크기보다 인간 피드백을 통한 정렬이 더 중요함 )Introduction(1) LLM의 문제점Untruthful (비진실성), Toxic (유해성), Not helpful (무익함)이를 Misaligned 문제점이라 말함LLM은 인터넷 데이터를 기반으로 다음 토큰을 예측하도록 학습되어 있기 때문에, 사용자의 지시를 유용하고 안전하게 따르려는 실제 목표와 정렬되지 않아 원치 않은 행동을 보임그래서 해결책 → human feedback ..

1. HistoryRNN기반의 Sequence-to-sequence인코더-디코더 기반의 기계 번역 (시퀀트 투 시퀀스) 는 입력 문장이 길어짐에 따라 퍼포먼스가 떨어짐 (=long - term dependency)LSTM, GRU 등도 완전히 long - term dependency 해결 불가Attentional RNNAttention구조는 RNN의 long-term dependency 문제를 어느정도 해Self-attentionkey, value, query을 모두 같은 소스에 계산하는 경우 (저번에 배운거 !) 2. BACKGROUND Complexcity의 개선 -> 성능 개선 -> 도메인 확장후속연구로 많은 종류의 트렌스포머가 많이 나와 (아래와 같이 나눌 수 있음) Module levelAr..

1. GPT HistoryGPT-1Supervised learning (정답이 있는 데이터로부터 학습)Unsupervised learning (패턴을 찾아서 학습)label이 없는 큰 텍스트 데이터에 대해 언어 모델 학습 -> 모델이 언어의 일반적인 패턴을 배우도록 함 트랜스포머 구조를 사용 -> Task에 따라서 입력의 구조가 달라짐 training dataset -> BookCorpus Zero-shot으로 바로 적용할 수 있는 범용적인 모델을 만드는 것이 목표언어모델을 잘 학습하여 Fine-tuning을 하지 말자 일반화가 잘 된 모델을 학습하자 Zero-shot vs One-shot vs Few-shotZero-shot : 사전 학습된 모델이 단 하나의 예시도 보지 않고, 전혀 새로운 Task를 ..

1. Introduction 기계 번역 발전 과정 RNN 👉 LSTM 👉 Seq2Seq 👉 Attention 👉 Transformer 👉 GPT - 1 👉 Bert 👉 GPT - 3 Attention 등장 이후로 입력 시퀀스 전체에서 정보를 추출하는 방향으로 발전함 Seq2Seq의 문제점 병목 (blocklock)이 발생함 ( = context vector에 소스 문장의 정보 압축이 되기 때문, 따라서 매번 소스 문장에서 출력 전부를 입력으로 쓰는 아이디어를 Attention에서 활용 ) 2. Model Architecture 인코더(Encoder) N(=6)개의 동일한 레이어로 구성 각 레이어는 2개의 하위 레이어로 구성 ..

1. 인공신경망 (Artificial Neural Network ; ANN) 생물학적 뉴런(신경세포)를 모방한 뉴런 Input을 받고 Weight값에 따라 Output을 도출 피드포워드 (Feed-forword) : 정방향으로 가는 것, 다층 퍼셉트론 ( multi-layer perceptron; MLP ), 합성곱 신경망 (convolution network; CNN), 셀프 어텐션 ( self-attention ) 피드백 (Feed-back) : 디컨볼로션 신경망 (deconvolution network) 쌍방향 (bi-directional) : 중첩 오토인코더 (stacked auto-encoders), 깊은 볼츠만 머신 (deep boltzmann machine) 2. ..

1. Introduction- Bert 의 한계 개선 -> Bert 모델을 더 Robustly 하게 optimized 하겠다 더 긴 학습 시간, 더 큰 배치(batch), 더 많은 데이터 사용NSP 제거더 긴 시퀀스로 학습학습 데이터에 적용하는 dynamic masking 적용기존의 BERT는 data preprocessing과정에서 masking을 한번만 수행본 논문에서는 data을 10개 복제하여 각 sequence 40 epoch에 걸쳐 10가지 방법으로 masking되도록 처리.즉, 훈련 중 동일한 mask는 4번만 보게 되고, 더 많은 종류의 masking을 볼 수 있게 됨2. DataBookCorpus + Wikipedia(16GB) 사용CC-News- CommonCrawl News Data..

1. IntroductionTransformer decoder을 사용하여 autoregressive한 language modeling을 하는 GPT와 다르게Bert는 Transformer decoder을 이용하여 ELMo와 같이 Embedding을 수행하는 것을 목적으로 함왼쪽과 오른쪽 문맥을 동시에 고려하여 양방향 표현을 pre-training함 feature-based + fine-tuning Pre-training 과 Fine-tuning 두 단계로 나뉜다semi-supervised pre-training 단계에서는 2가지 task를 진행한다.Masked language modeling (MLM)Next sentence prediction (NSP) 2. Pre-training BERT (1..

안녕하세요 🙃 민쥬키티 입니다.제가 2주간 참여한 태블로 신병훈련소 25기 후기를 작성해볼려고 합니다 ! 1. 태블로 신병훈련소란태블로 회사인 Salesforce에서 주관하는 데이터 시각화 교육 프로그램 입니다. 2주동안 진행되고, 2주동안 태블로의 거의 모든 중요 기능들을 학습할 수 있는 부트캠프 같은 프로그램이예요 ! 저는 태블로시각화 동아리, 인턴쉽을 하면서 태블로를 익혔는데요. 그게 아니었더라면 직장을 병행하면서 하기 힘들었을 것 같아요 🥲왜냐면 난이도가 어렵다기 보단, 단기간에 익혀야 할 범위가 많습니다 !!     2. 학습 범위학습범위는 기초적인 차트 부터 시작해서 공간 차트, 태블로 프렙 등 데이터 전처리까지 배울 수 있었어요 실무에서 태블로를 사용하면서 느꼈던 것은 !!  사용하는 차..

안녕하세요 🙃 민쥬키티 입니다.2주라고 적고, 1주만에 벼락치기 성공한 Dasp 합격 후기 공유합니다 !  1. DAsP 자격증이란 ?https://www.dataq.or.kr/www/sub/a_02.do 데이터자격검정데이터자격검정, 빅데이터분석기사, DAP, DAsP, SQLP, SQLD, ADP, ADsPwww.dataq.or.kr - 한국데이터산업진흥원에서 주관하는, 데이터 아키텍처와 관련한 시험이예요- 데이터 4종 세트 자격증 ( Adsp, Sqld, Dasp, 빅데이터 분석기사 ) 중 한 시험으로, 4가지 시험 모두 도전해본 저에게 난이도가 가장 낮았어요  합격기준 - 전체 과목 점수 60점 이상 / 과목별 40점 이상 (과락기준) - 총 4개의 과목으로 구성되어 있고, 1과목 ~ 3과목은 1..