샤트의 빛나는 프로그래밍

sequence to sequence(시계열에서 시계열로): 한 시계열 데이터에서 다른 시계열 데이터로 변환 - 기계 번역, 챗봇, 메일의 자동 답신 등 다양하게 응용 가능 2. RNN을 사용한 문장 생성 순서 - "you say goodbye and I say hello." 를 학습한 모델 - 여기에 "I"를 입력하면? 아래와 같이 다음 출현할 단어의 확률분포 출력 다음 단어를 출력하기 위한 방법 2가지 1) 확률이 가장 높은 단어 선택 (결정적) >> 위에서는 "say"가 가장 높으므로 "say"가 출력. 2) 확률에 기반에 출력 (확률적) - 책에서는 이 방법 선택 >> 전체 확률분포를 이용해 샘플링한다. (물론 "say"의 확률이 가장 높으므로 "say"가 나올 확률이 높지만 다른 단어도샘플링될 ..

활성화값 분포가 적당히 퍼지면서 원활한 학습 - 각 층이 활성화를 적당히 퍼뜨리도록 '강제' 6.3.1 배치 정규화 알고리즘 - 학습을 빨리 진행할 수 있다 - 초기값에 크게 의존하지 않는다 - 오버피팅을 억제한다 *배치 정규화: 학습 시 미니배치 단위로 정규화. 데이터 분포가 평균이 0, 분산이 1. 위 식은 단순히 미니배치 입력 데이터 {x1, x2, ..., xm}을 평균0, 분산1인 데이터로 변환. 이를 활성화 함수 앞(또는 뒤)에 삽입 --> 데이터 분포가 덜 치우치게 만들 수 있다. *배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대와 이동변환을 수행 *신경망의 순전파에서 적용되는 계산 그래프(그림 6-17) 6.3.2 배치 정규화의 효과 - MNIST 데이터셋을 이용해 배치 정규화 계층..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. 경사 하강법을 배우다 보면 나오는 SGD! 기울기를 따라 손실함수의 값이 최소가 되는 곳을 찾는 과정인데 과연 SGD가 무엇인지 그리고 BGD는 무엇인지 알아봅시다. 여기서는 배치 크기 = 전체 데이터셋 크기 미니배치 = 학습을 진행할 때 전체 데이터셋을 얼마나 나눠서 진행할 것인지 단위(변수명은 batch_size) 아래 내용은 해당 출처에 나온 내용을 재구성했습니다. - www.kakaobrain.com/blog/113 ⭐SGD(stochastic gradient descent) & BGD(batch gradient descent) - 미니배치 크기에 따른 학습 시간 미니배치 크기가 커질수록 학습 시간 줄어든다. - 미니배치 크기에 따른 최적화 탐색 ..

- 배치 경사 하강법 - 매개변수 갱신 파이썬 코드 - 모멘텀 - AdaGrad - Adam - 가중치 초기값 설정 - Xavier 초기값 - He 초기값 ❗매개변수 갱신 ❓신경망 학습의 목적은? > 손실 함수의 값을 최소로 하는 매개변수 값을 찾는 것 >> 최적화(Optimization) ❗최적화하는 방법 중 하나? > 확률적 경사 하강법(SGD) >> 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 작업을 반복해 최적의 값을 찾았음 ❗기울기를 구하는 것과 모험가 이야기 > 가장 깊은 골짜기를 찾으려는 모험가는 지도와 시야가 없는 상황에서 지금 서 있는 장소에서 가장 크게 기울어진 방향으로 가는 전략을 세움 >> 이를 반복하다보면 언젠가 '깊은 곳'을 갈 수 있을 것입니다. >>> ..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. Abstract, Introduction, 핵심 내용을 제 언어로 정리해 봤습니다. 전체 내용은 추후 업데이트 예정입니다. 일시: 2021.05.29(토) 오늘 읽어볼 논문은 'Learning Spatio-Temporal Transformer for Visual Tracking'입니다. 논문 링크:https://arxiv.org/pdf/2103.17154v1.pdf Abstract(요약) 우리는 인코더-디코더 트랜스포머를 핵심 구성요소로 사용하는 새로운 추적 아키텍쳐를 소개한다. 디코더가 목표 객체의 공간적 위치를 예측하기 위해 쿼리 임베딩을 배우는 동안 인코더는 목표 객체와 탐색 영역 사이의 글로벌 시공간 특성값을 모델링한다. 우리의 방법은 어떠한 pr..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. Abstract, Introduction을 읽고 제 언어대로 해석해 적은 것입니다. 전체 내용은 추후 업데이트 예정입니다. 일시: 2021.05.25(화) 오늘 읽어볼 논문은 'Single Shot MultiBox Detector'입니다. 논문 링크: https://arxiv.org/pdf/1512.02325.pdf Abstract(요약) 여기서는 single deep 신경망을 이용해 객체를 탐지하는 방법을 소개한다. SSD라고 하는 이 방법은 bbox의 출력 공간을 feature map마다 각각 다른 종횡비와 비율을 적용한 default box와 이산화하는 방법이다. 예측할 때는 네트워크는 각각 default box의 객체 카테고리의 점수(정확도인듯)를..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. Abstract, Introduction을 읽고 제 언어대로 해석해 적은 것입니다. 전체 내용은 추후 업데이트 예정입니다. 일시: 2021.05.11(화) 오늘 읽어볼 논문은 'Rethinking Model Scaling for Convolutional Neural Networks'입니다. 논문 링크: arxiv.org/pdf/1905.11946.pdf Abstract(요약) 기존의 ConvNet들은 고정된 resource에 의해 개발되었다. 하지만 이러한 경우 성능(정확도) 개선에 한계를 느끼게 된다. 이 논문에서는 depth, width, resolution을 조절해 성능을 향상시킬 수 있다. 여기에서는 depth, width, resolution을 ..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. Abstract, Introduction을 읽고 제 언어대로 해석해 적은 것입니다. 전체 내용은 추후 업데이트 예정입니다. 일시: 2021.04.13(화) 오늘 읽어볼 논문은 'Deep Residual Learning for Image RecognitionDensely Connected Convolutional Networks'입니다. 논문 링크: arxiv.org/pdf/1608.06993.pdf Abstract(요약) 최근의 연구는 컨볼루션 네트워크가 입력에 가까운 계층과 출력에 가까운 계층 사이의 짧은 연결을 포함할 경우 훈련하기에 훨씬 더 깊고 정확하며 효율적일 수 있다는 것을 보여주었다. 본 논문에서는 이러한 관찰을 수용하고 각 계층을 피드포워드..