Go Gradually - Repository

[밑바닥부터 시작하는 딥러닝] 자연어와 단어의 분산 표현

본 내용은 밑바닥부터 시작하는 딥러닝 2 도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 2 - 예스24직접 구현하면서 배우는 본격 딥러닝 입문서 이번에는 순환 신경망과 자연어 처리다! 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데www.yes24.com 우리는 이번 장부터 RNN의 세계를 향해 밑바닥부터 차근차근 나아가 볼 것이다.이번 장에서는 그 첫 번째, 컴퓨터에게 우리가 사용하는 단어를 이해시키기 위한 방법을 이해해보자.자연어 처리란?우리가 평소에 쓰는 말을 "자연어" 라고 한다.그러므로 NLP(Natural Language Processing)란, '자연어를 처리하는 분야'이고, 알기 쉽게 풀어보면 '우리의 말을 컴퓨터에게 ..

[밑바닥부터 시작하는 딥러닝] 학습 관련 기술들

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 매개변수 갱신모험가 이야기어떠한 모험가가 지도와 눈을 가리고 산을 오른다고 상상해보자.모험가는 어떻게 길을 찾을까?발의 감각을 느끼며, 기울기가 산 정상을 향하는 방향을 찾을 것이다.참고) 해당 지점이 진짜 정상이 아니라 작은 언덕일수도 있다.확률적 경사 하강법(SGD)시작하기 전, SGD를 복습해보자.경사 하강법의 매개변수 갱신 기법은 SGD만 있는게 아니다.그러므로 이 SGD를 모듈화하여..

사실 이번 장에서는 밑바닥부터 시작하는 딥러닝 1의 경우 계산 그래프를 이용해 설명을 진행한다.해당 방식의 경우 그래프 개념으로 이해하기 쉽게 설명되어 있지만, 기계적인 암기 방법이라 시간복잡도 개선에 대한 인사이트를 얻긴 쉽지 않았다.따라서 이번 장의 내용은 책의 내용이 아닌 수식으로 정리한 방식으로 설명을 진행한다.계산 그래프와 시각 자료를 이용한 설명이 필요하시다면, 해당 책을 구입하셔서 보시는 것을 추천드립니다. 책 내용도 좋습니다.기존 방식먼저 들어가기 전에, 기존 방식의 문제점을 파악해보자.식 정리모델이 갖고 있는 가중치의 집합을 θ라 하자.아래를 "특정 y에 대한 손실 함수"라고 하자.전체 우리가 최소화하고자 하는 전체 손실 함수(Cost function)은 다음과 같이 표현될 것이다.수식에..

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 본 글은 선형 회귀와 로지스틱 회귀를 배경 지식으로 작성되었습니다.만약 읽다가 이해가 되지 않는 부분이 있다면, 해당 글들을 읽어 주시기 바랍니다.이전 장에서 우리는 신경망을 이용한 "추론"을 학습했다.하지만 여전히, 2장에서 해결하지 못한 "학습"의 영역은 해결하지 못했고, 가중치를 우리가 직접 설정해주고 추론을 수행했다.이번 장에서는 학습의 핵심 키인 "손실함수"와 최적의 손실 함수를 탐..

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 우리는 지난 시간, 퍼셉트론을 이용해 비선형의 영역까지 문제를 해결하는 성과를 이룰 수 있었다!하지만, 여전히 가중치를 설정하는 작업은 여전히 우리가 수동으로 해야만 했다.학습 과정도 스스로 학습할 수 있도록 할 수 있는 방법이 없을까? 신경망이 이 문제에 대한 해결의 실마리를 제공해준다.가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력은 신경망의 중요한 성질이다.퍼셉트론에서..

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 퍼셉트론은 1957년에 고안된 알고리즘으로, 신경망의 기원이 되는 알고리즘이다.퍼셉트론의 구조 학습은 신경망과 딥러닝으로 나아가는 데 중요한 아이디어를 제공한다.퍼셉트론으로 가벼운 문제를 풀어보며 딥러닝의 기초를 다져보자.퍼셉트론이란?퍼셉트론(Perceptron)은 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 개체를 의미한다. 다만, 퍼셉트론에서 이야기하는 "신호"는 0과 1만 가능..

본 내용은 “개발자를 위한 필수 수학” 도서를 참고하여 작성되었습니다. 개발자를 위한 필수 수학 - 예스24개발자를 구원하는 실용 수학 안내서기초 수학부터 회귀 모델, 신경망 그리고 진로 조언까지 데이터 과학, 머신러닝, 통계학에서 탁월한 능력을 발휘하는 데 필요한 수학을 이해하고 여러분의www.yes24.com 시작하기 전에 - 오해 풀기로지스틱 회귀는 회귀 알고리즘이 아닌 분류 알고리즘이다.회귀임의의 실숫값을 예측하는 것분류범주 중 하나를 예측하는 것분류 알고리즘의 핵심은 결과를 분류 확률로 변환하는 것이다.임곗값을 이용해 이산형 값으로 변경도 가능하다.그럼 지금부터 분류 알고리즘인 로지스틱 회귀에 대해 알아보자.특징로지스틱 회귀는 구현하기 쉽고 이상치와 기타 데이터 문제에 상당히 탄력적이다.로지스..

본 내용은 “개발자를 위한 필수 수학” 도서를 참고하여 작성되었습니다. 개발자를 위한 필수 수학 - 예스24개발자를 구원하는 실용 수학 안내서기초 수학부터 회귀 모델, 신경망 그리고 진로 조언까지 데이터 과학, 머신러닝, 통계학에서 탁월한 능력을 발휘하는 데 필요한 수학을 이해하고 여러분의www.yes24.com 머신러닝의 분류머신러닝은 크게 분류하면 다음과 같이 정리할 수 있다.지도 학습정해진 목표가 존재하는 레이블을 보고 학습하는 계열의 학습을 의미한다.주로 회귀 작업, 분류 작업을 지도 학습으로 만들어낸다.비지도/준지도 학습정답/정해진 목표가 없는 데이터로부터 숨겨진 구조/분포/표현을 스스로 찾아내는 학습 방식이다.주로 군집화(clustering), 이상치 탐지(anomaly detection)에 ..

본 내용은 “개발자를 위한 필수 수학” 도서를 참고하여 작성되었습니다. 개발자를 위한 필수 수학 - 예스24개발자를 구원하는 실용 수학 안내서기초 수학부터 회귀 모델, 신경망 그리고 진로 조언까지 데이터 과학, 머신러닝, 통계학에서 탁월한 능력을 발휘하는 데 필요한 수학을 이해하고 여러분의www.yes24.com시작하기 전, 다시 설명하는 "추론 통계"란?표본을 기반으로 더 큰 모집단에 대한 속성을 발견하는 것추론 통계는 분석하는 사람의 영향력이 매우 강하기 때문에, 잘못된 분석을 항상 경계해야 한다.중심 극한 정리균등 분포로 0과 1사이의 값들을 채취하고 평균을 구한다고 가정하자.해당 평균의 분포를 1000개의 값들을 통해 그려보면, 정규분포가 등장한다.모집단에서 충분히 많은 표본을 채취해 각각의 평균..

본 내용은 “개발자를 위한 필수 수학” 도서를 참고하여 작성되었습니다. 개발자를 위한 필수 수학 - 예스24개발자를 구원하는 실용 수학 안내서기초 수학부터 회귀 모델, 신경망 그리고 진로 조언까지 데이터 과학, 머신러닝, 통계학에서 탁월한 능력을 발휘하는 데 필요한 수학을 이해하고 여러분의www.yes24.com 데이터를 바라보는 방법통계에 대한 학습을 시작하기 전에, 데이터는 언제나 편향될 수 있음을 인지하고, 다음 네가지를 반드시 파악해야 한다.데이터가 뭘 나타내는지데이터가 어떻게 생성되었는지데이터를 누가 생성했는지데이터가 포착하지 못하는 것은 무엇인지기술 통계와 추론 통계통계에는 크게 두가지 종류가 있다.기술통계추론통계기술통계란?기술통계란, 주어진 데이터를 요약하는 것으로, ****데이터를 설명하기..