Deep Learning Specialization 강의/Improving Deep Neural Networks

Hyperparameter Tuning, Batch Normalication and Programming Frameworks (3주차) 정리

Tuning ProcessHyperparameter을 세팅하는 법. 즉 체계적으로 최적의 Hyperparameter를 찾아내는 법에 대해 알아보자.빨간색으로 표시한 alpha, 즉 learning rate이 제일 중요하다.그 다음에는 노란색으로 표시한 모멘텀 알고리즘에서 사용하는 beta, mini batch size, hidden unit의 개수정도가 중요하다.그리고 세번째로 중요한건 보라색으로 표시한 layer의 개수, learning rate decay가 중요할 것이다. 그 외에는 Adam 알고리즘에서 사용하는 것들인데, 이것들은 사실상 값이 고정되어있어서 큰 의미는 없다. (물론 정해진 답이 있는 문제는 아니다.) 그렇다면, 튜닝할 값의 집합을 어떻게 선택할까? 하이퍼 파라미터의 개수가 많지 않을..

Optimization Algorithms (2주차) 정리

*다음 내용은 Andrew ng의 Deep Learning Specialization 과정 중 일부 강좌를 정리한 강의 노트입니다.틀린 내용이 있다면 말씀해주세요. Mini-batch Gradient Descentmachine learning : 매우 empirical process이다. 즉 반복적인 작업이 많다. 따라서 빨리 모델을 훈련시키는 것이 중요하다.→ 난점: 딥러닝은 big data일 때 더 잘 작동하는데 big data일수록 훈련하는 데에 있어 시간이 많이 소요된다. Batch : 모델 학습 중 parameter를 업데이트할 때 사용할 데이터 개수일반적인 Batch는 훈련예제 전부를 한번에 train하는 것이다. 그런데 m이 500만인 경우, 한번 훈련시키는데 시간이 많이 걸리므로 훈련 예제..

Practical Aspects of Deep learning (1주차) 정리

*다음 내용은 Andrew ng의 Deep Learning Specialization 과정 중 일부 강좌를 정리한 강의 노트입니다. 틀린 내용이 있다면 말씀해주세요.  5개의 강좌중 두번째 강좌의 시작이다. 첫번째 강좌에서는 기본적으로 딥러닝을 구축하는 방법을 배웠다면. 이번 강좌에서는 구축한 딥러닝의 성능을 어떻게 끌어올릴 지에 대해 다룰 것이다. Train / Dev / Test sets 딥러닝 관련 경험이 풍부한 사람들 조차도, 한번의 시도만에 하이퍼 파라미터 (learning weight, layer의 개수, hidden unit의 개수, 활성화 함수 선택 등등..)를 정확하게 설정하는 것은 불가능에 가깝다. 따라서 실제로 머신러닝은 iterative process(반복적인 과정)이다. 따라서, ..