1부 1.3 왜 딥러닝일까? 왜 지금일까?

1부 딥러닝의 기초

1장 딥러닝이란 무엇인가?

---

1.3 왜 딥러닝일까? 왜 지금일까?

머신러닝을 이끈 3가지 기술

하드웨어

데이터셋과 벤치마크

알고리즘 향상

 

하드웨어

대용량 고속 병렬 칩인 GPU 등장

구글은 GPU를 넘어선 TPU(Tensor Processing Unit, 텐서 처리 장치) 프로젝트 공개

TPU는 GPU보다 10배 이상 빠르고 에너지 소비도 더 효율적

 

데이터

딥러닝의 필수 조건으로, 인터넷 시장이 발달하면서 더 많은 데이터를 얻기가  수월해짐.

ImageNet 데이터셋 등장

 

알고리즘

알고리즘 기술 향상 및 개발

• 신경망의 층에 더 잘 맞는 활성화 함수 (activation function)
• 층별 사전 훈련(pretraining)을 불필요하게 만든 가중치 초기화(weight initialization) 방법
• RMSProp과 Adam 같은 더 좋은 최적화 방법
• 배치 정규화 기술 개발
• 잔차 연결 기술 개발
• 깊이별 분리 합성곱 기술 개발

 

막대한 투자

 

딥러닝의 대중화

쉽게 연구할 수 있게 도와주는 Theano(씨아노), TensorFlow(텐서플로), Keras(케라스)의 개발

 

딥러닝이 주는 매력

단순함

• 딥러닝은 불안정한 많은 엔지니얼이 과정을 end-to-end로 훈련시킬 수 있는 모델로 바꿔줌.

 

확장성

• GPU 또는 TPU에서 쉽게 병렬화할 수 있어 무어의 법칙 혜택(무어의 법칙은 반도체 집적회로의 성능이 24개월마다 2배로 증가한다는 법칙)을 크게 볼 수 있음.
• 작은 배치 데이터에서 반복적으로 훈련되기 때문에 어떤 크기의 데이터셋에서도 훈련될 수 있음.

 

다용도와 재사용성

• 이전의 모델들과 다르게 처음부터 다시 시작하지 않고 추가되는 데이터로도 훈련할 수 있음.
• 연속적인 온라인 학습이 가능
• 훈련된 딥러닝 모델은 기존 용도와 다른 용도로도 쓰일 수 있어 재사용이 가능
• 아주 작은 데이터셋에도 딥러닝 모델을 적용할 수 있음.

계속해서 등장하는 새로운 사례와 향상된 기술