자비에 초기값 드롭아웃 배치 정규화 옵티마이저

자비에 초기값

뉴럴네트워크 초기값 따라 결과가 달라지기도, 해에 수렴하는 속도도 달라져,

이래서 초기값을 어떻게 할거냐 연구.

가중치의 분산을 일정수준 이하로 작게 만들면 더 빠른 수렴을 보인다는 연구결과에 의해 나타난 방법이 자비에 초기값이다. 

시그모이드 함수의 중간에 와야 유의미한 가중치가 되니깐 초기 가중치가 중요한데 그래서 

드롭아웃 

노드를 랜덤하게 몇개 무시하고 학습시켜, 

노드가 몇개 없어도 잘 학습되도록 

 

강건하게 만드는

강건하게 만든다라는것은 어떤 가중치가 너무 강해서 학습이 오래걸리거나 학습을 제대로 못한다.

그렇게 드롭아웃으로

노드를 골고루 영향주게 할라고 한느거지.

 

 

오버피팅을 피하려고

드롭아웃을 통해 특정 노드들이 오버피팅 될때 여러 개들이 다 오버피팅 그거 평균 내면 결국 레귤라이제이션돼

노드를 골고루 영향주게 할라고 한느거지.

 

배치 정규화 배치 노말라이제이션 

0~1사이로 만드는거, 

0을중심으로 골고루퍼져있어야 좋음 

너무 + - 치우치면 안돼 역전파 안돼.

히든레이어들도 노말라이제이션하게,

 

옵티마이저 

초기값 0이면 미분값 0 이라 그래디언트 배니슁 문제랑, 과적합이 돼 .

 

데이터에 오차가 있다는ㄱ것을 인정하고,

오차를 최소화하는것이 목적이지.

 

모멘텀이라는 옵티마이저

이전방향이 현재 방향에 영향을 줘 최대경사법보단 성능이 좋음.

 

네스테로프 모멘텀은 모멘텀의 변종

모멘텀 스텝을 밟고 액츄얼 스텝 쪽으로 좀더 가

 

adamoptimizer는 모멘텀 rms 합친거

rms는 이런건데 ㅇ

 

아ㅣ담이 잘쓰임