백과

항목

• 역전파 Backpropagation, バックプロパゲーション

  기계 학습 역전파(逆傳播), 오차 역전파법 또는 오류 역전파 알고리즘은 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미한다. 기계 학습에서 사용되는 학습 구조로 다층 퍼셉트론이 있다. 일반적인 다층 퍼셉트론의 형태는 입력층 - 은닉층 - 은닉층 - ... - 출력층으로 구성되며, 각 층은 서로 교차되는 가중치 값...

  도서 위키백과
• 
  데이터 융합, 인공 신경망 ANN, 人工神經網

  1970년대 군집 분석을 위한 자기 조직화 지도 등의 모델이 연구되며 그 명맥을 이었고, 1986년 다층 퍼셉트론(multi-layer perceptron)의 지도 학습을 위한 역전파 알고리즘(backpropagation algorithm)이 재발견되며, 다시 활성화되었다. 2010년대에는 컴퓨터 하드웨어 및 학습 알고리즘의 발달로 수십 개의 은닉층이...

  도서 용어로 알아보는 우리시대 DATA | 태그 컴퓨터/정보통신
• 뉴로컴퓨터 neurocomputer

  구조를 이루고 있는데, 이 네트워크에서 동시에 병렬로 정보를 주고 받음으로써 정보를 처리한다. 구체적인 처리방식으로 세분해보면, 현 수준에서 오차역전파(誤差逆傳播 back propagation) 모형, 흡필드 모형, 볼츠만머신 등이 제안되어 있다. 1940년대의 생리학 분야에서 뉴런에 대한 이해가 증대되면서, 1950년대말...

  도서 다음백과 | 태그 컴퓨터/정보통신
• 
  데이터 융합, 인공지능 AI, 人工知能

  쇠퇴 그리고 새로운 모델 및 이론의 개발 등이 반복되었다. 1970~80년대에는 전문가 시스템(expert system)에 대한 연구가 활발하였다. 1980년대 중반에 역전파 알고리즘(backpropagation algorithm)의 재발견 이후 인공 신경망(ANN : Artificial Neural Network) 모델에 대한 연구가 활발해졌다. 1990년대의 인공지능...

  참고 :

  인공지능이라는 용어는 1956년 미국 다트머스 대학(Dartmouth College)에서 열린 워크숍 제안서에서 존 매카시(John McCarthy)가 처음 공식적으로 사용하였다.

  도서 용어로 알아보는 우리시대 DATA | 태그 컴퓨터/정보통신
• 
  인공 지능 AI, 人工知能

  쇠퇴 그리고 새로운 모델 및 이론의 개발 등이 반복되었다. 1970~80년대에는 전문가 시스템(expert system)에 대한 연구가 활발하였다. 1980년대 중반에 역전파 알고리즘(backpropagation algorithm)의 재발견 이후 인공 신경망(ANN: Artificial Neural Network) 모델에 대한 연구가 활발해졌다. 1990년대의 인공지능...

  도서 TTA정보통신용어사전 | 태그 컴퓨터/정보통신
• 순방향 신경망 Feedforward neural network, 前馈神经网络

  네트워크는 다층의 연산 유닛으로 구성되며 일반적으로 피드 전방 방향으로 상호 연결된다. 한 층의 각 뉴런은 연이어 이어지는 층의 뉴런에 대한 방향이 있는 연결이 있다. 합성곱 신경망 역전파 Feedforward neural networks tutorial Feedforward Neural Network: Example Feedforward Neural Networks: An Introduction

  도서 위키백과
• 다층 퍼셉트론 Multilayer perceptron, 多層パーセプトロン

  된다. 1980년대에 MLP는 아주 유명한 머신러닝의 해결책이 되어 음성 인식, 이미지 인식, 기계 번역 등 다양한 분야에 그 활용처를 찾았다. 그러나 이후 훨씬 간단한 해결책인 서포트 벡터 머신과 강하게 경쟁하게 되었다. 딥 러닝이 성공을 거두면서 역전파 네트워크에 대한 관심이 다시 돌아오기도 했다. 토막글

  도서 위키백과
• 기울기 소멸 문제 Vanishing gradient problem, 勾配消失問題

  너무 작아져 가중치를 변경할 수 없게 되는 현상이다. 층을 건너뛴 연결을 하는 ResNet, 배치 정규화(batch normalization) 등의 해법이 나왔다. 오차 역전파를 통해 연구자들은 지도 심층 인공신경망을 처음부터 훈련할 수 있게 되었으나, 초기에는 거의 성공을 거두지 못했다. 셉 호하이터(Sepp Hochreiter)는 이런...

  도서 위키백과
• 델타 규칙 Delta rule

  그리고 x_i \,는 i \,번째 입력값이다. 이것은 다음 식을 만족한다. h_j=\sum x_i w_{ji} \, and y_j=g(h_j) \,. 델타 규칙은 다음과 같은 선형 활성함수를 가진 간단한 형태의 퍼셉트론에서 주로 언급된다. \Delta w_{ji}=\alpha(t_j-y_j) x_i \, 확률적 경사 하강법 역전파 레스콜라-와그너 모델 위키데이터 속성 추적

  도서 위키백과
• 익스트림 러닝 머신 Extreme learning machine, エクストリーム・ラーニン..

  레이어)로 구성된 다중 레이어 퍼셉트론을 도입한 프랑크 로젠블랫로 거슬러 올라간다. 일부 연구자에 따르면 이러한 모델은 우수한 일반화 성능을 생성하고 역전파를 사용하여 훈련된 네트워크보다 수천 배 빠르게 학습할 수 있다. 문헌에서는 이러한 모델이 분류 및 회귀 애플리케이션 모두에서 서포트 벡터 머신보다...

  도서 위키백과
• 학습률 Learning rate, 学习率

  훈련 중에 변경되는 경우가 많다. 학습률과 그에 대한 조정도 매개변수마다 다를 수 있으며, 이 경우 뉴턴 방법의 헤세 행렬의 역행렬에 대한 근사치로 해석할 수 있는 대각 행렬이다. 학습률은 준뉴턴 방법 및 관련 최적화 알고리즘의 부정확한 선 검색에 의해 결정된 스텝 길이와 관련된다. 과적합 역전파 모형 선택

  도서 위키백과
• 파인 튜닝 Fine-tuning (deep learning), ファインチューニング (機械..

  파인 튜닝은 전체 신경망에서 수행될 수도 있고 해당 레이어의 하위 집합에서만 수행될 수도 있다. 이 경우 파인 튜닝되지 않은 레이어는 "동결"된다(역전파 단계에서 업데이트되지 않음). 모델은 원래 모델보다 훨씬 적은 매개변수로 구성된 "어댑터"로 보강될 수도 있으며, 어댑터의 가중치를 조정하고 모델의 나머지...

  도서 위키백과