Summary of Reinforcement Learning

Summary of Reinforcement Learning

---

• 본 포스팅은 김성훈 교수님의 강화학습 강의내용을 정리한 PPT를 설명하는 글입니다. 따라서, 해당 강의를 이수하거나 이수하면서 본 글을 읽는 것을 추천합니다.
• 2018-08-25 기준이며, 해당 강의는 추후 변동 가능성이 있습니다.
• [ 참고 ]
  강의 : https://www.inflearn.com/course/reinforcement-learning/
  코드 : https://github.com/BaeMinCheon/study-open-ai (필자가 정리한 코드)

---

• 표지입니다.

• 목차입니다.
• 각 강의들을 유의미하게 나누었습니다.

• 제 1장 Overview 입니다.
• 본 장에서는 강화학습에 대해 간략하게 알아봅니다.

• Lecture 01 에 대한 정리입니다.
• 강화학습의 개념
  • 인공지능 객체, 즉 에이전트는 경험을 통해 학습합니다.
  • 경험은 환경과의 상호작용을 의미합니다.
• 강화학습의 구조
  • 에이전트의 행동은 상 또는 벌을 유발합니다.
• 강화학습의 사례
  • 구글 딥마인드의 아타리 게임 에이전트와 알파고 등이 존재합니다.

• Lecture 02 에 대한 정리입니다.
• Frozen Lake
  • 무슨 게임인지, 어떻게 플레이하는지 설명합니다.
• 강화학습을 위한 환경구성
  • 가능한 상태, 행동 그리고 보상 등을 결정합니다.
• OpenAI Gym
  • 강화학습을 진행하기 위한 환경을 제공하는 라이브러리에 대해 설명합니다.
  • 본 라이브러리를 어떻게 사용하는지도 설명합니다.
• 필수 요소 설치
  • 강의진행에 필요한 요소들을 설명합니다.
• 직접 키보드를 조작해 Frozen Lake 플레이
  • 강의에서의 코드는 윈도우즈와 호환되지않으므로, 윈도우즈의 경우 [ 참고 ]의 링크를 확인하세요.

• 제 2장 Classic Approach 입니다.
• 본 장에서는 고전적인 강화학습에 대해 알아봅니다.

• Lecture 03 에 대한 정리입니다.
• Q table 알고리듬
  • 각 상태에서 실행가능한 행동들에 값어치를 매기는 알고리듬입니다. 값어치들을 저장하는 테이블이 바로 Q table 입니다.
  • 이 값어치가 에이전트의 행동결정에 영향을 미치도록 할 수 있습니다.
• Q table 만들기
  • 에이전트가 환경과 상호작용하는 과정을 통해 값어치들을 형성합니다.
• 미래에 얻게 될 보상에 대한 계산
• 이 알고리듬을 이용해 Frozen Lake 플레이
• 한계점
  • 거리에 대한 고려가 없기 때문에, 본 알고리듬이 최적경로를 만들지않을 수도 있습니다.

• Lecture 04 에 대한 정리입니다.
• 에이전트가 특정경로만 유지하는 경향을 줄이기
  • 난수를 사용해 행동을 결정합니다.
• 거리에 대한 고려
  • 미래에 대한 보상을 계산할 때 값을 보정하는 방식으로 해결합니다.
  • 거리가 멀수록 영향력이 줄어들게 됩니다.
• 이전 코드에 본 알고리듬들을 적용

• Lecture 05 에 대한 정리입니다.
• Non-Deterministic 모형에서의 어려움
  • 지금까지의 게임은 Deterministic 모형이었습니다.
  • 이러한 변화는 Q table 을 무용지물로 만듭니다.
• 해결책
  • Q value 의 영향력을 줄입니다. ( 기존에는 오로지 Q value 만으로 결정을 내렸습니다 )
  • 다시 말해, 의존성을 줄이는 것입니다.
• 직접 키보드를 조작해 Non-Deterministic 모형의 Frozen Lake 플레이
  • 강의에서의 코드는 윈도우즈와 호환되지않으므로, 윈도우즈의 경우 [ 참고 ]의 링크를 확인하세요.

• 제 3장 Modern Approach 입니다.
• 본 장에서는 현대적인 강화학습에 대해 알아봅니다.

• Q table 의 한계점
  • 일반적인 게임들은 매우 큰 Q table 이 필요합니다.
  • 이는 메모리비용뿐만 아니라 계산비용까지 비싸다는 한계점으로 존재합니다.
• Q table 대신 A.N.N. 사용
  • 인공신경망을 사용하기 때문에, 이에 대한 배경지식이 있어야합니다.
  • 오류값을 PPT처럼 설정하고 최적화를 시도합니다.
• Q value 의 영향력을 줄이지는 않습니다
• Cart Pole
  • Cart Pole 이라는 게임에 대해 소개합니다.
  • 본 게임의 에이전트를 만드는 데에 A.N.N. 을 적용해봅니다.

• 제 4장 D.Q.N. 입니다.
• 본 장에서는 구글 딥마인드의 D.Q.N. 에 대해 알아봅니다.

• Cart Pole 에서의 문제점을 해결하는 방법 3가지
  • 인공신경망 확장하기
  • 데이텀이 아닌, 데이터로 학습유닛 만들기
  • 별도의 인공신경망 준비하기
• 인공신경망 확장
  • C.N.N. 으로 특징추출을 보완하고, R.N.N. 으로 시계열 문제를 해결할 수 있으므로 도움이 됩니다.
• 데이터로 학습유닛 제작
  • 데이터로 학습유닛을 만들어 연관성을 확보할 수 있고, 이로서 잘못된 학습을 방지할 수 있습니다.
• 학습을 위한 인공신경망 준비
  • 주기적으로 동기화하는 별도의 인공신경망을 활용해 학습을 효과적으로 수행합니다.

• 이상입니다. 감사합니다.