[ 인공지능 개발 ] 오목 인공지능 학습 및 강화학습 기록 - 1

오목 AI 학습 배경

오목 게임을 인공지능으로 학습함으로써 인공지능 학습의 원리를 익히고 다양한 방면으로 활용할 수 있는 강화학습 기법을 익히는 것이 해당 프로젝트의 주요 목표입니다.

신경망 구조

신경망 구조는 CONV2D -> 1D Array -> 1D Array -> Reshape 로 구현되며, 이외 다양한 방법을 이용하였으나, 아직 미흡한 실력으로 인해 신경망의 구조가 결과에 큰 영향을 미치는지는 확인할 수 없었습니다.

오목 서버의 구축

오목 서버는 요청한 클라이언트의 데이터에 따라 오목을 착수하고 설정하는 서버를 의미합니다. 현재 메모리 상에 착수된 오목을 그래픽으로 표시 해 주며, 순서를 관리하는 메인 서버입니다. 인공지능의 예측을 수행할 대 오목 서버를 중계하여 사용자와 연결 짓습니다. 내부 그래픽 처리, 네트워크 처리, 분산 처리가 내장되어 있습니다. 관리자 패널에서는 사용자의 오목을 직접 착수하거나 제거할 수 있습니다.

오목 판정 서비스 서버

오목 분산 처리 서버

오목 판정 서비스 서버는 대량의 오목 게임 (약 1000개의 오목판)을 한번에 로드하여 분산 판독을 수행하는 서버입니다. 인공지능이 수행되는 파이썬에서 1000개의 오목 게임들을 한번에 판정 처리를 하기 위해 대량의 반복문을 사용하는데 성능 저하가 심하게 유발되는 점을 고려, 또한 파이썬에서 멀티 쓰레딩에서는 성능 개선이 불가하다는 사실을 고려하여 Java서버 단에서 모든 오목판을 바이트 배열로 송신받아 일괄 처리를 함과 동시에 분산 쓰레딩 처리를 수행합니다.

한편 파이썬 Numpy 의 데이터를 to_bytes()로 바이트로 export하여 자바에서 읽고, 바이트 스트림으로 읽어 자바의 바이트 배열로 변경합니다.

학습

학습 및 인공 지능 처리 부분

전반적인 인공지능 처리는 Tensorflow 라이브러리 내 Keras을 활용 하였습니다. 아직 학습 코드는 완벽하지 않고 불안정한 부분, 또한 학습의 보상 점수가 제대로 지정되지 않았다는 사실을 고려하여 제대로 첨부하지는 않습니다. 이 부분은 차차 개선이 되면 그 원인과 해결 방안에 대해서 기록하도록 하겠습니다.

학습 모습

학습은 개인용 인공지능 서버를 통해서 3일 동안 학습 시켜보았으나, 보상 점수가 제대로 구성되지 않아서인지 영 엉뚱한 방향으로 학습이 되는 것 같았습니다. 이러한 부분을 개선하는 방법에 대해서 추후 기록하겠습니다.