OpenAI Gym

人工知能の強化学習フレームワークであるOpenAI Gym。あらかじめシミュレーションする世界(環境)が用意されているため、アルゴリズム部分に集中してコーディングできます。この環境はレトロゲームなど多数あり、楽しく学べます。

https://gym.openai.com/

以下、CarPoleという棒が倒れないように制御するモデルを試したときのメモです。
(昔、リアルのものをファジー理論のデモとかでみたような記憶が・・)
まず、環境に対してアクションを起こし、それの状態を表示するテストを対話的にやってみました。

    環境: python 3.6.10 / Anaonda 4.8.3 / macOS High Sierra 10.13.6
    参考書籍: 「OpenAI Gym/Baselines」(布留川英一 著)
    参考サイト: https://qiita.com/ishizakiiii/items/75bc2176a1e0b65bdd16

上記操作をすると、下記のような状態に変化します。
actionはそれぞれのモデルで決まっており、このケースでは0は左、1は右に台車を移動させます。

    o:observation 観測
    r:reward 報酬
    d:done エピソード終了フラグ
    i:infomation 詳細情報

次に公式のgithubにあるサンプルを動かしてみました。
https://github.com/openai/gym/blob/master/examples/agents/cem.py

$ python cem.py
INFO: Making new env: CartPole-v0
INFO: Creating monitor directory /tmp/cem-agent-results
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000000.mp4
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000001.mp4
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000008.mp4
Iteration 0. Episode mean reward: 25.640
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000027.mp4
Iteration 1. Episode mean reward: 86.040
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000064.mp4
Iteration 2. Episode mean reward: 171.120
Iteration 3. Episode mean reward: 196.080
Iteration 4. Episode mean reward: 198.480
INFO: Starting new video recorder writing to /tmp/cem-agent-results/openaigym.video.0.643.video000125.mp4

このサンプルは動画を出力してくれたので、これを添付します。(わかりやすい!)

最後に、書籍を参考にフレームワークの基本になる部分を実装してみました。

(上記サイトのobservationは書籍ではstateになっています。)
当然ですが、学習の回数が多いと倒れにくくなります。このあたりを回数を変えてシミレーションしてみると面白いです。基本的に見栄えは上記動画と同じです。モデルの生成には時間がかかりますので、2回目以降は再利用します。
ログによって強化学習ができているかどうか監視することができます。
csvファイルで出力されたログをExcelでプロットしてみました。

これは下記、ep_len_meanまたはep_reward_meanに相当します。

まだまだたくさんの環境があり、一通り見るだけでも大変です。以下は環境の一覧をみるコードです。

アルゴリズムやモデルがプリセットされており、分析に力点が置かれているフレームワークという印象を受けます。このようにどんなモデルであってもインターフェイスが共通化されていると、いろいろと効率的にできそうです。
かなり荒い説明になっていますので、ぜひ書籍をご覧ください。

以上、このフレームワークの入り口に立つ意味で、書いてみました。
(このブログを始めた当初はPythonのAIネタは多かったのですが・・久しぶりになりました。)

Natural Language Tooklit

Support Vector Machine

Multi Layer Perceptron

TensorFlow

About

Categories: 未分類 タグ: