はじめに

以下のように複数のモデル(手検出モデルと指先検出モデル)を１つのプログラムで実行しようとした時にGPUメモリで躓いたためメモ。
以下のプログラムでは手検出で１つ、指先検出で１つの計２つのモデルを利用しています。

複数モデル(手検出、指検出)を実行するプログラムを少々書き直し中。。。? pic.twitter.com/tx1fH3Ygkr

— 高橋かずひと@リベロ拝命? (@KzhtTkhs) August 20, 2019

躓いたポイント

1つ目のモデルを読み込んだ後、2つ目のモデルを動作させようとするとGPUメモリ不足でプログラムが異常終了する。

原因

TensorFlowはデフォルト設定では、GPUのメモリのほぼ全てを使用して、メモリの断片化を軽減するようにしているようです。
1つ目のモデルの時点でメモリをほぼ全て使い切ったため、2つ目のモデルは動かせなかった模様。

対処

Allowing GPU memory growthオプションを利用し、必要なメモリだけ確保するようにする。
※ただし、プログラム途中でGPUメモリ解放等はしないように注意が必要とのこと

ソースコード

以下のような指定をする。

    config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))
    sess = tf.Session(graph=net_graph, config=config)

ソースコード全体のイメージ ※イメージです

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import time
import copy
import cv2 as cv
import tensorflow as tf
import numpy as np


def session_run(sess, inp):
    out = sess.run([
        sess.graph.get_tensor_by_name('num_detections:0'),
        sess.graph.get_tensor_by_name('detection_scores:0'),
        sess.graph.get_tensor_by_name('detection_boxes:0'),
        sess.graph.get_tensor_by_name('detection_classes:0')
    ],
    feed_dict={
        'image_tensor:0':
        inp.reshape(1, inp.shape[0], inp.shape[1], 3)
    })
    return out


def main():
    print("Hand Detection Start...\n")

    # カメラ準備 ##############################################################
    cap = cv.VideoCapture(0)
    cap.set(cv.CAP_PROP_FRAME_WIDTH, 1280)
    cap.set(cv.CAP_PROP_FRAME_HEIGHT, 720)

    # GPUメモリを必要な分だけ確保するよう設定
    config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))

    # 手検出モデルロード ######################################################
    with tf.Graph().as_default() as net1_graph:
        graph_data = tf.gfile.FastGFile('frozen_inference_graph1.pb',
                                        'rb').read()
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(graph_data)
        tf.import_graph_def(graph_def, name='')

    sess1 = tf.Session(graph=net1_graph, config=config)
    sess1.graph.as_default()

    # 指先検出モデルロード ######################################################
    with tf.Graph().as_default() as net2_graph:
        graph_data = tf.gfile.FastGFile('frozen_inference_graph2.pb',
                                        'rb').read()
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(graph_data)
        tf.import_graph_def(graph_def, name='')

    sess2 = tf.Session(graph=net2_graph, config=config)
    sess2.graph.as_default()

    while True:
        start_time = time.time()

        # カメラキャプチャ ####################################################
        ret, frame = cap.read()
        if not ret:
            continue
        debug_image = copy.deepcopy(frame)

        # 手検出実施 ##########################################################
        inp = cv.resize(frame, (512, 512))
        inp = inp[:, :, [2, 1, 0]]  # BGR2RGB

        out = session_run(sess1, inp)

        rows = frame.shape[0]
        cols = frame.shape[1]

        num_detections = int(out[0][0])
        for i in range(num_detections):
            class_id = int(out[3][0][i])
            score = float(out[1][0][i])
            bbox = [float(v) for v in out[2][0][i]]

            if score < 0.8:
                continue

            x = int(bbox[1] * cols)
            y = int(bbox[0] * rows)
            right = int(bbox[3] * cols)
            bottom = int(bbox[2] * rows)

            # 指先検出実施 ####################################################
            if class_id == 3:
                trimming_image = debug_image[y:bottom, x:right]
                inp = cv.resize(trimming_image, (300, 300))
                inp = inp[:, :, [2, 1, 0]]  # BGR2RGB

                f_rows = trimming_image.shape[0]
                f_cols = trimming_image.shape[1]

                out = session_run(sess2, inp)

                f_num_detections = int(out[0][0])
                for i in range(f_num_detections):
                    f_score = float(out[1][0][i])
                    f_bbox = [float(v) for v in out[2][0][i]]

                    f_x = int(f_bbox[1] * f_cols)
                    f_y = int(f_bbox[0] * f_rows)
                    f_right = int(f_bbox[3] * f_cols)
                    f_bottom = int(f_bbox[2] * f_rows)

                    if f_score < 0.4:
                        continue

                    # 指検出結果可視化 ########################################
                    cv.rectangle(
                        trimming_image, (f_x, f_y), (f_right, f_bottom),
                        (0, 255, 0),
                        thickness=2)

            # 手検出結果可視化 ################################################
            cv.rectangle(
                debug_image, (x, y), (right, bottom), (0, 255, 0), thickness=2)

        # 処理時間描画 ########################################################
        elapsed_time = time.time() - start_time
        time_string = u"elapsed time:" + '{:.3g}'.format(elapsed_time)
        cv.putText(debug_image, time_string, (10, 50), cv.FONT_HERSHEY_COMPLEX,
                   1.0, (0, 255, 0))

        # 画面反映 ############################################################
        cv.imshow(' ', debug_image)
        cv.moveWindow(' ', 100, 100)

        key = cv.waitKey(1)
        if key == 27:  # ESC
            break


if __name__ == '__main__':
    main()

以上。

python selenium の WebDriver でブラウザテストを作成しているときにWebElement 内部 の検索にfind_element_by_xpath を使った際につまずきましたのでまとめます。

つまずき1：要素内部についての find_element_by_xpath() 検索のはずなのに、別の要素の値が取れてしまう

browserTest.py

from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.chrome.webdriver import WebDriver

def printUserEmails(driver:WebDriver)->None:
    UserTables = driver.find_elements_by_xpath('//table[start-with(@name, "user")]')
    if len(UserTables) == 0:
        print('Userが表示されていません。')
        return
    for UserTable in UserTables:
        emailElement = UserTable.find_element_by_xpath('//input[@type="text" and @name="email"]')
        print(emailElement.get_attribute('value'))

結果.txt

user1@aaa.bbb
user1@aaa.bbb
user1@aaa.bbb
user1@aaa.bbb
.
.

■状況
「一度 find_elements_by_xpath()　でとった WebElement の List について for ループを回しているにも関わらず一番最初の要素の同一の値が取れてしまう」という現象につまずきました。

■原因：XPath の文字列の最初の「//」が「HTML内の全要素」という意味のため再検索していた

xpath「//」←「HTML内の全要素」から検索するの意味
（こちらの記事に詳細に記載して頂いておりましたので参考にさせて頂きました。
https://www.techscore.com/tech/XML/XPath/XPath3/xpath03.html/#xpath3-2
）

element.find_element_by_xpath('//tag名') #  →　Rootから検索するので同じデータが取得されてしまう
element.find_element_by_xpath('tag名') # →　対象要素から検索できる

■対応：xpath の文字列 から最初の「//」を消す

browserTest.py

#ーー中略ーー
    for UserTable in UserTables:
        emailElement = UserTable.find_element_by_xpath('input[@type="text" and @name="email"]')
        print(emailElement.get_attribute('value'))

これでルートHTMLから検索されることはなくなりました。

つまずき2：要素からEmailが見つからなくなってしまった。

上記の対応で、「//」を消して、root からの検索をしないようにしたのですが、今まで取得できていた、検索がかからなくなり失敗するようになってしまいました。

■原因：「//」が特殊で、通常XPathは全パスを指定しないといけないため。

通常XPath はHTML からの全要素を指定して記述することで、DOMを解析し要素を特定するようで（「//」が特殊で全要素を読み込むという意味）
User の table タグ直下に input が存在しないため、検索に失敗しまいました。

element.find_element_by_xpath('tag名') 
# →　対象要素直下に検索対象のtagがないと検索失敗となる。

■対応：子要素　の 内部 全検索は「.//検索条件」

element.find_element_by_xpath('.//tag名') 
# →　対象要素直下に検索対象のタグがあれば取得する

要素.find_element_by_xpath('.//検索条件') で記述するようにすることで、current node からの検索として、全検索できるようでした。
https://stackoverflow.com/questions/21578839/how-to-find-the-element-within-element-in-selenium

browserTest.py

from selenium.webdriver.remote.webelement import WebElement
from selenium.webdriver.chrome.webdriver import WebDriver

def printUserEmails(driver:WebDriver)->None:
    UserTables = driver.find_elements_by_xpath('//table[start-with(@name, "user")]')
    if len(UserTables) == 0:
        print('Userが表示されていません。')
        return
    for UserTable in UserTables:
        emailElement = UserTable.find_element_by_xpath('.//input[@type="text" and @name="email"]')
        print(emailElement.get_attribute('value'))

結果.txt

user1@aaa.bbb
userDummy@aaa.bbb
aaa@aasdfaa.bbb
e1@aaa.bbb
.
.

以上です。

Pythonって何?　

Python = 汎用プログラミング言語¹、スクリプト言語²、Google三大言語³の一柱
- AI、ML(機械学習)、DL(深層学習)に特に向いている(ライブラリが揃っている)
- 本格的なWebサービスが作れる
- ライブラリが豊富
- 可読性に優れている
- コードの書き方が個人に依存しない

こんなところにPythonが!!

PythonはGoogleが使用する主要言語になっているように、さまざまなWebサービス/アプリケーションに用いられています。
事例(私が使っている範疇のもので)

• Anki
• シヴィライゼーション4
• World of Tanks
• Instagram
• Pinterest
• Google App Engine
• Pepper

特に科学関連のライブラリが豊富

数学ライブラリとして　Matplotlib, Numpy, SymPy, Sage
科学ライブラリとして　Scipy, scikit-learn, Mlpy
などがある。

---

1. 特定の用途に向けて作られた言語ではなく、何でもできる言語 ↩

2. 簡易な記述ができるプログラミング言語、その分実行速度はコンパイル言語に比べると遅くなる ↩

3. Google三大言語の残りの2つはC++とJava ↩

前回の記事

SEIYU風のECサイトを作りましょう（1）要求分析とプロジェクト初期化

Xadminとは何か

GitHub上に公開されてるDjangoの管理画面の上位互換パッケージ。

管理画面本来の機能を拡張し、見た目も良くします。

前回の記事で完成した管理画面を、Xadmin使用してリメイクすれば、以下のようになります。

また、スタイルの切り替えも可能ですし、データのexcel出力などもデフォルト機能としてはいってます。

では、早速作っていきます。

Xadminダウンロード

githubのリポジトリはこちらになります。xadmin

• ブランチはdjango2を選んでダウンロードしてください
• あるいは本記事のリポジトリextra_appsからxadminを抜いて使ってください

本記事のリポジトリから抜いて使うことがオススメです

注意事項
pip install xadminは絶対しないことです、古いバージョンのxadminをおとすことで、パッケージ依存がややこしいことになります。

依存パッケージインストール

以下コマンドを実行し、xadminに必要なパッケージをインストールします。

公式参考リンク

pip install django-crispy-forms
pip install django-import-export
pip install django-reversion
pip install django-formtools
pip install future
pip install httplib2
pip install six

ファイル配置

appsと同じディレクトリで、extra_appsという名のフォルダを作ります。
extra_apps配下にダウンロードしたxadminを置きます。
完成後のディレクトリ構成は以下になります。

qiita-Django-supermarket
|-- requirements.txt
|-- README.md
|-- LICENSE
|-- CHANGELOG.md
|-- api
|-- |--api
|-- |-- |-- __init__.py
|-- |-- |-- settings.py
|-- |-- |-- urls.py
|-- |-- |-- wsgi.py
|-- |--apps
|-- |-- |-- goods
|-- |-- |-- users
|-- |--extra_apps
|-- |-- |-- xadmin
|-- |--manage.py

その後settings.pyに以下の内容を追加します。

settings.py

...
sys.path.insert(0, os.path.join(BASE_DIR, 'extra_apps'))
...

INSTALLED_APPS = [
    ...
    'crispy_forms',
    'xadmin',
]

その後extra_appsをappsと同じようにsouruces Rootに指定します。
PyCharmの操作方法は
1.extra_appsを右クリック
2. Mark Directory as
3. souruces Root

usersとgoods appにadminx.pyファイルを作る

usersアプリに移動して、adminx.pyファイルを作ります

cd apps/users
vim adminx.py

apps/users/adminx.py

import xadmin
from xadmin import views
from .models import VerifyCode


class BaseSetting(object):
    enable_themes = True
    use_bootswatch = True


class GlobalSettings(object):
    site_title = "ネットスーパー"
    site_footer = "supermarket_Back"


class VerifyCodeAdmin(object):
    list_display = ['code', 'mobile', "add_time"]


xadmin.site.register(VerifyCode, VerifyCodeAdmin)
xadmin.site.register(views.BaseAdminView, BaseSetting)
xadmin.site.register(views.CommAdminView, GlobalSettings)

その後goodsファイルに移動し、adminx.pyを作ります

cd ../goods
vim adminx.py

apps/goods/adminx.py

import xadmin
from .models import Goods, GoodsCategory, GoodsImage, GoodsCategoryBrand, Banner, HotSearchWords
from .models import IndexAd

class GoodsAdmin(object):
    list_display = ["name", "click_num", "sold_num", "fav_num", "goods_num", "market_price",
                    "shop_price", "goods_brief", "is_new", "is_hot", "add_time"]
    search_fields = ['name', ]
    list_editable = ["is_hot", ]
    list_filter = ["name", "click_num", "sold_num", "fav_num", "goods_num", "market_price",
                   "shop_price", "is_new", "is_hot", "add_time", "category__name"]

    class GoodsImagesInline(object):
        model = GoodsImage
        exclude = ["add_time"]
        extra = 1
        style = 'tab'

    inlines = [GoodsImagesInline]


class GoodsCategoryAdmin(object):
    list_display = ["name", "category_type", "parent_category", "add_time"]
    list_filter = ["category_type", "parent_category", "name"]
    search_fields = ['name', ]


class GoodsBrandAdmin(object):
    list_display = ["category", "image", "name", "desc"]

    def get_context(self):
        context = super(GoodsBrandAdmin, self).get_context()
        if 'form' in context:
            context['form'].fields['category'].queryset = GoodsCategory.objects.filter(category_type=1)
        return context


class BannerGoodsAdmin(object):
    list_display = ["goods", "image", "index"]


class HotSearchAdmin(object):
    list_display = ["keywords", "index", "add_time"]


class IndexAdAdmin(object):
    list_display = ["category", "goods"]


xadmin.site.register(Goods, GoodsAdmin)
xadmin.site.register(GoodsCategory, GoodsCategoryAdmin)
xadmin.site.register(Banner, BannerGoodsAdmin)
xadmin.site.register(GoodsCategoryBrand, GoodsBrandAdmin)

xadmin.site.register(HotSearchWords, HotSearchAdmin)
xadmin.site.register(IndexAd, IndexAdAdmin)

urls.pyにxadmin用のpathを追加

api/urls.py

import xadmin

urlpatterns = [
    ...
    path('xadmin/', xadmin.site.urls),
    ...
]

最後にマイグレートを実行します。
xadmin内部にmigrateファイルがあるため、それを実行します。

python manage.py makemigrations 
python manage.py migrate

ここまで来れば

python manage.py runserver

サーバーを立ち上げてhttp://127.0.0.1:8000/xadminにアクセスすると、xadminにアクセスできるようになってるはずです。

補足

アプリの表示名を修正したい場合。

下記の二つの手順を実行してください。

apps/goods/apps.py

from django.apps import AppConfig


class GoodsConfig(AppConfig):
    name = 'goods'
    verbose_name = "商品だよ"

api/setting.py

INSTALLED_APPS = [
...
 'goods.apps.GoodsConfig'
...
]

修正後、以下のようになります。

次回予告

思ったよりxadminを紹介するのに時間がかかりました
次回は一気にAPIを作って行きたいと思います。
そしていよいよVue.jsのセットアップです。

OpenAI Gym¹とは、OpenAIが提供している強化学習のシミュレーション用プラットフォームであり、強化学習アルゴリズムの開発・比較に利用されています。
基本的な使い方については類似記事が多くあり、お試しで動かしてみる際に非常に参考になります。一方で、色々触ってみると「報酬設計を少し変えて動かしたい」といった感じで、環境に手を加えたい欲が出てきます。ところが、このように環境を改造して動かすにはどうすれば良いのかについてはあまり書かれていないようです。
そこで、自分用にOpenAI Gymの環境の改造方法をメモ書きしてみました。自分でソースコード²を見ながらメモ書きしたため、ベストプラクティスとは言えない方法もあるかもしれません。気づいたことがあった場合、随時記事を更新する予定です。

OpenAI Gymの基本的な使い方

OpenAI Gymはpipでインストールすることができます。

pip install gym

gymには、強化学習の代表的な環境がいくつか用意されています。
そのうちの一つ、CartPole-v0（カート上のポールの直立状態を維持するゲーム）呼び出したあと、ランダムに行動して動かしてみましょう。

import gym
from gym.spaces.prng import seed as space_seed


env = gym.make('CartPole-v0') #環境の呼び出し
#擬似乱数のシードを設定
env.seed(0) #環境の初期化に使用される擬似乱数のシード
space_seed(0) #行動に使用される擬似乱数のシード

obs = env.reset() #環境を初期化する
terminal = False #環境が終端かどうかの判定
n_steps = 0
while not terminal:
    action = env.action_space.sample()  #行動をランダムに選択する
    obs, reward, terminal, info = env.step(action) #状態を遷移させる

    n_steps += 1
    print(f'step:{n_steps} reward:{reward} terminal:{terminal}')

実行結果

step:1 reward:1.0 terminal:False
step:2 reward:1.0 terminal:False
step:3 reward:1.0 terminal:False
step:4 reward:1.0 terminal:False
step:5 reward:1.0 terminal:False
step:6 reward:1.0 terminal:False
step:7 reward:1.0 terminal:False
step:8 reward:1.0 terminal:False
step:9 reward:1.0 terminal:False
step:10 reward:1.0 terminal:False
step:11 reward:1.0 terminal:False
step:12 reward:1.0 terminal:False
step:13 reward:1.0 terminal:False
step:14 reward:1.0 terminal:True

環境を呼び出し、env.reset()で初期化して、env.step(action)で行動を遷移させるのがgymの基本的な使い方です。
強化学習のアルゴリズムを実装するときには、actionを方策に基づいて選択する処理と、env.step(action)の戻り値rewardをもとに価値や方策を学習する処理を記述することになります。

※ソースコード中のenv.stepの戻り値infoは、デバッグ用の情報をdictに格納した変数です。（正直、使い方がよく分かっていません。）

※終端を表す変数の名前にはdoneを使うのが慣例ですが、doneでは何を表す変数なのかが分かりにくいと思っているのでterminalと命名しています。

環境の改造

gymには、環境インスタンスを内包し、resetやstepの振る舞いの変更を行うためのラッパークラスgym.Wrapperが用意されています。gym.Wrapperを継承したクラスを自作することで環境の改造が可能になります。
環境の改造を実現する自作クラスは、次のように実装します。

class MyRemodeledEnv(gym.Wrapper):
    def __init__(self, env):
        super().__init__(env) #親クラスの呼び出しを忘れないこと

    def reset(self, **kwargs):
        obs = self.env.reset(**kwargs)
        """
        ここにresetの振る舞いを記述
        """
        return obs #振る舞い変更によって書き換えられた観測を返す

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)
        """
        ここにstepの振る舞いを記述
        """
        return obs, reward, terminal, info #振る舞い変更によって書き換えられた観測, 報酬, 終端判定, デバッグ情報を返す

実装した自作クラスは、次のように呼び出します。

env = gym.make('CartPole-v0')
env = MyRemodeledEnv(env)

このとき、ラッパーを外からはgym.Envと同じようなクラスに見えるため、両者の違いを意識せずに使うことができます。
また、複数のラッパークラスを実装し、シーケンシャルに呼び出すことも可能です。

class MyRemodeledEnv1(gym.Wrapper):
    """
    ラッパー1の改造の記述
    """

class MyRemodeledEnv2(gym.Wrapper):
    """
    ラッパー2の改造の記述
    """

env = gym.make('CartPole-v0')
env = MyRemodeledEnv1(env)
env = MyRemodeledEnv2(env)

最終的なenvは、2つのラッパーの改造が両方反映されたものになります。これにより、複数の改造を施すとき、それぞれを別のクラスに分けて実装することが可能です。

改造例

前章を踏まえて、以下環境改造の具体例をメモ書きしていきます。

改造例1 状態遷移のスキップ

通常の環境では、1回の行動で1ステップ分状態遷移が行われます。これを、1回行動したら2ステップ分同じ行動を続けるように改造します。

※状態遷移をスキップする考え方は、深層強化学習のベースとなった論文にて、学習の工夫の一つとして取り入れられているものです。

class SkippingEnv(gym.Wrapper):
    def __init__(self, env, n_skips=2):
        assert n_skips >= 1
        super().__init__(env)
        self.n_skips = n_skips #スキップ数

    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        #n_skips分同じ行動を続ける
        for _ in range(self.n_skips):
            obs, reward, terminal, info = self.env.step(action)
            if terminal:
                break
        return obs, reward, terminal, info

動かしてみたときの実装と結果

実装

env = gym.make('CartPole-v0') #オリジナルの環境の呼び出し
env = SkippingEnv(env) #実装したラッパーの呼び出し
env.seed(0)
space_seed(0)

obs = env.reset()
terminal = False
n_steps = 0
while not terminal:
    action = env.action_space.sample()
    obs, reward, terminal, info = env.step(action)

    n_steps += 1
    print(f'step:{n_steps} reward:{reward} terminal:{terminal}')

結果

step:1 reward:1.0 terminal:False
step:2 reward:1.0 terminal:False
step:3 reward:1.0 terminal:False
step:4 reward:1.0 terminal:False
step:5 reward:1.0 terminal:False
step:6 reward:1.0 terminal:False
step:7 reward:1.0 terminal:False
step:8 reward:1.0 terminal:False
step:9 reward:1.0 terminal:True

オリジナルの環境では全部では終端まで18ステップを要していますが、SkippingEnvによって2ステップ間続けて同じ行動が与えられるため、改造した環境では半分の9ステップして要していないように見えます。

SkippingEnvを呼び出すときのキーワード引数n_skipsによって、スキップ数を指定できるように実装しました。
このように、オリジナルの環境にない変数を持たせて改造に利用することも可能です。

改造例2 報酬のリスケーリング

CartPole-v0では常に1.0の報酬が与えられますが、この報酬の大きさを0.1に変更します。
例1のようにgym.Wrapperを継承してもいいのですが、gymには報酬を変更するためのラッパークラスgym.RewardWrapperが用意されており、これを使うことにします。
gym.RewardWrapperを継承する場合、rewardメソッドを実装し、そこに報酬の変更を記述することで、step時の報酬を変えることができます。

※この改造には、定常的な報酬として1.0は大きすぎるため、小さくしたいという動機があります。

class RewardRescalingEnv(gym.RewardWrapper):
    def __init__(self, env, c=0.1):
        super().__init__(env)
        self.c = c
        lb_r, ub_r = self.env.reward_range #報酬の下界と上界
        self.reward_range = (lb_r*c, ub_r * c) #self.reward_rangeの上書き

    def reward(self, reward):
        return reward * self.c

動かしてみたときの実装と結果

実装

env = gym.make('CartPole-v0') #オリジナルの環境の呼び出し
env = RewardRescalingEnv(env) #実装したラッパーの呼び出し
env.seed(0)
space_seed(0)

obs = env.reset()
terminal = False
n_steps = 0
while not terminal:
    action = env.action_space.sample()
    obs, reward, terminal, info = env.step(action)

    n_steps += 1
    print(f'step:{n_steps} reward:{reward} terminal:{terminal}')

結果

step:1 reward:0.1 terminal:False
step:2 reward:0.1 terminal:False
step:3 reward:0.1 terminal:False
step:4 reward:0.1 terminal:False
step:5 reward:0.1 terminal:False
step:6 reward:0.1 terminal:False
step:7 reward:0.1 terminal:False
step:8 reward:0.1 terminal:False
step:9 reward:0.1 terminal:False
step:10 reward:0.1 terminal:False
step:11 reward:0.1 terminal:False
step:12 reward:0.1 terminal:False
step:13 reward:0.1 terminal:False
step:14 reward:0.1 terminal:True

CartPole-v0ではreward_rangeが(-inf, inf)になっているためreward_rangeの上書きは不要ですが、reward_rangeが有界な環境にも使えるようにするため、今回の実装では上書きしています。

このように、報酬を少し変えるだけならgym.RewardWrapperを継承するだけで十分です。同様に、gymには状態や行動を変える専用のラッパークラスObservationWrapperやActionWrapperも用意されています。

改造例3 報酬のスパース化

強化学習では、終端以外の状態の報酬を0にするスパースな設計にすることがよくあります。そこで、CartPole-v0の報酬を、ポールが倒れたら-1、それ以外は0になるように改造します。

CartPole-v0の終端判定がTrueになるケースには、次の2つがあります。

1.ゲームオーバーになる(ポールが倒れる、カートが左右に動きすぎる)
2.200ステップ経過する

これらを区別して報酬を設計する必要があるため、例2のようにgym.RewardWrapperを継承するのではなく、gym.Wrapperを継承してstepメソッド内に報酬の計算を記述します。

class SparseRewardEnv(gym.Wrapper):
    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)

        x, x_dot, theta, theta_dot = self.unwrapped.state
        #ゲームオーバーかどうかの判定
        failed = x < -self.unwrapped.x_threshold \
                 or x > self.unwrapped.x_threshold \
                 or theta < -self.unwrapped.theta_threshold_radians \
                 or theta > self.unwrapped.theta_threshold_radians
        reward = -1 * int(failed) #rewardの再計算
        return obs, reward, terminal, info

動かしてみたときの実装と結果

実装

env = gym.make('CartPole-v0') #オリジナルの環境の呼び出し
env = SparseRewardEnv(env) #実装したラッパーの呼び出し
env.seed(0)
space_seed(0)

obs = env.reset()
terminal = False
n_steps = 0
while not terminal:
    action = env.action_space.sample()
    obs, reward, terminal, info = env.step(action)

    n_steps += 1
    print(f'step:{n_steps} reward:{reward} terminal:{terminal}')

結果

step:1 reward:0 terminal:False
step:2 reward:0 terminal:False
step:3 reward:0 terminal:False
step:4 reward:0 terminal:False
step:5 reward:0 terminal:False
step:6 reward:0 terminal:False
step:7 reward:0 terminal:False
step:8 reward:0 terminal:False
step:9 reward:0 terminal:False
step:10 reward:0 terminal:False
step:11 reward:0 terminal:False
step:12 reward:0 terminal:False
step:13 reward:0 terminal:False
step:14 reward:-1 terminal:True

self.unwrappedはラッパーが内包している環境インスタンスを取得するプロパティです。self.unwrappedによって、ラッパーから直接envの属性にアクセスし、ゲームオーバーの判定を記述することが可能になります。
この判定には、オリジナルの環境のソースコードにおけるstepメソッド内の(ケース1.の)終端判定の記述を引用しました。

unwrappedを利用すれば、ポールが倒れたと判定させる角度の変更、行動によって与えられるカートへの加速度の変更など、大掛かりな改造が可能になります。

環境例4 カートの座標の報酬化

CartPoleはポールが直立できていればx座標はどこでもよい(=報酬は変わらない)という環境ですが、カートが右にあるほど多くの報酬を与えることにします。
カートのx座標に応じて報酬を与えるPositionRewardEnvと、ゲームオーバーになったら-1の報酬を与えるPenaltyRewardEnvの2つのラッパーを作成してシーケンシャルに呼び出します。

class PositionRewardEnv(gym.Wrapper):
    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)
        x, *_ = self.unwrapped.state
        low_x = self.observation_space.low[0]
        high_x = self.observation_space.high[0]
        x_hat = (x - low_x) / (high_x - low_x)
        reward = 0.1 * x_hat
        return obs, reward, terminal, info


class PenaltyRewardEnv(gym.Wrapper):
    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)        
        x, _, theta, _ = self.unwrapped.state
        #ゲームオーバーかどうかの判定
        failed = x < -self.unwrapped.x_threshold \
                 or x > self.unwrapped.x_threshold \
                 or theta < -self.unwrapped.theta_threshold_radians \
                 or theta > self.unwrapped.theta_threshold_radians
        if failed:
            reward = -1 #rewardの再計算
        return obs, reward, terminal, info

動かしてみたときの実装と結果

実装

env = gym.make('CartPole-v0') #オリジナルの環境の呼び出し
#ラッパーをシーケンシャルに呼び出す
env = PositionRewardEnv(env)
env = PenaltyRewardEnv(env)
env.seed(0)
space_seed(0)

obs = env.reset()
terminal = False
n_steps = 0
while not terminal:
    action = env.action_space.sample()
    obs, reward, terminal, info = env.step(action)

    n_steps += 1
    print(f'step:{n_steps} reward:{reward} terminal:{terminal}')

結果

step:1 reward:0.04954548738784783 terminal:False
step:2 reward:0.04951449351165423 terminal:False
step:3 reward:0.04952411136201068 terminal:False
step:4 reward:0.04957432375449645 terminal:False
step:5 reward:0.049583832949732204 terminal:False
step:6 reward:0.04963395590817136 terminal:False
step:7 reward:0.049724692913380275 terminal:False
step:8 reward:0.04985606183561966 terminal:False
step:9 reward:0.05002809606219364 terminal:False
step:10 reward:0.05024084065495276 terminal:False
step:11 reward:0.05049434647436899 terminal:False
step:12 reward:0.05078866188204178 terminal:False
step:13 reward:0.05104259318449751 terminal:False
step:14 reward:-1 terminal:True

画像がないので分かりづらいですが、カートが中央の位置の時報酬が0.5になり、終端状態では-1になっています。
つまり、結果から左から右に少しだけ移動してポールが倒れていることが分かります。

強化学習とは、報酬を多く獲得する行動を学習する手法です。
したがって、この環境に強化学習を適用することで、ポールを立たせたまま右に移動してギリギリで止まるような動きを学習できそうです。

学習させてみた

試しに、前章の例4を学習させてみました。学習にはchainerRL³のDouble DQNを使いました。
思ったよりも学習が難しく、少し大掛かりになってしまいました。

実装

import numpy as np
import matplotlib.pyplot as plt
import gym
from gym.spaces.prng import seed as space_seed
import chainer
import chainer.functions as F
import chainerrl
from PIL import Image


class PenaltyRewardEnv(gym.Wrapper):
    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)        
        x, _, theta, _ = self.unwrapped.state
        #ゲームオーバーかどうかの判定
        failed = x < -self.unwrapped.x_threshold \
                 or x > self.unwrapped.x_threshold \
                 or theta < -self.unwrapped.theta_threshold_radians \
                 or theta > self.unwrapped.theta_threshold_radians
        if failed:
            reward = -1 #rewardの再計算
        return obs, reward, terminal, info


class PositionRewardEnv(gym.Wrapper):
    def reset(self, **kwargs):
        return self.env.reset(**kwargs) #resetは変更なし

    def step(self, action):
        obs, reward, terminal, info = self.env.step(action)
        x, _, _, _ = self.unwrapped.state
        low_x = self.observation_space.low[0]
        high_x = self.observation_space.high[0]
        x_hat = (x - low_x) / (high_x - low_x)
        reward = 0.1 * x_hat
        return obs, reward, terminal, info


class ObsForChainerRLEnv(gym.ObservationWrapper):
    def observation(self, observation):
        return np.array(observation, dtype=np.float32, copy=False)


def play_episode(env, agent, mode='train', frames=None):
    #mode='train' : 探索あり行動、ネットワークの更新あり
    #mode='eval' : 探索なし行動、ネットワークの更新なし
    assert mode in ['train', 'eval']
    assert frames is None or isinstance(frames, list)
    if mode == 'train':
        explor_and_update = True #行動に探索を取り入れて学習するかどうかの判定
    elif mode == 'eval':
        explor_and_update = False
    obs = env.reset()
    if frames is not None:
        frames.append(Image.fromarray(env.render(mode='rgb_array')))
    reward = 0
    terminal = False
    total_reward = 0
    while not terminal:
        if explor_and_update:
            action = agent.act_and_train(obs, reward)
        else:
            action = agent.act(obs)
        obs, reward, terminal, info = env.step(action)

        total_reward += reward
        if frames is not None:
            frames.append(Image.fromarray(env.render(mode='rgb_array')))
    if explor_and_update:
        agent.stop_episode_and_train(obs, reward)
    env.close()
    return total_reward


if __name__ == '__main__':
    env = gym.make('CartPole-v0') #環境の呼び出し
    env = PositionRewardEnv(env)
    env = PenaltyRewardEnv(env)
    env = ObsForChainerRLEnv(env) #状態をchainer用に変えるラッパー
    #擬似乱数のシードを設定
    env.seed(0)
    space_seed(0)
    np.random.seed(0)

    #Qネットワークの生成
    q_func = chainerrl.q_functions.FCStateQFunctionWithDiscreteAction(
        env.observation_space.shape[0], env.action_space.n,
        n_hidden_layers=2, n_hidden_channels=256,
        nonlinearity=F.relu
    )

    #勾配降下法アルゴリズムの生成
    optimizer = chainer.optimizers.Adam(alpha=1e-5)
    optimizer.setup(q_func)

    gamma = 0.99

    #方策の生成
    explorer = chainerrl.explorers.ConstantEpsilonGreedy(
        epsilon=0.1, random_action_func=env.action_space.sample
    )

    #経験メモリの生成
    replay_buffer = chainerrl.replay_buffer.ReplayBuffer(capacity=10**5)

    #エージェント(DoubleDQN)の生成
    #GPUは使っていません(使用しないほうが高速でした)
    agent = chainerrl.agents.DoubleDQN(
        q_func, optimizer, replay_buffer, gamma, explorer,
        replay_start_size=500, minibatch_size=32,
        update_interval=1, target_update_interval=10000
    )

    total_reward_history = []
    for e in range(1, 10001):
        total_reward = play_episode(env, agent, mode='train')
        total_reward_history.append(total_reward)
        #500エピソードごとに統計情報の表示
        if e % 500 == 0:
            print(f'episode:{e} statistics:{agent.get_statistics()}')

    smoothing = [np.mean([total_reward_history[i: i+100]]) for i in range(10000)]
    plt.figure()
    plt.plot(np.arange(1, 10001), total_reward_history, color='Blue', alpha=0.1)
    plt.plot(np.arange(1, 10001), smoothing, color='Blue')
    plt.show()

    #10回評価モードでエピソードを実行
    for e in range(1, 11):
        frames = []
        play_episode(env, agent, mode='eval', frames=frames)
        frames[0].save(
            'result_' + str(e) + '.gif',
            save_all=True,
            append_images=frames[1:],
            optimize=False,
            duration=1000/50,
            loop=0
        )

結果

10000エピソード学習させ、各エピソードで獲得した報酬の合計をプロットしたグラフがこちらです。
(薄い線が実際の報酬、濃い線が直近100エピソード分の平均を取ったときの報酬を示しています。)

また、学習後に探索なしでエピソードを実行させたときの様子がこちらになります。

ポールを倒さないようにカートを右に移動させる動きを学習できています。

※最初に少しだけ左に移動させてポールをちょっと右に倒してから、カートを右に移動させることでポールを直立させています。また、ポールを直立させたら徐々に減速させ、カートが右に移動しすぎないよう少しずつ移動しています。思ったより高度な動きになりました。

まとめ

本記事では、OpenAI GymのWrapperクラスを使って環境を改造する方法について書きました。
また、例として、環境の報酬を変えて別の動きを学習させてみました。
最後の学習例はサラっと書いていますが、パラメータ調整にはちょっと苦戦していました。練習としてちょうどいい難易度だったかもしれませんね。

---

1. https://gym.openai.com/ ↩

2. https://github.com/openai/gym ↩

3. https://github.com/chainer/chainerrl ↩

やったこと

• 競技プログラミング続き
• やさしく始めるラズベリー・パイを読み始めた

学び

• Global

#local
a = "before"
def sample():
    a = "after"
print(a) #before
sample()
print(a) #before

#global
a = "before"
def sample():
    global a
    a = "after"
print(a) #before
sample()
print(a) #after

• リストのcountとindex

lst = [1,1,4,6,7]
print(lst.count(1))
#2
print(lst.index(6))
#3
print(lst.index(1))
#0（最初にある要素のインデックスを表示）
print(lst.index(0))
#エラー

前回: はじめての Flask #4 ~データベースをSQLAlchemyでいじってみよう~

今までの学習を通して、様々なwebアプリが作れるようになったと思います。

さて、今回はいよいよJSONを返すWebAPIを作ろうと思います！

何がうれしいの

WebAPIがあると何がうれしいの？ということですが、大まかに以下の理由があげられます。

・内部処理とビュー(外面)を分けることができる
・さまざまなプラットフォームでの利用に簡単に対応することができる
・細かく処理を分けることができるので、設計自体が非常にわかりやすく、かつ組み立てやすくなる

上記の3つが主に考えられるものです。
それぞれわかりやすく説明してみましょう。

内部処理とビュー(外面)を分けることができる

今までの内容で作ったwebサービスであれば、1つのページに対して1つの動作というペアが完成していました。あるページからほかのページの内容をそのまま取得することはできず、情報の取得はページの遷移でしか行えないものでした。つまり、情報の内容とUI(HTMLなど)は切り離せない状態で返すしかなかったのです。
しかし、JSONという情報のみを扱うデータを返すことができるようになると、その情報の表現はUI次第になります。UIが古臭いならば見てくれのみ改修すればよく、セキュリティに問題があるならばWebAPIのみ変更すればよいのです。
この分離が、WebAPI最大の特徴ともいえます。

さまざまなプラットフォームでの利用に簡単に対応することができる

上記の通り、情報とUIの分離に成功すれば、UIのみそれぞれのに対応するように設計すれば、WebAPI自体はノータッチで再利用できます。
ブラウザ版も、スマホアプリ版も、どのような利用方法であったとしても内部処理は変わらないので、バックエンド開発側もフロントエンド開発側も楽に実装ができます。

細かく処理を分けることができるので、設計自体が非常にわかりやすく、かつ組み立てやすくなる

あたかもプログラム内で関数を定義するかのように、目的の動作を行うエンドポイントを作成すればその組み合わせで容易に処理が実行できます。
目的の異なるエンドポイントを複数作成する方が、互いに複雑に絡み合った長大な単一のエンドポイントを作成・保守するよりも容易なことは想像に難くないはずです。

早速作ろう！

ということで、まず大切なJSONの返し方から学んでいきましょう！

JSONの返し方

from flask import *

app = Flask(__name__)


@app.route("/")
def index():
    return jsonify({"language": "python"})


if __name__ == "__main__":
    app.run(port=8888)

このようにflask.jsonifyにdict型を与えるとそれをJSONにダンプしてくれますので、それを返しましょう。ちなみに、このjsonifyを行ったときはheaderのContent-Typeもapplication/jsonにしてくれます。ありがとうFlask。

このページに接続すると

{"language": "python"}

というJSONを返します。

ちなみに

from flask import *
import json

app = Flask(__name__)


@app.route("/")
def index():
    return json.dumps({"language": "python"})


if __name__ == "__main__":
    app.run(port=8888)

のように自らjson.dumpsを使ってJSONをダンプすることもできますが、こちらはheaderのContent-Typeがtext/html; charset=utf-8となり、みずからheaderを書き換える必要が出てくるので、flask.jsonifyを使う方が良いです。

ステータスコードも一緒に返そう！

WebAPIを作ると「認証が間違っている!!(400番)」、「お前ちょっとリクエスト送りすぎ!!(429番)」、「ごめん、エラー起きた(500番)」など、200番以外のステータスコードを返したくなることもあります(というか返しましょう)。
そのときには、エンドポイント内のreturnで、ステータスコードの番号も一緒に返しましょう！

from flask import *

app = Flask(__name__)


@app.route("/")
def index():
    return jsonify({"language": "python"}), 418


if __name__ == "__main__":
    app.run(port=8888)

このようにすることで、今回であれば「I'M A TEAPOT」(418番)のステータスコードを返すことができます。

日本語を返したい！

ちなみに、flaskのflask.jsonifyでは、すべての文字はデフォルトではasciiとなります。ですので、日本語を返そうと以下のようなコードを書くと、不都合が起きます。

from flask import *

app = Flask(__name__)


@app.route("/")
def index():
    return jsonify({"language": "パイソン"}), 418


if __name__ == "__main__":
    app.run(port=8888)

帰ってくるJSONは

{"language":"\u30d1\u30a4\u30bd\u30f3"}

となります。わぁ、Unicodeだぁ…。
はい、ですので、文字コードの設定をUTF-8(asciiじゃなくする)にしてあげましょう。

from flask import *

app = Flask(__name__)
app.config["JSON_AS_ASCII"] = False

@app.route("/")
def index():
    return jsonify({"language": "パイソン"}), 418


if __name__ == "__main__":
    app.run(port=8888)

このように、app.config["JSON_AS_ASCII"]をFalseにすることで日本語・漢字・そのほか多くの文字をJSONに正しくダンプできます。

これまでの情報と、GET, POST(ほかにもPUTなどのメソッドもありますが、それは他の記事に譲ります)のやり取りを組み合わせることで、WebAPIは作成できます。

それではみなさん、良いPython Lifeを！！

目次

	やったこと	主な出来事
第1話	自動右スワイプ
第2話	自動メッセージ送信	女性とマッチした
第3話	ライブラリ化	マッチした女性とLINEを交換した
第3.5話	アクセストークンの再取得	これまでのコードではトークンが取得できなくなっていた
第4話	データ収集	LINEの返信が来なくなった

コードはGitHubから閲覧できます。

前回までのあらすじ

• 自動右スワイプ機能を作成した
• メッセージ送信を自動化した
• AWSを用いてコードを定期実行した
• TinderのAPIを簡単に叩くためのライブラリを作成した

近況

前回LINE交換した子から返事が来なくなった...なんでだ...
気を取り直してコードを書いていきましょう。やはり僕の恋人はPCですね。決して裏切らない。
第3話が課題1を消化したところで終わってしまったので、その続きです。

課題2 イロ・スコアってなに??

第1話のコメント欄にて、@gshirato さんからEloスコアというのものの存在を教えていただきました(@gshiratoさんありがとうございます)。
なんでも、全部の相手を右スワイプしていると女性側に自分のプロフィールが表示されにくくなるとか...。
以下は公式ブログ[1]からの引用です。

Tinderのアルゴリズムのこの部分がLikeとNopeを比較し、相手プロフィールの扱い方に関する類似パターンを見出します。そのデータに基づいて相性がいいと考えられるマッチ候補を表示するために、このアルゴリズムが使われていたのです。
(中略)
現在、Tinderではイロに依存することはありません。もちろんお互いがプロフィールにLikeをつけてマッチが成立したユーザーについてそれぞれのユーザーを検討する場合はイロが重要な役割を果たします。現在のTinderのシステムでは、あなたのプロフィールがLikeやNopeを付けられる都度、あなたに表示されるマッチ候補が調整されています。

どうやらイロ・スコアとうのは自分との相性を数値化したもののようで、現在は使われていないようです。実際、サーバーからの返り値を見ても、それっぽい値は見当たりませんでした。
残念。これがあれば、自分のスコアを高める工夫をするのはもちろん、相手のスコアを確認することで、右スワイプをする前にマッチするかどうかが判断できるかもしれなかったのに。

本当にこのスコア使われてないのかな。最近マッチしなくなってきた気がするんだけど

実際全右スワイプって、(イロ・スコアの存在を抜きにしても)効率悪いんですよね。しっかり数えたわけではないですが、現在まで自動右スワイププログラムを可動させた日数とマッチの数から、右スワイプでマッチする確率は約0.01%。
流石になんとかしたいですよね。

よし、機械学習だ。

データ収集

まずはデータを収集します。どういったプロフィールの人がマッチしやすく、どういった人はマッチしづらいのかをモデルに教えるために、データは必須です。
意外とルールベースな特徴とか見つかったりしないかなぁ。

データベースとストレージ

まずは収集する情報を決めましょう。マッチするかどうかの判断の参考になりうる情報というと...

• 写真
• 自己紹介文
• 学校
• 仕事
• 年齢
• 自分との距離

等でしょうか。やはり写真と自己紹介は外せないですよね。
これらの情報を収集し、保存しておくためのストレージ(あるいはDB)が必要です。
最終的に分析することを考えると、colaboratoryと相性のいいGoogle DriveとGoogle spreadsheetがいいでしょうか。容量も多いし。GASで制御できるし。
全体図は下のようになる予定です。

AWS Lambda

せっかく第3話でライブラリを作ったので、それを活かします。まずは自動右スワイプを行うコードです。

lambda_function.py

import json
import tinpy

#FBemail = "Facebookのメールアドレス"
#FBpass = "Facebookのパスワード"
#token = tinpy.getAccessToken(FBemail, FBpass)
token = "Facebookのトークン"

def lambda_handler(event, context):

    api = tinpy.API(token)

    api.setLocation(35.658034, 139.701636)

    for user in api.getNearbyUsers():
        if api.getLikesRemaining() == 0:
            break
        user.like()

    for match in api.getMatch():
        messages = match.messages
        if len(messages) == 0:
            match.sendMessage(
                "はじめまして{0}さん！ マッチありがとうございます！".format(match.name))

これをAWS Lambdaに登録して実行するだけで自動右スワイプが可能です。
続いて、データベースにユーザーの情報を送信するコードと、マッチしたアカウントを送信するコードが必要です。
といっても送信するだけなので別に難しくはありません。

lambda_function.py

import requests

url = "ここにGASのURL(後述)を記載"


def sendProfile(user):
    data = {"id": user.id, "name": user.name,
            "age": user.age, "gender": user.gender}
    data["bio"] = user.bio
    for i in range(len(user.photos)):
        data["photo{0}".format(i)] = user.photos[i]
    data["videos"] = user.videos
    data["schools"] = user.schools
    data["jobs"] = user.jobs
    data["distance_mi"] = user.distance_mi
    with requests.Session() as s:
        print(data)
        s.post(url, data=data)


def sendMatch(match):
    with requests.Session() as s:
        data = {"id": match.id}
        s.get(url, params=data)

urlのパラメーターは、後に作るデータベースのエンドポイントです。
スワイプ情報とマッチ情報の2種類の情報を送る必要があるので、GETとPOSTで区別しています。
データベースを作ってからでないと結局Lambda側のコードは完成しないので、最終的な完成品は後に回すとして、次はデータベースを作成したいと思います。

Google Apps Script

Google Apps Script (GAS)は、GmailやDriveといったGoogleの各種サービスを制御するAPIを兼ね備えたJavaScript実行環境(みたいなもの)です。Googleアカウントを持っていれば無料で使うことができます。
外部とのHTTPS通信や、コードの定期実行ができたり、URLを取得してウェブページを表示したりと、もはやサーバーとして利用が可能(?)なサービスです。

まずは新しいプロジェクトを作成します。GASにはスタンドアロンなプロジェクトとスプレッドシートに紐付いたプロジェクトが存在しますが¹、今回はスプレッドシートに紐付いたものを用います。
新しいスプレッドシートを作成して、ツール > スクリプトエディタを選択してください。
図のようなエディタが別タブで立ち上がればOKです。

つづいて、Google Driveの好きな位置に、ファイルを保存するためのフォルダを作っておいてください。

エンドポイント作成

まずは、スプレッドシートのIDと、Google Driveのデータ保存用フォルダのIDを取得します。
ブラウザでGoogle Driveのフォルダを開くと、URLがhttps://drive.google.com/drive/u/0/folders/XXXXXXXXXXXXとなっています。このXXXXXXXXXXXXがフォルダのIDです。
また、先程作成したスプレッドシートのURLを見ると、https://docs.google.com/spreadsheets/d/XXXXXXXXXXXX/edit#gid=0となっていると思います。こちらもXXXXXXXXXXXXがスプレッドシートのIDです。
どちらもメモしておいてください。

つづいて、データ保存用のプログラムを書いていきます。
GASでは、doPost(e), doGet(e)というfunctionを用意することで、外部からPOST, GETでアクセスした際にこれを起動することができます。
ということで、受け取ったデータをSpread SheetのAPIを用いてシートに記入していきます。

tinder.js

sheetId = "スプレッドシートのID";
folderId = "フォルダのID";


//スワイプしたプロフィールの情報を記録する
function doPost(e) {
  var sheet = SpreadsheetApp.openById(sheetId).getSheets()[0];//スプレッドシートにアクセス
  var id = e.parameter.id;
  var name = e.parameter.name;
  var age = e.parameter.age;
  var gender = e.parameter.gender;
  var distance_mi = e.parameter.distance_mi;
  var bio = e.parameter.bio;
  var jobs = e.parameter.jobs;
  var schools = e.parameter.schools;
  var match = 0;
  var timestamp = Math.round((new Date()).getTime() / 1000);
  var datas = [
    [id, name, age, gender, distance_mi, bio, jobs, schools, match, timestamp]
  ]
  var photo0 = e.parameter.photo0;
  var photo1 = e.parameter.photo1;
  var photo2 = e.parameter.photo2;
  var photo3 = e.parameter.photo3;
  var photo4 = e.parameter.photo4;
  var photo5 = e.parameter.photo5;

  var photos = [photo0, photo1, photo2, photo3, photo4, photo5];

  var row = sheet.getLastRow() + 1;//最終行を取得
  sheet.getRange(row, 1, 1, 10).setValues(datas);

  //写真を保存
  for(i=0;i<photos.length;i++){
    var photo = photos[i];
    if (photo != null) {
      var name = id + "-" + i + ".jpg";
      var blob = getImage(photo, name);
      saveFile(blob);
    }
  }
}


function getImage(url, name) {
  var response = UrlFetchApp.fetch(url);//urlにアクセスしてデータを取得
  var response = response.getBlob().setName(name);//
  return response
}

function saveFile(blob) {
  var folder = DriveApp.getFolderById(folderId);
  folder.createFile(blob)
}

//マッチしたプロフィールの情報を記録する
function doGet(e){
  var sheet = SpreadsheetApp.openById(sheetId).getSheets()[0];
  var id = e.parameter.id;

  var ids=sheet.getRange(1,1,row).getValues();//これまでマッチした人すべてのidを取得
  for(i=0;i<ids.length;i++){
    if(id==ids[i][0]){
      sheet.getRange(i+1,9).setValue(1);
      return;
    }
  }
}

コードを作成したら、エディタ上部にある[公開]>[ウェブアプリケーションとして導入]を選択し、

• プロジェクトバージョン: New
• 次のユーザーとしてアプリケーションを実行: 自分(hoge @ fuga.com)
• アプリケーションにアクセスできるユーザー: 全員(匿名ユーザーを含む)

として導入をクリックします。

表示されるURLをメモしておいてください。これがエンドポイントです。

これを先程作成したlambda_fucntion.pyに記入します。
最終的なコードは下記のとおりです。

lambda_function.py

import requests
import json
import tinpy

#FBemail = "Facebookのメールアドレス"
#FBpass = "Facebookのパスワード"
url = "GASのURL"
#token = tinpy.getAccessToken(FBemail, FBpass)
token = "Facebookのトークン"

def lambda_handler(event, context):

    api = tinpy.API(token)

    api.setLocation(37.658034, 139.701636)


    print(api.getLikesRemaining())    

    for user in api.getNearbyUsers():
        if api.getLikesRemaining() == 0:
            break
        user.like()
        sendProfile(user)

    for match in api.getMatch():
        sendMatch(match)
        messages = match.messages
        if len(messages) == 0:
            match.sendMessage(
                "はじめまして{0}さん！ マッチありがとうございます！".format(match.name))

    return

def sendProfile(user):
    data = {"id": user.id, "name": user.name,
            "age": user.age, "gender": user.gender}
    data["bio"] = user.bio
    for i in range(len(user.photos)):
        data["photo{0}".format(i)] = user.photos[i]
    data["videos"] = user.videos
    data["schools"] = user.schools
    data["jobs"] = user.jobs
    data["distance_mi"] = user.distance_mi
    with requests.Session() as s:
        print(data)
        s.post(url, data=data)


def sendMatch(match):
    with requests.Session() as s:
        data = {"id": match.id}
        s.get(url, params=data)

あとはこれを保存して定期実行すれば、データ収集はバッチリです！

実行するとこんな感じ↓に

次回はいよいよデータ分析です！良いデータが溜まりますように...!

参考文献

[1]https://blog.gotinder.com/powering-tinder-r-the-method-behind-our-matching/
[2]https://tonari-it.com/gas-url-doget-parameter/

---

1. 他にもフォームに紐付いたプロジェクトなんかもあります。 ↩

Windows2003(with Atom)にPythonを導入する

やめましょう．

環境

OS : Windows server 2003 Standerd Endition
CPU : Atom(TM) CPU 330 @ 1.60 GHz
日付 : 2019/8/10

目的

デュアルブートとか仮想化とかを禁止されているけど，Python3環境が欲しい

やること

Python3.4のダウンロード

Pythonの公式サイトから32bit版WindowsのPythonをダウンロード
Python3.4以下じゃないと動かない（らしい）．
なお，IE8からではアクセスできなかったのでchromeを入れた．

Pathを通す

コマンドプロンプトで，以下のコマンド打つ．
C:\User\Pythonの部分はさっきダウンロードして解凍したディレクトリを指定．
set path = %path%;C:\User\Python
これで，コマンドプロンプト上でpythonと打てば動くようになっているはず．

pip を使えるようにする

まずはpipを使えるようにする．
これはやらなくても動くかもしれない．
python -m ensurepip

setuptoolsは必ずアップグレードしときましょう．
python -m pip install --upgrade pip setuptools

pipが使える状態になれば，以下のようにpipでパッケージインストールができる．
python -m pip install numpy==1.15.0
python -m pip install pandas==0.16.0

ダメだったこと

Anacondaが入れば早いのだが以下のエラーで動かなかった．
プロシージャエントリポイントGetFinalPathNameByHandleWがダイナミックリンクライブラリKERNEL32.dllから見つかりませんでした．
そもそもこのWindowsにはpython3.4以前しか動かない（らしい）のでそっちが原因かもしれない．

ちなみにLightGBMは32bitに対応していない．

最後に

買い換えた方が良いと思います．

AtCoder Grand Contest 037 参戦記

A - Dividing a String

52分で突破. そもそも山でバスに間に合わず、蒲田駅についたのが21時5分って感じで、15分以上遅れてスタート. 問題文をちゃんと見ていなく、最初はすべての分割文字がユニークだと勘違いして、なんて難しい問題だって唸ってた. 正しく題意を理解してサラッと書いたのが以下. ダメでも良いやで流して AC. 正直なところ、最後と最後の一個手前が違うことを確認してないので、意地悪なテストケースを用意されると転けそうな気がする. 後から、分割文字は1文字→1文字、1文字→2文字、2文字→1文字の3パターンしか無いのかーって思った.

s = input()
t = ''
k = 0
prev = ''
for i in range(len(s)):
  t += s[i]
  if prev != t:
    k += 1
    prev = t
    t = ''
print(k)

C - Numbers on a Circle

敗退. B はもう問題文を見ただけで無理って思ったので飛ばしてこっちをやってた. 問題を見た感想は、「えー、どの順でやればいいの. 総当りしたら組合せ爆発しない?」って気分だった. とりあえず順方向だと最小どころかそもそもAからBにたどり着ける気がしないので、逆向きにやっていくことにし、回数最小ってことはできる限り小さくしない(小さいと引ける数が減って最小にならない)のがいいのかなと、一番大きいのを順に置き換えていくことを計画. 一番大きいのをどんどん取り出すために順序付きキューを使って実装してみた. TLE にはなるものの WA はでず、方針はこれ出会ってるかと思ったものの、処理量を減らす方法が全く思いつかずタイムアップ.

def main():
  import sys
  from heapq import heappush, heappop, heapify
  _int = int
  n = _int(input())
  a = [_int(e) for e in input().split()]
  b = [_int(e) for e in input().split()]
  result = 0
  finished = 0
  hq = [(-b[i], i) for i in range(n)]
  heapify(hq)
  while True:
    _, i = heappop(hq)
    if a[i] == b[i]:
      finished += 1
      continue
    if i == 0:
      b[i] -= b[n - 1] + b[1]
    elif i == n - 1:
      b[i] -= b[n - 2] + b[0]
    else:
      b[i] -= b[i - 1] + b[i + 1]
    if a[i] > b[i]:
      print(-1)
      sys.exit()
    result += 1
    if a[i] == b[i]:
      finished += 1
      if finished == n:
        print(result)
        sys.exit()
    else:
      heappush(hq, (-b[i], i))
main()

解説 PDF を読んで、一気に減らして大丈夫なのか、本当にこれで最小になるのかと思いつつ、実装したら AC. 未だに本当に最小回数なんだろうかって思っている自分がいる.

def main():
  import sys
  _int = int
  n = _int(input())
  a = [_int(e) for e in input().split()]
  b = [_int(e) for e in input().split()]
  result = 0
  q = [i for i in range(n) if b[i] != a[i]]
  while len(q) != 0:
    nq = []
    c = 0
    for i in q:
      if i == 0 or i == n - 1:
        j = b[(n + i - 1) % n] + b[(n + i + 1) % n]
      else:
        j = b[i - 1] + b[i + 1]
      if j > b[i] - a[i]:
        nq.append(i)
        continue
      c += 1
      k = (b[i] - a[i]) // j
      result += k
      b[i] -= j * k
      if a[i] != b[i]:
        nq.append(i)
    if c == 0 and len(nq) != 0:
      print(-1)
      sys.exit()
    q = nq
  print(result)
main()

概要

Djangoでテンプレートのフォームを手作業で作ると時々やらかすミス、「CSRFトークン用タグのつけ忘れ」。
runserverでテスト環境を動かすことで検知することが多いですが、ユニットテストではどこで検知できるかを確かめてみました。

目次

1. ソースコード
   1. sampleアプリケーション
   2. config（プロジェクト設定）
   3. テスト
2. テストの実行結果
3. 得られた知見

ソースコード

DjangoテストフレームワークでCSRFトークンエラーを検出する

• config
  • プロジェクト設定
• sample
  • フォームで入力したメッセージを保存するだけのサンプルアプリケーション
• templates
  • HTMLテンプレート
• tests
  • ユニットテスト
  • sample：django.test.testcases.TestCaseを用いたテスト
  • e2e：django.test.testcases.LiveServerTestCaseとSelenium WebDriverを用いたテスト

sampleアプリケーション

モデル sample/models.py

単純にメッセージだけを保持するモデルです。

from django.db import models

# Create your models here.
class Sample(models.Model):
    message = models.CharField(verbose_name='メッセージ', max_length=255)

    """サンプルアプリケーションモデル"""
    class Meta:
        # テーブル名
        db_table = 'sample'

フォーム sample/fomrms.py

sample/models.pyで定義したSampleモデルとdjango.models.ModelFormを用いて、メッセージ用のフォームを定義します。

from django import forms
from .models import Sample

class SampleForm(forms.ModelForm):
    """サンプルフォーム"""
    class Meta:
        model = Sample
        fields = ('message',)
        widgets = {
            'message': forms.Textarea(attrs={'placeholder': 'メッセージ'})
        }

ビュー sample/views.py

sample/forms.pyで定義したSampleFormを用いたビュークラスを定義します。

from django.shortcuts import render,redirect
from .forms import SampleForm
from django.urls import reverse
from django.views import View

class SampleFormView(View):

    # Create your views here.
    def get(self, request, *args, **kwargs):
        context = {
            'form': SampleForm()
        }
        return render(request, 'sample/index.html', context)

    def post(self, request, *args, **kwargs):
        form = SampleForm(request.POST)
        if form.is_valid():
            form.save()
            return redirect(reverse('sample:index'))

        context = {
            'form': form
        }
        return render(request, 'sample/index.html', context)

sampleFromView = SampleFormView.as_view()

HTMLテンプレート templates/sample/index.py

単純に入力フォームと「送信」サブミットボタンを表示するだけです。
今回はCSRFトークンのエラーをテストするため、意図的に{{ csrf_token }}を外しています。

<!DOCTYPE html>
<html lang="ja">
    <head>
        <meta charset="UTF-8">
        <title>Form Sample</title>
    </head>
    <body>
        <form method="POST" action="{% url 'sample:index' %}">
            {% for field in form %}
            <label>{{ field.label_tag }}</label>
            {{ field }}
            {% endfor %}
            <input type="submit" value="送信" />
        </form>
    </body>
</html>

アプリ内のURL設定 sample/urls.py

作成したビュークラスにアクセスするURLを定義します。

from django.urls import path
from . import views

app_name='sample'
urlpatterns = [
    path('', views.sampleFromView, name="index")
]

config（プロジェクト設定）

プロジェクト設定 config/settings.py

以下の設定を追加します。

• 作成したsampleアプリケーションをインストールする
• HTMLテンプレートをプロジェクト直下のtemplatesディレクトリから読み込む
• 言語設定を「日本語」に設定する
• タイムゾーン設定を「東京」に設定する

（省略）
# Application definition

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'sample',
]

……

TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [
            os.path.join(BASE_DIR, 'templates')
        ],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]

……

# Internationalization
# https://docs.djangoproject.com/en/2.2/topics/i18n/

LANGUAGE_CODE = 'ja-JP'

TIME_ZONE = 'Asia/Tokyo'

（省略）

プロジェクトのURL設定 config/urls.py

sampleプロジェクトで作成したURL設定を読み込み、トップページでアクセスできるように設定しています。

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('', include('sample.urls')),
]

テスト

sample

django.test.testcases.Testcaseを用いたテストを実施します。
django.test.testcases.Testcaseに用意されたdjango.test.Clientクラスのオブジェクトself.clientでは、CSRFトークンのチェックが行われないため、clientをCSRFトークンのチェックを行うように再設定し、サンプルアプリケーションにGET、POSTを行い、GET時に指定したテンプレートの表示、POST時にHTTPステータスコードが403になることを確認します。

参考ページ：
リクエストの作成：テストツール | Django ドキュメント | Django
SimpleTestCase：django.test.testcases | Django ドキュメント | Django

tests/sample/test_view.py

from django.test.testcases import TestCase
from django.urls import reverse
from django.test.client import Client

class SampleViewTest(TestCase):

    def _pre_setup(self):
        super()._pre_setup()
        self.client = Client(enforce_csrf_checks=True)

    def test_get_index_01(self):
        response = self.client.get(reverse('sample:index'))
        self.assertTemplateUsed(response, 'sample/index.html')

    def test_post_index_01(self):
        response = self.client.post(reverse('sample:index'), data={})
        # If csrf_token was template given.
        # self.assertTemplateUsed(response, 'sample/index.html')
        # If csrf_token was't template given.
        self.assertEquals(403, response.status_code)

    def test_post_index_02(self):
        response = self.client.post(reverse('sample:index'), data={'message': 'Test Message'})
        # If csrf_token was template given.
        # self.assertRedirects(response, reverse('sample:index'))
        # If csrf_token was't template given.
        self.assertEquals(403, response.status_code)

e2e

django.test.testcases.LiveServerTestCaseとSelenium WebDriverを用いたテストを実施します。

tests/e2e/test_index.py

from django.test.testcases import LiveServerTestCase
import chromedriver_binary
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

class LiveServerIndexTest(LiveServerTestCase):
    @classmethod
    def setUpClass(cls):
        super().setUpClass()
        options = Options()
        options.add_argument('--headless')
        cls.selenium = webdriver.Chrome(options=options)
        cls.selenium.implicitly_wait(10)

    def test_index_01(self):
        self.selenium.get('%s%s' % (self.live_server_url, '/'))
        self.assertTemplateUsed('sample/index.html')
        self.assertEquals('Form Sample', self.selenium.title)

    def test_index_02(self):
        self.selenium.get('%s%s' % (self.live_server_url, '/'))
        message_elem = self.selenium.find_element_by_css_selector('form textarea[name="message"]')
        message_elem.send_keys("Test Message")
        submit_elem = self.selenium.find_element_by_css_selector('form input[type="submit"]')
        submit_elem.click()
        WebDriverWait(self.selenium, 15).until(EC.visibility_of_all_elements_located)

        # assert Submit Success
        # self.assertEquals('Form Sample', self.selenium.title)

        # assert Submit 403 Error(CSRF Token Error)
        self.assertTrue('403' in self.selenium.title)

    @classmethod
    def tearDownClass(cls):
        cls.selenium.quit()
        super().tearDownClass()

テストの実行結果

tests/sample/test_views.py

test/e2e/test_index.py

得られた知見

• django.test.testcases.TestCaseを用いたユニットテストで、CSRFトークンエラーを検知することは可能
  • ただし、_pre_setup()メソッドをオーバーライドし、self.clientをCSRFトークンチェック有効（enforce_csrf_checks=True）のクライアントに上書きする必要がある
    • self.client自体はdjango.test.testcases.TestCaseクラスの親クラスであるdjango.test.testcases.SimpleTestCaseで定義されている
    • django.test.Clientのenforce_csrf_checks引数はデフォルトでFalseであるため、django.test.testcases.SimpleTestCaseの_pre_setup()メソッドで生成されるself.clientオブジェクトは常にCSRFトークンチェック無効になっている
      
    • このため、テストクラス内で_pre_setup()メソッドをオーバーライドし、self.clientをenforce_csrf_checks=Trueであるクライアントオブジェクトで上書きする必要が生じる
• LiveServerTestCaseとSelenium WebDriverを用いたユニットテストで、CSRFトークンエラーを検知することは可能
  • Selenium WebDriverではHTTPステータスコードを取得することはできないため、画面のタイトル等を用いて403エラーを検知する必要がある

メリットから覚えるclass

pythonを使ってAddress Book classを作ってみた。

対象となるオブジェクトは、一般的な住所録です。例

ID	名前	性別	血液型	生年月日	携帯番号	メール	郵便番号	住所
1	関 波子	女	AB	1980/7/31	090-7787-3784	sk@eaccess.net	135-0034	東京都江東区永代8-1-4
2	小倉 準司	男	A	1973/10/8		junzi-kokura@eaccess.net	071-1544	北海道上川郡東神楽町１４号6-13-1
3	西村 有紀子	女	O	1972/12/5	090-5165-2074	okikuy1972@livedoor.com	635-0805	奈良県北葛城郡広陵町萱野5-2-7 ヴェルテックス萱野 1009
4	谷 僧三郎	男	B	1989/1/17	090-3781-1181	suzbrutn@dsn.ad.jp	520-0011	滋賀県大津市南志賀2868
5	山口 和久	男	A	1973/2/21	070-4790-1232	kazuhisa73@geocities.com	012-0813	秋田県湯沢市前森1-11-7
6	米田 一生	男	O	1984/7/25		issei07@dsn.ad.jp	264-0029	千葉県千葉市若葉区桜木北4-13-4
7	村松 希美江	女	O	1980/11/21	090-4849-6939	kimie.muramatu@odn.ne.jp	616-8151	京都府京都市右京区太秦帷子ヶ辻町6-6-7
8	小野寺 眞八	男	O	1986/4/28	090-1457-0772	ondr.sny@gmo-media.jp	527-0135	滋賀県東近江市横溝町6-6-7
9	志村 陽一郎	男	O	1975/7/8		smr-yutru@dion.ne.jp	048-1321	北海道磯谷郡蘭越町湯里5-9-5 ル・メール湯里
10	鎌田 敏美	女	B	1993/6/9	090-5690-8749	kamata0609@example.com	409-0115	山梨県上野原市松留4631

クラスを定義してみましょう。

address.py

class AddressBook:
    def __init__(self,str): #タブ区切りデータ
        x=str.split('\t')
        self.ID             =x[0]
        self.名前     =x[1]
        self.性別     =x[2]
        self.血液型      =x[3]
        self.生年月日       =x[4]
        self.携帯番号       =x[5]
        self.メール      =x[6]
        self.郵便番号       =x[7]
        self.住所     =x[8]
　　#文字列データからのデータのセット
    def sets(self,ID,名前,性別,血液型,生年月日,携帯番号,メール,郵便番号,住所):
        self.ID            =    ID
        self.名前          =  名前
        self.性別          =  性別
        self.血液型        = 血液型
        self.生年月日      =    生年月日
        self.携帯番号      =    携帯番号
        self.メール        = メール
        self.郵便番号      =    郵便番号
        self.住所          =  住所
    def getDict(self):　　#dict形式を返す
        return self.__dict__
    def gets(self):　# 内部データの配列化
        return [self.ID,self.名前,self.性別,self.血液型,self.生年月日,self.携帯番号,self.メール,self.郵便番号,self.住所]
    def out(self):
        print(",".join(self.gets()))

test.py

d='''1  関 波子  女 AB  1980/7/31   090-7787-3784   sk@eaccess.net  135-0034    東京都江東区永代8-1-4
2   小倉 準司   男 A   1973/10/8       junzi-kokura@eaccess.net    071-1544    北海道上川郡東神楽町１４号6-13-1
3   西村 有紀子    女 O   1972/12/5   090-5165-2074   okikuy1972@livedoor.com 635-0805    奈良県北葛城郡広陵町萱野5-2-7 ヴェルテックス萱野 1009
4   谷 僧三郎   男 B   1989/1/17   090-3781-1181   suzbrutn@dsn.ad.jp  520-0011    滋賀県大津市南志賀2868
5   山口 和久   男 A   1973/2/21   070-4790-1232   kazuhisa73@geocities.com    012-0813    秋田県湯沢市前森1-11-7
6   米田 一生   男 O   1984/7/25       issei07@dsn.ad.jp   264-0029    千葉県千葉市若葉区桜木北4-13-4
7   村松 希美江    女 O   1980/11/21  090-4849-6939   kimie.muramatu@odn.ne.jp    616-8151    京都府京都市右京区太秦帷子ヶ辻町6-6-7
8   小野寺 眞八    男 O   1986/4/28   090-1457-0772   ondr.sny@gmo-media.jp   527-0135    滋賀県東近江市横溝町6-6-7
9   志村 陽一郎    男 O   1975/7/8        smr-yutru@dion.ne.jp    048-1321    北海道磯谷郡蘭越町湯里5-9-5 ル・メール湯里
10  鎌田 敏美   女 B   1993/6/9    090-5690-8749   kamata0609@example.com  409-0115    山梨県上野原市松留4631'''
abook=[AddressBook(x) for x in  d.split('\n')]
for x in abook:
   x.out()

result.txt

1,関 波子,女,AB,1980/7/31,090-7787-3784,sk@eaccess.net,135-0034,東京都江東区永代8-1-4
2,小倉 準司,男,A,1973/10/8,,junzi-kokura@eaccess.net,071-1544,北海道上川郡東神楽町１４号6-13-1
3,西村 有紀子,女,O,1972/12/5,090-5165-2074,okikuy1972@livedoor.com,635-0805,奈良県北葛城郡広陵町萱野5-2-7 ヴェルテックス萱野 1009
4,谷 僧三郎,男,B,1989/1/17,090-3781-1181,suzbrutn@dsn.ad.jp,520-0011,滋賀県大津市南志賀2868
5,山口 和久,男,A,1973/2/21,070-4790-1232,kazuhisa73@geocities.com,012-0813,秋田県湯沢市前森1-11-7
6,米田 一生,男,O,1984/7/25,,issei07@dsn.ad.jp,264-0029,千葉県千葉市若葉区桜木北4-13-4
7,村松 希美江,女,O,1980/11/21,090-4849-6939,kimie.muramatu@odn.ne.jp,616-8151,京都府京都市右京区太秦帷子ヶ辻町6-6-7
8,小野寺 眞八,男,O,1986/4/28,090-1457-0772,ondr.sny@gmo-media.jp,527-0135,滋賀県東近江市横溝町6-6-7
9,志村 陽一郎,男,O,1975/7/8,,smr-yutru@dion.ne.jp,048-1321,北海道磯谷郡蘭越町湯里5-9-5 ル・メール湯里
10,鎌田 敏美,女,B,1993/6/9,090-5690-8749,kamata0609@example.com,409-0115,山梨県上野原市松留4631
Press any key to continue . . .

女性のみを表示するには、

for x in abook:
   if x.性別=='女': x.out()

1,関 波子,女,AB,1980/7/31,090-7787-3784,sk@eaccess.net,135-0034,東京都江東区永代8-1-4
3,西村 有紀子,女,O,1972/12/5,090-5165-2074,okikuy1972@livedoor.com,635-0805,奈良県北葛城郡広陵町萱野5-2-7 ヴェルテックス萱野 1009
7,村松 希美江,女,O,1980/11/21,090-4849-6939,kimie.muramatu@odn.ne.jp,616-8151,京都府京都市右京区太秦帷子ヶ辻町6-6-7
10,鎌田 敏美,女,B,1993/6/9,090-5690-8749,kamata0609@example.com,409-0115,山梨県上野原市松留4631
Press any key to continue . . .

このようにすっきり書くことができる。

結局やりたかったことは、クラスを定義するとJson形式にすぐに変換できるORM(Object-relational mapping)が簡単になることなんだ。

for x in abook:
    print(x.getDict())

{'ID': '1', '名前': '関 波子', '性別': '女', '血液型': 'AB', '生年月日': '1980/7/31', '携帯番号': '090-7787-3784', 'メール': 'sk@eaccess.net', '郵便番号': '135-0034', '住所': '東京都江東区永代8-1-4'}
{'ID': '2', '名前': '小倉 準司', '性別': '男', '血液型': 'A', '生年月日': '1973/10/8', '携帯番号': '', 'メール': 'junzi-kokura@eaccess.net', '郵便番号': '071-1544', '住所': '北海道上川郡東神楽町１４号6-13-1'}
{'ID': '3', '名前': '西村 有紀子', '性別': '女', '血液型': 'O', '生年月日': '1972/12/5', '携帯番号': '090-5165-2074', ' メール': 'okikuy1972@livedoor.com', '郵便番号': '635-0805', '住所': '奈良県北葛城郡広陵町萱野5-2-7 ヴェルテックス萱野 1009'}
{'ID': '4', '名前': '谷 僧三郎', '性別': '男', '血液型': 'B', '生年月日': '1989/1/17', '携帯番号': '090-3781-1181', 'メ ール': 'suzbrutn@dsn.ad.jp', '郵便番号': '520-0011', '住所': '滋賀県大津市南志賀2868'}
{'ID': '5', '名前': '山口 和久', '性別': '男', '血液型': 'A', '生年月日': '1973/2/21', '携帯番号': '070-4790-1232', 'メ ール': 'kazuhisa73@geocities.com', '郵便番号': '012-0813', '住所': '秋田県湯沢市前森1-11-7'}
{'ID': '6', '名前': '米田 一生', '性別': '男', '血液型': 'O', '生年月日': '1984/7/25', '携帯番号': '', 'メール': 'issei07@dsn.ad.jp', '郵便番号': '264-0029', '住所': '千葉県千葉市若葉区桜木北4-13-4'}
{'ID': '7', '名前': '村松 希美江', '性別': '女', '血液型': 'O', '生年月日': '1980/11/21', '携帯番号': '090-4849-6939', 'メール': 'kimie.muramatu@odn.ne.jp', '郵便番号': '616-8151', '住所': '京都府京都市右京区太秦帷子ヶ辻町6-6-7'}
{'ID': '8', '名前': '小野寺 眞八', '性別': '男', '血液型': 'O', '生年月日': '1986/4/28', '携帯番号': '090-1457-0772', ' メール': 'ondr.sny@gmo-media.jp', '郵便番号': '527-0135', '住所': '滋賀県東近江市横溝町6-6-7'}
{'ID': '9', '名前': '志村 陽一郎', '性別': '男', '血液型': 'O', '生年月日': '1975/7/8', '携帯番号': '', 'メール': 'smr-yutru@dion.ne.jp', '郵便番号': '048-1321', '住所': '北海道磯谷郡蘭越町湯里5-9-5 ル・メール湯里'}
{'ID': '10', '名前': '鎌田 敏美', '性別': '女', '血液型': 'B', '生年月日': '1993/6/9', '携帯番号': '090-5690-8749', 'メ ール': 'kamata0609@example.com', '郵便番号': '409-0115', '住所': '山梨県上野原市松留4631'}
Press any key to continue . . .

このような例題書いてくれないとオブジェクト指向のメリット感じないよね!

「いいよね」よろしく

python

>>> import math

底が2の2の対数 $\log_2 {2}$

python

>>> math.log(2,2) 
1.0

底が2の3の対数 $\log_2 {3}$

python

>>> math.log(3,2)
1.5849625007211563

底が2の4の対数 $\log_2 {4}$

python

>>> math.log(4,2)
2.0

底が2の8の対数 $\log_2 {8}$

python

>>> math.log(8,2)
3.0

TL;DR

Google Colaboratory上で何かイメージを描画して、それをアニメーションにするなら、ファイルを連番で吐いてapngにしてしまうのが楽ちん。

はじめに

Google Colab上で何か計算して、その計算結果をアニメーションとして見せたい。普通にやるならmatplotlibで可視化するのだろうが、これをColab上でアニメーションにするのはわりと面倒くさい。そもそもColab上で画像を表示するのも、一度ファイルに吐いてから表示するのが楽だったりする。

で、アニメーションについてもいろいろ試行錯誤したのだが、結局のところ一度連番ファイルで吐いてしまってから、アニメPNG(APNG)にしてしまうのが一番楽だった。

サンプルコード

APNGのインストール

Google Colabの最初のセルでAPNGをインストールする。

!pip install APNG

おそらく問題なくインストールされて「Successfully installed APNG-0.3.3」とか表示されるはず。

連番ファイルの出力

なんでもよいので、連番のPNGファイルを吐くコードを書こう。以下は円周上を円が周回するだけのアニメーション。

from apng import APNG
from math import cos, pi, sin
from PIL import Image, ImageDraw
import IPython

def save(index, frames):
    filename = "file%02d.png" % index
    im = Image.new("RGB", (100, 100), (255, 255, 255))
    draw = ImageDraw.Draw(im)
    x = 30*cos(2*pi*index/frames) + 50
    y = 30*sin(2*pi*index/frames) + 50
    draw.ellipse((20,20,80,80),outline=(0,0,0))
    draw.ellipse((x-5, y-5, x+5, y+5), fill=(0, 0, 255))
    im.save(filename)
    return filename

後でAPNGにわたすので、ファイル名を返している。

APNGに渡してアニメーションを作成

APNGは、ファイルリストを食わすとAPNGにしてくれるメソッドfrom_filesがあるので、それにファイルリストを食わせて、saveで適当なファイル名で保存する。

保存したファイルはIPython.display.Imageでそのまま表示できる。

files = []
frames = 50
for i in range(frames):
    files.append(save(i, frames))
APNG.from_files(files, delay=100).save("animation.png")
IPython.display.Image("animation.png")

実行結果はこんな感じ。

セルを実行したら、無事にGoogle Colab上でアニメーションが表示された。

まとめ

Google Colab上でアニメーションを表示させる方法を紹介した。数値計算のシミュレーションや、何か動くものの可視化なんかをする場合、Matplotlibで頑張るより、PILで連番png吐いてAPNG作っちゃう方が楽だと思う。