概要

海外ではエンジニアの面接においてコーディングテストというものが行われるらしく、多くの場合、特定の関数やクラスをお題に沿って実装するという物がメインである。

その対策としてLeetCodeなるサイトで対策を行うようだ。

早い話が本場でも行われているようなコーディングテストに耐えうるようなアルゴリズム力を鍛えるサイト。

せっかくだし人並みのアルゴリズム力くらいは持っておいた方がいいだろうということで不定期に問題を解いてその時に考えたやり方をメモ的に書いていこうかと思います。

Leetcode

ゼロから始めるLeetCode 目次

前回
ゼロから始めるLeetCode Day30「234. Palindrome Linked List」

基本的にeasyのacceptanceが高い順から解いていこうかと思います。

Twitterやってます。

問題

581. Shortest Unsorted Continuous Subarray
難易度はeasy。
Top 100 Liked Questionsからの抜粋です。

問題としては、整数の配列が与えられます。
この配列を昇順で並べ替えると、配列全体を昇順で並べ替えられる連続したサブ配列を見つけてください。
それらの中で最短のサブの配列を見つけ、その長さを返してください、という問題です。

例をみながら考えてみましょう。

Example 1:
Input: [2, 6, 4, 8, 10, 9, 15]
Output: 5
Explanation: You need to sort [6, 4, 8, 10, 9] in ascending order to make the whole array sorted in ascending order.

この中で並べ替えれば配列全体が昇順に整頓されるサブ配列の中最短のものは6から9までですので、その要素数を取得して5を返しています。

解法

ソートした変数と最初から要素を取得する変数startと最後から要素を取得する変数lastを用意し、仮にソート済みの配列と元の配列の値が一致しないならばその要素のインデックスをstartに代入します。それをlastの方でも行い、その差分+1が求められている要素数の長さになります。

最後に、last-startが成り立つならばlast - start + 1を、それ以外は0を返すという関数を実装しました。

class Solution:
    def findUnsortedSubarray(self, nums: List[int]) -> int:
        start = last = 0
        num = sorted(nums)
        for i in range(len(nums)):
            if nums[i] != num[i]:
                start = i
                break
        for i in range(len(nums)-1,-1,-1):
            if nums[i] != num[i]:
                last = i
                break
        return last - start + 1 if last - start else 0
# Runtime: 196 ms, faster than 98.85% of Python3 online submissions for Shortest Unsorted Continuous Subarray.
# Memory Usage: 15.2 MB, less than 5.00% of Python3 online submissions for Shortest Unsorted Continuous Subarray.

かなり単純な考え方でしたが思ったより良さげですね。
Top Liked Questionsのeasyもかなり少なくなってきたので今後はMediumばかりになる気がします。

Hardに関しては、ちゃんと解けるか分かりませんが機会があれば解きます。

いつ使うのか

N個の要素に対して繰り返し大小判定をし、

1. 条件を満たす最大/最小の値を求めるとき。
2. 条件を満たす要素を数え上げるとき。
3. ソートしたリストのK番目を求めるとき。(リストのK番目の数字以下の数字の個数<=Kを満たす最大の値)

何がいいのか

通常、一個一個見ていくとO(N)のオーダーがかかるところをO(logN)に短縮することができる。

どうするのか

• 予めN個の要素をソートしておく。
• ソートした全要素の両端より外側の値を2つ選ぶ。(=初期値を両端としてしまうとその点は評価されないため全てTrue/Falseだった場合に不正になる)
• 次の操作を繰り返し、最終的には条件を満たすokと満たさないngの境界を求める。
  • 2値の平均値(中点)が条件を満たすか判定し、満たすならokをその中点の値とする。満たさないならngを中点とする。
  • okとngの絶対値の差が1未満になったら繰り返しを終了する。（＝境界が求まった）

イメージ

考えること

ソートしたリストを条件によって篩にかけた時にどちら側がTrue/Falseになるか。

テンプレート

条件判定

def is_ok(mid: int):
    # 検索対象の外にあるものは先に弾く(リストのインデックスなんかだとout of rangeするので)
    if mid < 0:
        return True | False     # ※1
    elif mid >= N:
        return True | False
    return True | False #判定条件の結果

※1 : 最終的なリストの状態の左側を指定。
* True ----||---- False → True
* False ----||---- True → False

探索実行部分

def binSearch(ok: int, ng: int):
    #print(ok, ng)              # はじめの2値の状態
    while abs(ok - ng) > 1:     # 終了条件（差が1となり境界を見つけた時)
        mid = (ok + ng) // 2
        if is_ok(mid):
            ok = mid            # midが条件を満たすならmidまではokなのでokの方を真ん中まで持っていく
        else:
            ng = mid            # midが条件を満たさないならmidまではngなのでngの方を真ん中まで持っていく
        #print(ok, ng)          # 半分に切り分ける毎の2値の状態
    return ok                   # 取り出すのは基本的にokの方。(問題によりけり)

実行

# 探索範囲が0 ~ Nまでの場合。
INF = N + 1
binSearch(-1, INF)

• 実行する時は、両端より±1した場所から始める（なお、ここはどれだけ外の値を入れても問題ない）
• 呼び出す時はokとngに対応した引数の順で入れること。（あたりまえ）

使用例

1 条件を満たす最大の値を求めるシンプルなパターン

ABC146 C - Buy an Integer

INF = 10 ** 9 + 1

def main():
    A, B, X = map(int, input().split())

    # True - ng - ok - False
    def is_ok(mid: int):
        # 判定する条件
        if mid < 0:
            return True
        elif mid >= INF:
            return False
        return A * mid + B * len(str(mid)) <= X

    def binSearch(ok: int, ng: int):
        #print(ok, ng)
        while abs(ok - ng) > 1:
            mid = (ok + ng) // 2
            if is_ok(mid):
                ok = mid
            else:
                ng = mid
            #print(ok, ng)
        return ok

    print(binSearch(0, INF))
    return

2 条件を満たすものを数え上げるパターン(閾値以上/以下の両方をそれぞれ二分探索)

ABC077 C - Snuke Festival

※ ポイント:3つの変動値がある時には中央を固定することでパターン数を抑えられる。

def solve(N: int, A: "List[int]", B: "List[int]", C: "List[int]"):
    # 最大値 + 1を設定
    INF = N + 1
    A.sort()
    B.sort()
    C.sort()

    # True - ok - ng - False
    def is_ok(mid: int, b: int):
        # 判定する条件
        if mid < 0:
            return True
        elif mid >= N:
            return False
        return A[mid] < b

    # False - ng - ok - True
    def is_ok2(mid: int, b: int):
        # 判定する条件
        if mid < 0:
            return False
        elif mid >= N:
            return True
        return C[mid] > b

    def binSearch(ok: int, ng: int, b: int):
        #print(ok, ng)
        while abs(ok - ng) > 1:
            mid = (ok + ng) // 2
            if is_ok(mid, b):
                ok = mid
            else:
                ng = mid
            #print(ok, ng)
        return ok

    def binSearch2(ok: int, ng: int, b: int):
        #print(ok, ng)
        while abs(ok - ng) > 1:
            mid = (ok + ng) // 2
            if is_ok2(mid, b):
                ok = mid
            else:
                ng = mid
            #print(ok, ng)
        return ok

    sum = 0
    for b in B:
        a = binSearch(-1, INF, b) - 0 + 1
        c = N - 1 - binSearch2(INF, -1, b) + 1
        sum += a * c
        #print(b, "->", a, c)
    print(sum)
    return

3 ソートしたリストのK番目を求めるとき。(K番目の数字X以下の個数がK個以上を満たす最小のX)

より厳密には「一列に並べた時にK番目を求める問題。ただし膨大すぎて全ての要素を列挙できないとき。」

ARC037 C - 億マス計算

この問題はN^2個の数をソートしてK番目を求めればいいが最大 9 * 10^8 個はTLEする。
そこで問題の捉え方を変える。
K番目の数字Xを求める。＝ その数字X以下の個数がK個ある。
積X以下の個数がK個以上かどうかを条件として二分探索。

1,1,2,2,2,2,2,4,4 の5番目(K = 5)を求める時。

X = 1では2個 ( < 5 ) →ダメ
X = 2では7個 ( >= 5 ) →ok

5番目は2とわかる。

INF = 10 ** 18 + 1
def main():
    N, K = map(int, input().split())
    A = sorted([int(i) for i in input().split()])
    B = sorted([int(i) for i in input().split()])

    # False - ng - ok - True
    def is_ok(mid: int):
        # 判定する条件
        if mid < 0:
            return False
        elif mid >= INF:
            return True
        count = 0
        for a in A:
            maxb = mid // a                 # 各aに対して積を取った時に値mid以下となる最大のbの値
            count += bisect_right(B, maxb)  # ソート済みのBからそのインデックスを求めれば、そこより手前のbは全てaとの積がn以下のbとなり個数がでる。
        return count >= K

    def binSearch(ok: int, ng: int):
        #print(ok, ng)
        while abs(ok - ng) > 1:
            mid = (ok + ng) // 2
            if is_ok(mid):
                ok = mid
            else:
                ng = mid
            #print(ok, ng)
        return ok

    print(binSearch(INF, 0))
    return

参考

https://www.forcia.com/blog/001434.html

0.概要

ここでは，エディタのAtomにplatformio-ide-terminalパッケージをインストールしAtom上でターミナル操作を行う際に，『デフォルト端末をAnaconda Promptにする』のと『コマンドマクロファイルを起動時に自動で書き込む』のを，同時に実施するための解決方法をまとめています．

1.背景

Atomは様々なパッケージをインストールすることで，自分好みに環境をカスタマイズできる非常に自由度の高いエディタです．自分もまだ使い始めて間もないですが，すでにその使いやすさの虜になっています．

このパッケージの中で，特に気に入っているものが，platformio-ide-terminalです．こいつのおかげで，いままで煩雑だった，ターミナルとエディタ間の切り替えが無くなり，すべてエディタ上の操作で完結させることができます．

これから構築しようとしている開発環境ではワケあってAnacondaの利用が必須であったため，下記参照ページの設定方法に従い，Atom上でのデフォルト端末をAnaconda Promptに設定しました．

参照URL：https://qiita.com/daizutabi/items/6e4e7042b764b61adf27

2.環境

OS：Windows10 Enterprise 1809 64bit
Atom：1.47.0
platformio-ide-terminal 2.10.0
Anaconda Navigater 1.9.12

3.困ったこと

さて，ここで困ったことが発生しました．というのもここ最近，Linux OSの環境で端末操作を行うことも増えてきたこともあり，コマンドプロンプト上では，Linuxライクな端末コマンドが使えるように設定したコマンドマクロファイルを活用していました．(コマンドマクロについては手前味噌ですが以下のページをご参照ください．)

参照；https://qiita.com/titanium0715/items/8bbad95f939017302d38

上記参照ページでは，コマンドプロンプトのショートカットのプロパティ上で，kオプションを追加することで対応していました．ところが，Atomではショートカットを介さずに直接cmd.exeを読み込みに行ってしまうため，上記解決方法を使用することはできません．なのでこれを解決するためには，platformio-ide-terminalのsettingより，Auto Run Commandに①doskey /macrofile=C:\{Private Path}\{コマンドマクロファイル}.txtを設定してやる必要があります．

↓↓↓　参照図　↓↓↓

しかし，1.背景に挙げた参照URLにもありますように，Atom上でAnaconda Promptを動かそうとするには，Auto Run Commandには②{Private Path}\{miniconda or Anaconda}\Scripts\activate.bat rootを記載する必要があります．

Atom上で，Anaconda Promptを使いながら，マクロファイルの設定も行いたい・・・．じゃあ①と②を二つとも書けばいいじゃん！って思ったのですが，単純に横に並べただけでは，Atom上で端末が立ち上がらなくなったり，どちらか一方の指示だけが通ってしまっていたりと，うまくいきませんでした．

4.解決方法

いろいろと試した結果，以下の書き方でAuto Run Commandを記載してやれば，どちらの設定も反映させることができました！

doskey /macrofile=C:{Private Path 1}{コマンドマクロファイル}.txt & C:{Private Path 1}\Anaconda3\Scripts\activate.bat root

ポイントは，『二つのコマンドを"&"でつなぐこと』，あとは『①⇒②の順番で書く』というところです．順番についてはかなり悩まされまして，②⇒①の順番で書いていたときは何をやっても適切な設定が行えてませんでした．以後，要注意です．
　
　
　
　
バッチファイルの文法とかが分かっていれば，こんな苦労はしなかったのかもしれないなぁ．

0.概要

ここでは，platformio-ide-terminalパッケージを用いてAtom上でターミナル操作を行う際に，『デフォルト端末をAnaconda Promptにする』のと『コマンドマクロファイルを端末起動時に自動で書き込む』のを，同時に実施するための解決方法をまとめています．

1.背景

Atomは様々なパッケージをインストールすることで，自分好みに環境をカスタマイズできる非常に自由度の高いエディタです．自分もまだ使い始めて間もないですが，すでにその使いやすさの虜になっています．

このパッケージの中で，特に気に入っているものが，platformio-ide-terminalです．こいつのおかげで，いままで煩雑だった，ターミナルとエディタ間の切り替えが無くなり，すべてエディタ上の操作で完結させることができます．

これから構築しようとしている開発環境ではワケあってAnacondaの利用が必須であったため，下記参照ページの設定方法に従い，Atom上でのデフォルト端末をAnaconda Promptに設定しました．

参照URL：https://qiita.com/daizutabi/items/6e4e7042b764b61adf27

2.環境

OS：Windows10 Enterprise 1809 64bit
Atom：1.47.0
platformio-ide-terminal 2.10.0
Anaconda Navigater 1.9.12

3.困ったこと

さて，ここで困ったことが発生しました．というのもここ最近，Linux OSの環境で端末操作を行うことも増えてきたこともあり，コマンドプロンプト上では，Linuxライクな端末コマンドが使えるように設定したコマンドマクロファイルを活用していました．(コマンドマクロについては手前味噌ですが以下のページをご参照ください．)

参照；https://qiita.com/titanium0715/items/8bbad95f939017302d38

上記参照ページでは，コマンドプロンプトのショートカットのプロパティ上で，kオプションを追加することで対応していました．ところが，Atomではショートカットを介さずに直接cmd.exeを読み込みに行ってしまうため，上記解決方法を使用することはできません．なのでこれを解決するためには，platformio-ide-terminalのsettingより，Auto Run Commandに①doskey /macrofile=C:\{Private Path}\{コマンドマクロファイル}.txtを設定してやる必要があります．

↓↓↓　参照図　↓↓↓

しかし，1.背景に挙げた参照URLにもありますように，Atom上でAnaconda Promptを動かそうとするには，Auto Run Commandには②{Private Path}\{miniconda or Anaconda}\Scripts\activate.bat rootを記載する必要があります．

Atom上で，Anaconda Promptを使いながら，マクロファイルの設定も行いたい・・・．じゃあ①と②を二つとも書けばいいじゃん！って思ったのですが，単純に横に並べただけでは，Atom上で端末が立ち上がらなくなったり，どちらか一方の指示だけが通ってしまっていたりと，うまくいきませんでした．

4.解決方法

いろいろと試した結果，以下の書き方でAuto Run Commandを記載してやれば，どちらの設定も反映させることができました！

doskey /macrofile=C:{Private Path 1}{コマンドマクロファイル}.txt & C:{Private Path 1}\Anaconda3\Scripts\activate.bat root

ポイントは，『二つのコマンドを"&"でつなぐこと』，あとは『①⇒②の順番で書く』というところです．順番についてはかなり悩まされまして，②⇒①の順番で書いていたときは何をやっても適切な設定が行えてませんでした．以後，要注意です．
　
　
　
　
バッチファイルの文法とかが分かっていれば，こんな苦労はしなかったのかもしれないなぁ．

今回はPandasを使った際に、すぐに分からなかった事象のまとめです。
結構Pandasってどうやって操作すればいいのかな？って迷うことも多いので少しでも参考になれば幸いです。

使用するデータセット作成

• まずは適当にデータセットを作成する。本記事はこの簡単なデータを例に書いていく

index = ['製品A', '製品B', '製品C']
columns = ['春', '夏', '秋', '冬']
data = np.array([
    [0,10,20,30],
    [0,0,100,20],
    [50,100,20,40],
])

df = pd.DataFrame(data, index=index, columns=columns)
df.head()

	春	夏	秋	冬
製品A	0	10	20	30
製品B	0	0	100	20
製品C	50	100	20	40

ケース①各行の最大値,最小値に対応しているカラム名、そしてその値を抜き出して追加

• つまり製品Aなら冬が一番大きく製品Cなら夏が一番大きい数字なので、新しいカラム「売れる季節」にその季節を挿入する

for index, row in df.iterrows():

#     df.ix[index, '売れる季節'] = row.argmax()
    df.ix[index, '売れる季節'] = row.idxmax() #どっちでもできる

#     df.ix[index, '売れない季節'] = row.argmin()
    df.ix[index, '売れない季節'] = row.idxmin() #どっちでもできる

    df.ix[index, 'MAX'] = row.max()
    df.ix[index, 'MIN'] = row.min()

df.head()

	春	夏	秋	冬	売れる季節	売れない季節	MAX	MIN
製品A	0	10	20	30	冬	春	30	0
製品B	0	0	100	20	秋	春	100	0
製品C	50	100	20	40	夏	秋	100	20

ケース②各行で最初に正の整数になるカラム名を抜き出して追加

• つまり各製品が初めて売れ始めた季節を出したい。Aなら夏、Bなら秋という感じ

for index, row in df.iterrows():
#index[0]で最初に条件が成立したものを取り出す
    df.ix[index, '売れ始め季節'] = row[row > 0].index[0] 

df.head()

	春	夏	秋	冬	売れ始め季節
製品A	0	10	20	30	夏
製品B	0	0	100	20	秋
製品C	50	100	20	40	春

ケース③0が１つも入ってない行を抜き出したい

• つまり年中売れている製品Cの行を抜き出したい

#not_zero_df = df.query('春 > 0 and 夏 > 0 and 秋 > 0 and 冬 > 0')
#not_zero_df = df.query('春 != 0 and 夏 != 0 and 秋 != 0 and 冬 != 0')

# ↑でもいいが変数として外だしも可能。下で「@」をつければいい
hoge1,hoge2,hoge3,hoge4 = 0,0,0,0 
not_zero_df = df.query('春 > @hoge1 and 夏 > @hoge2 and 秋 > @hoge3 and 冬 > @hoge4')

not_zero_df.head()

	春	夏	秋	冬
製品C	50	100	20	40

• ちなみに夏のみに着目して0以外を抽出したい場合は同じくこう書けばいい(夏が0でない行を取り出す)

hoge = 0 
not_zero_df = df.query('夏 != @hoge')

not_zero_df.head()

	春	夏	秋	冬
製品A	0	10	20	30
製品C	50	100	20	30

今後も随時追記していく予定です

きっかけ

flask, herokuを利用し、ちまちまとテキストマイニング・可視化webアプリを作っていた。
ある日、Nteractを知る。

Nteract
https://github.com/nteract/nteract
https://blog.nteract.io/designing-the-nteract-data-explorer-f4476d53f897
自動インタラクティブ可視化機能がついたjupyter notebookだとおもいねぇ。

「おう、pandasのDataFrameを表示するのと同じ手間で、これだけ可視化できるのか。
　これは使ってみるしかあるまい。
　・・・重いデータを使うと落ちるな・・・
　いくらか弱点はありそうだが、webアプリとできれば、ハードを選ばずどこからでもやりたいときに速やかに可視化できるようになる。制限の多いGoogle Colaboratoryよりある意味便利かな。」

というわけで、heroku上でNteractを稼働させてみた。
　

＊なぜかNteractの情報はあまりないのよね・・・jupyterの機能拡張でインタラクティブな可視化が簡単にできるようになっていたりするのかな？

構成

heroku：　アプリケーションサーバーとして
Nteract：　heroku上で起動させる
github private：　ファイルサーバーとして

コード

• 次のファイルを作成しデプロイ。heroku openまたは指定されたアドレスを開けば動く。
• 注意：パスワードなどセキュリティ関連の処理は除いています。足すことを強くお勧めします。
• 注意：githubのpriveteをファイルサーバー代わりとしていますが、その説明は省きます。

フォルダ構成
xxx-xxx (任意）
┣ Procfile
┣ requirements.txt
┣ start_jupyter
┗ （任意のipynbファイルなど）

requirements.txt　要事増減させてください

gunicorn==19.9.0
click==7.1.1
Flask==1.1.2
itsdangerous==1.1.0
Jinja2==2.11.2
MarkupSafe==1.1.1
numpy==1.18.3
pandas==1.0.3
plotly==4.6.0
python-dateutil==2.8.1
pytz==2019.3
retrying==1.3.3
six==1.14.0
Werkzeug==1.0.1
xlrd==1.2.0

nteract_on_jupyter
matplotlib
PyGithub

Procfile

web: chmod +x start_jupyter ; ./start_jupyter

start_jupyter

#!/usr/bin/env bash
jupyter nteract --no-browser --ip=* --port=$PORT

$ git init
$ heroku create xxx-xxx 
$ git add .
$ git commit -m "first"
$ git push heroku master

稼働例

参照

要事、mecabなど入れておいてもよいでしょう。

HerokuにMeCabを入れる際ハマっていた記録
　https://qiita.com/kzuzuo/items/1b3e9c9af57bd4464690

きっかけ

flask, herokuを利用し、ちまちまとテキストマイニング・可視化webアプリを作っていた。
ある日、nteractを知る。

nteract
https://github.com/nteract/nteract
https://blog.nteract.io/designing-the-nteract-data-explorer-f4476d53f897
自動インタラクティブ可視化機能がついたjupyter notebookだとおもいねぇ。

「おう、pandasのDataFrameを表示するのと同じ手間で、これだけ可視化できるのか。
　これは使ってみるしかあるまい。
　・・・重いデータを使うと落ちるな・・・
　いくらか弱点はありそうだが、webアプリとできれば、ハードを選ばずどこからでもやりたいときに速やかに可視化できるようになる。制限の多いGoogle Colaboratoryよりある意味便利かな。」

というわけで、heroku上でnteractを稼働させてみた。
　

参照

＊なぜかnteractの情報はあまりないのよね・・・

Pythonを使った機械学習の勉強にはJupyter NotebookをHerokuの無料枠で立ててスマホからでも実行できるようにして共有しよう
https://qiita.com/G-awa/items/8530a10cb847e4080df3

Deploy a Jupyter Notebook Online with Voila and Heroku
https://pythonforundergradengineers.com/deploy-jupyter-notebook-voila-heroku.html

構成

heroku：　アプリケーションサーバーとして
nteract：　heroku上で起動させる
github private：　ファイルサーバーとして

コード

• 次のファイルを作成しデプロイ。heroku openまたは指定されたアドレスを開けば動く。
• 注意：パスワードなどセキュリティ関連の処理は除いています。足すことを強くお勧めします。
• 注意：githubのpriveteをファイルサーバー代わりとしていますが、その説明は省きます。

フォルダ構成
xxxxxx (任意）
┣ Procfile
┣ requirements.txt
┣ start_jupyter
┗ （任意のipynbファイルなど）

requirements.txt　要事増減させてください

gunicorn==19.9.0
click==7.1.1
Flask==1.1.2
itsdangerous==1.1.0
Jinja2==2.11.2
MarkupSafe==1.1.1
numpy==1.18.3
pandas==1.0.3
plotly==4.6.0
python-dateutil==2.8.1
pytz==2019.3
retrying==1.3.3
six==1.14.0
Werkzeug==1.0.1
xlrd==1.2.0

nteract_on_jupyter
matplotlib
PyGithub

Procfile

web: chmod +x start_jupyter ; start_jupyter

start_jupyter

#!/usr/bin/env bash
jupyter nteract --no-browser --ip=* --port=$PORT

$ cd xxxxxx
$ git init
$ heroku create xxxxxx 
$ git add .
$ git commit -m "first"
$ git push heroku master

稼働例

参考

要事、mecabなど入れておいてもよいでしょう。

HerokuにMeCabを入れる際ハマっていた記録
　https://qiita.com/kzuzuo/items/1b3e9c9af57bd4464690

次、nteractベースに変更しようか・・・

特許など比較的長文の文章間　類似可視化手法:　tfidf/cluster vis: tfidf-word2vec-clustering visualization
　https://qiita.com/kzuzuo/items/8a80d8974bf3a7db7e54

Let's 計測

alpineでC言語依存モジュールを pip install すると激重になる話 のおまけ

素直にpip installした場合に、どれくらい時間がかかるか試してみた。
手元にあった機械学習用のrequirements.txtで実行してみると以下のようなログがでてきたので

Building wheels for collected packages: backcall, h5py, kiwisolver, matplotlib, numpy, pandas, pathspec, Pillow, PyYAML, pyzmq, regex, retrying, scikit-learn, scipy, tornado, typed-ast

開発時にも使用頻度高そうなモジュールだけピックアップして計測することにした。

• 実行してみるリスト
  • numpy
  • pandas
  • Pillow
  • scipy
  • scikit-learn
  • h5py
  • matplotlib
  • regex

実験環境

手元で実行できる環境が二種類あったので両方とも試してみる。

• case1: MacBookAir 2015 13inch intel-corei5 8GB DDR3 ・ docker desktop
• case2: AMD Ryzen9 3900X, M.2 ASM2NE6500GTTD, 8x2GB DDR4 ・ ubuntu18.04(WSL2 integration)

計測方法

timeコマンドを頭につける事で実行時間を計測する。
どちらのケースも同一のdockerfileで実行しており、RUN命令文中にtime pip install hogeを埋め込む形を取っている。

FROM python:3.8-alpine3.11
RUN apk update \
  && apk add --virtual .build --no-cache openblas-dev lapack-dev freetype-dev \
  gfortran libxml2 g++ gcc zip unzip cmake make \
  libpng-dev openssl-dev musl libffi-dev python3-dev libxslt-dev \
  libxml2-dev jpeg-dev \
  && apk add --no-cache -X http://dl-cdn.alpinelinux.org/alpine/edge/testing hdf5-dev

RUN pip install --upgrade --no-cache-dir pip setuptools wheel && \
  time pip install --no-cache-dir Cython && \
...

こんな感じ。
docker build中に出力されるログをまとめたのが次の表となる。

結果

※ Cythonはalpineでもコンパイル不要のモジュールであり、Cython-0.29.16-py2.py3-none-any.whlのような.whl形式で降ってきます。非依存モジュールとの比較としてここに載せています。¹

module / time	case1			case2
	real	user	sys	real	user	sys
Cython	3.07s	2.33s	0.42s	1.52s	0.99s	0.07s
numpy	5m 28.27s	7m 6.90s	22.11s	2m 11.15s	3m 23.69s	6.05s
pandas	31m 46.58s	30m 36.25s	0m 53.83s	14m 8.24s	13m 53.10s	15.88s
Pillow	50.81s	44.09s	5.99s	24.79s	19.88s	1.69s
scipy	30m 45.99s	36m 29.33s	1m 45.89s	12m 52.81s	17m 54.87s	42.58s
scikit-learn	14m 38.63s	14m 3.37s	28.98s	6m 33.10s	6m 24.84s	10.11s
h5py	3m 45.58s	3m 34.79s	9.30s	1m 45.87s	1m 42.42s	4.18s
matplotlib	2m 51.50s	2m 35.53s	13.59s	1m 21.77s	1m 13.70s	6.75s
regex	30.52s	28.84s	1.24s	13.75s	13.06s	0.34s

おっっっっそい
ものっっっっっそい、おっっっっっっそい

case1だとnumpyだけでも5分かかるし、pandas・scipyに至っては30分を超えている。scikit-learnに至ってはnumpy・scipyに依存しているので実際のところ一時間は覚悟しないといけない。
挙げた全部合わせると一時間半超だ。
これがどういう事になるか。一日8時間作業すると仮定すると

一日たったの5回程度しかデプロイする事ができないことになる

気軽に開発環境に最新ブランチを充てたり、軽微なバグ修正の確認すら困難になる。作業時間も含めると更に減る。

一応、メモリが倍になると処理速度も倍になるので時間の短縮はできなくもない。
awsを使ったりしているのならメモリ量が多いインスタンスタイプを選択することで時短は可能だ。
しかし、性能的にcase1の二倍以上のcase2だと半分以下の時間で済むとはいえ、全部で40分ほどかかっているのは事実。
一日あたり最高で12回ほどのデプロイしかできない。

---

ちなみに、表の上から順番にpip installしていったので一部モジュールの実行時間には依存モジュールのインストール実行時間も含まれる。
kiwisolverもtar.gzで降ってきているようなのでmatplotlib単体はもう少し早いはず。

  Successfully built pandas
  Installing collected packages: six, python-dateutil, pytz, pandas
  Successfully installed pandas-0.25.3 python-dateutil-2.8.1 pytz-2019.3 six-1.14.0
------
  Successfully built scikit-learn
  Installing collected packages: joblib, scikit-learn
  Successfully installed joblib-0.14.1 scikit-learn-0.22.2.post1
-----
  Successfully built matplotlib kiwisolver
  Installing collected packages: cycler, kiwisolver, pyparsing, matplotlib
  Successfully installed cycler-0.10.0 kiwisolver-1.2.0 matplotlib-3.2.1 

まとめ

軽いものでも1個あたり1~2分かかるレベルなので、なるべくC言語依存モジュールはビルドしないで済む運用を考える必要がある。condaを使う、は今無しで

余談pip

pip install時はモジュールのwheel化が完了した直後に、再度whlを展開し直して必要な生成物をまるっとsite-package直下に移動する。pythonで書かれたコードからビルドされた共有ライブラリ郡*.soも含めて全てだ。
alpineのようにpython3.8のバイナリが/usr/local/bin直下にいるとすると/usr/local/lib/python3.8/site-packages/に移動する。

再展開は手間のように見えるがこれはPEPに則った安全なモジュールの導入法である。PEP491にもそう書かれている²

---

試しに、ビルド済みのwhlファイルをunzipして.soファイルを検索してみる。

./numpy/linalg/lapack_lite.cpython-38-x86_64-linux-gnu.so
./numpy/linalg/_umath_linalg.cpython-38-x86_64-linux-gnu.so
./numpy/core/_operand_flag_tests.cpython-38-x86_64-linux-gnu.so
...

それぞれのwhlファイルをpip installで導入後にライブラリパスに対して.soファイルを検索してみると、モジュール毎にビルド済みファイルが存在しているのを確認できる。

/usr/local/lib/python3.8/site-packages/numpy/linalg/lapack_lite.cpython-38-x86_64-linux-gnu.so
/usr/local/lib/python3.8/site-packages/numpy/linalg/_umath_linalg.cpython-38-x86_64-linux-gnu.so
/usr/local/lib/python3.8/site-packages/numpy/core/_operand_flag_tests.cpython-38-x86_64-linux-gnu.so
...
/usr/local/lib/python3.8/site-packages/pandas/io/sas/_sas.cpython-38-x86_64-linux-gnu.so
/usr/local/lib/python3.8/site-packages/pandas/_libs/hashtable.cpython-38-x86_64-linux-gnu.so
...

これでようやくpythonでimportできる訳だが、
裏を返せばpythonがモジュールを検索するパスに生成物さえ居れば使用できる。
なので元記事の回避法では、python関連以外は後に入れること前提で/usr/local/直下をdockerのマルチステージビルドを使ってえいやでコピペしている。

参考文献

• Wheel files : What is the meaning of “none-any” in protobuf-3.4.0-py2.py3-none-any.whl
• PEP 425 -- Compatibility Tags for Built Distributions
• PEP 491 -- The Wheel Binary Package Format 1.9
• wheelのありがたさとAnacondaへの要望
  • wheel・PEP関連ですごく参考にしました。
  • ちなみに現在だとconda skeletonでPyPiのwheelを導入できる
    • ただし、conda独自にビルドし直して導入している模様。個人的には ｿｳｼﾞｬﾅｲ感
    • anacondaにsentencepieceをwheelファイル経由でインストールする

---

1. ここに書いてあるように、none-anyは非OS・アーキテクチャ依存のモジュールでほとんどの場合pureなpythonで作成されています。公式PEP425も参照。 ↩

2. 余談中の余談だがanacondaは独自のモジュールインストール方法を採っているのでPEPに即していない。混ぜるな危険を引き起こしている一端。 ↩

pythonエンジニアで初心者の自分が困ってて解決したことをシェアします。

pip install のエラー

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.

Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/pip/

などのエラーが出た時の対処法

根本的な原因が全く分からないので、とりあえずエラー文章やsslとは、など初めて見る単語を調べてました。解決策自体はいろいろあるみたいです。

-環境-
macOS 10.14.6
python 3.6.6
venv(仮想環境)

原因

おそらくpip/pythonが古いopenssl(1.0.2s)を参照しているのではありませんか？ 情報を見る限り、質問者の方のopensslは最新版になっているので参照エラーが起きているように思います

下記でsslが使えるかチェックします。

py

import ssl

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/[username]/.pyenv/versions/3.7.0/lib/python3.7/ssl.py", line 98, in <module>
    import _ssl             # if we can't import it, let the error propagate
ImportError: dlopen(/Users/[username]/.pyenv/versions/3.7.0/lib/python3.7/lib-dynload/_ssl.cpython-37m-darwin.so, 2): Library not loaded: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib
  Referenced from: /Users/LO/.pyenv/versions/3.7.0/lib/python3.7/lib-dynload/_ssl.cpython-37m-darwin.so
  Reason: image not found

エラーが出たので

結論

sh

$ brew switch openssl 1.0.2s

pip install でSSL関連のエラーが出たらこれを読め！！！
これだけです。
sslが切り替わってなかったんですね。
解決してみると原因はシンプルで分かりやすかったです。

---

自分なりに解釈してるところが、あるかもしれませんが助けになれば幸いです。

やったこと

ダイクストラ法についての勉強を兼ねて、ダイクストラ法をpythonで実装してみた。

例題としては、「Dijkstra AtCoder」でググって最初に出てきた「AtCoder Beginner Contest 035 の D -トレジャーハント」を用いた。

ダイクストラ法とDFSやBFSの違い

ダイクストラ法とDFS、BFSの違いがよくわからなくなったので、調べた結果を簡単にまとめる。

（DFS、BFSについては下記で実装）
深さ優先探索(DFS)と幅優先探索(BFS)をpythonで実装する

• DFS(深さ優先探索)・BFS(幅優先探索)
  • 重みのないグラフについての探索を行うためのアルゴリズム
• ダイクストラ法
  • 重み付きグラフについての探索を行うためのアルゴリズム（キュー(正確には重み付きキュー)を用いるため、BFSの拡張版のイメージ）

Dijkstra's Algorithm

メモ

start→目的地に着くまでの最短経路をg_list,go
目的地→startに着くまでの最短経路をb_list,back で管理

# ABC035 D トレジャーハント

import heapq

def dijkstra(s, n, c_list):
    _list = [float("Inf")]*n
    _list[s] = 0
    hq = [[0,s]]
    heapq.heapify(hq)
    while len(hq) > 0:
        _ci, _i = heapq.heappop(hq)
        if _list[_i] < _ci:
            continue
        for _cj,_j in c_list[_i]:
            if _list[_j] > (_list[_i] + _cj):
                _list[_j] = _list[_i] + _cj
                heapq.heappush(hq, [_list[_j],_j])
    return _list

n, m, t = map(int, input().split())
a_list = [int(x) for x in input().split()]
g_list = [[] for i in range(n)]
b_list = [[] for i in range(n)]

for i in range(m):
    _a, _b, _c = map(int, input().split())
    g_list[_a-1].append([_c,_b-1])
    b_list[_b-1].append([_c,_a-1])

go = dijkstra(0, n, g_list)
back = dijkstra(0, n, b_list)
ans = 0

for i in range(n):
    _tmp = t - (go[i] + back[i])
    if a_list[i]*_tmp > ans:
        ans = a_list[i]*_tmp

print(ans)

クロネッカー積

Wikipediaを見よ。
ざっくりいうと、2つの行列やベクトルの各要素の組み合わせを作っていく計算で、AxB行列とCxD行列のクロネッカー積はACxBD行列になって、繰り返しでクロネッカー積を取っていけばゴリゴリと行列が巨大になっていきます。

何に使うの? って感じですが、量子コンピュータをシミュレーションする上ではかなり使います。
複数の系をつなげて、ひとつの系として見るには、2つの量子状態のクロネッカー積をとることになるからです。

戦いに挑むプレイヤー

彼らで、パフォーマンス天下一武闘会をやっていきます。

プレイヤー	説明
普通の2次元配列 (np.array)	ぼくら大好きnumpyの2次元配列
対角要素だけの1次元配列(np.array)	対角行列同士のクロネッカー積は対角行列なので、対角要素だけ1次元配列で取り出せばよくないですか?
1次元配列(np.array) + scipy.linalg.kron	numpyにnp.kron関数が用意されているんですが、scipyにも似た関数があるので、そっちも使ってみました
scipy.sparseのdia行列	本命登場。scipyの疎行列のひとつ。対角圧縮格納行列という形式
scipy.sparseのcoo行列	scipyの疎行列のひとつ。座標とデータを格納する方式
scipy.sparseのlil行列	scipyの疎行列のひとつ。リストのリストとしてデータを格納
scipy.sparseのdok行列	scipyの疎行列のひとつ。dictでデータを格納

疎行列が一杯出てきますね。
「0がいっぱいある行列って、持つの無駄じゃん」ってことで、それをなんとかしたやつが疎行列なんですが。こいつら、種類が多すぎて大変なんですよ。

結果

つまり、2x2行列とのクロネッカー積をとっていって、行列の次元を倍々にしてみましょう。

from time import perf_counter
from contextlib import contextmanager
import numpy as np
import scipy.linalg
from scipy.sparse import eye, kron, dia_matrix, coo_matrix, lil_matrix, dok_matrix

@contextmanager
def timer(ls):
    t0 = perf_counter()
    yield
    ls.append(perf_counter() - t0)

fmt = ['dia', 'coo', 'lil', 'dok']
mat1 = [np.eye(2), np.ones(2), np.ones(2).reshape((-1, 1))]
for f in fmt:
    mat1.append(eye(2, format=f))
mat2 = [x.copy() for x in mat1]

print('n\tdim\tnp.kron (mat)\tnp.kron (diag)\tscipy.linalg.kron\tdia\tcoo\tlil\tdok')
for i in range(15):
    time = []
    with timer(time):
        mat1[0] = np.kron(mat1[0], mat2[0])
    with timer(time):
        mat1[1] = np.kron(mat1[1], mat2[1])
    with timer(time):
        mat1[2] = scipy.linalg.kron(mat1[2], mat2[2])
    for j, f in enumerate(fmt, start=3):
        with timer(time):
            mat1[j] = kron(mat1[j], mat2[j], format=f)
    print(i, len(mat1[1]), *time, sep='\t')

こんなコードを動かしてみました。

結果、こうなりました

dim     np.kron (mat)   np.kron (diag)  scipy.linalg.kron       dia     coo     lil     dok
4       7.621300028404221e-05   4.2740000935737044e-05  1.618100213818252e-05   0.00034239199885632843  0.00010936500621028244  0.00040860599983716384       0.0002625720007927157
8       3.6978999560233206e-05  2.091900387313217e-05   1.4868004654999822e-05  0.00031008200312498957  0.00010704099986469373  0.00037807899934705347       0.0002334279997739941
16      3.546700463630259e-05   1.7302001651842147e-05  1.6571000742260367e-05  0.000312356001813896    0.00011324300430715084  0.0003890799998771399        0.000256961997365579
32      5.516300007002428e-05   2.5807996280491352e-05  2.214199776062742e-05   0.00030120500014163554  0.00010780199954751879  0.0004031159987789579        0.0005835240008309484
64      0.00010105999535880983  2.7360998501535505e-05  2.941599814221263e-05   0.00030793799669481814  0.0001086229967768304   0.00042860399844357744       0.0002643059997353703
128     0.00020814999879803509  4.005499795312062e-05   5.749799311161041e-05   0.00031550200219498947  0.00010875400039367378  0.0005037450027884915        0.00027479499840410426
256     0.0007497959959437139   6.817800021963194e-05   7.954899774631485e-05   0.0003335859946673736   0.00011099899711553007  0.0014838429997325875        0.0003385250020073727
512     0.00291782299609622     0.00013850899995304644  0.00015007200272521004  0.0004066420005983673   0.00011842299863928929  0.000978336000116542 0.00039470100455218926
1024    0.009874209994450212    0.0002527940014260821   0.0002898239981732331   0.0010409530004835688   0.0001297330018132925   0.0016027960009523667        0.0006418839984689839
2048    0.0948937740031397      0.0004355569981271401   0.000531908000994008    0.0004898590050288476   0.00015769599849591032  0.0030208060052245855        0.0009902669989969581
4096    0.4371686599988607      0.0008414180047111586   0.0010229589970549569   0.0006520530005218461   0.00018501699378248304  0.005185828005778603 0.0017490499958512373
8192    1.5510790590051329      0.0017292539996560663   0.0019197299989173189   0.00098355500085745     0.00034314399817958474  0.014461956001468934 0.002987473999382928
16384   5.583846742003516       0.0033475189993623644   0.004184869001619518    0.0011626810010056943   0.0003905220000888221   0.01908096900297096  0.006053636003343854

メモリがだいぶつらくなってきました。
要素数が万のオーダーになってくると、2次元配列で持つのがつらくなります。
脱落させて次を見てみましょう。

dim     np.kron (diag)  scipy.linalg.kron       dia     coo     lil     dok
## 略
16384   0.003250737994676456    0.0040016369966906495   0.0011192689999006689   0.0003866760016535409   0.01951057599944761     0.005936435001785867
32768   0.006436383002437651    0.008126152002660092    0.00257632300053956     0.0006475750051322393   0.04585514999780571     0.012816850001399871
65536   0.013466698997945059    0.016394651000155136    0.0036876980011584237   0.0012796200026059523   0.09913738199975342     0.027271613995253574
131072  0.027018057997338474    0.03451431899884483     0.007149820994527545    0.002364355997997336    0.20790910699724918     0.07132508500217227
262144  0.054609892998996656    0.07083234099991387     0.013791570003377274    0.004519036003330257    0.4256131450019893      0.15278254599979846
524288  0.11130649899860146     0.14217567000014242     0.029465308994986117    0.008979752994491719    0.8125153309956659      0.3088614529988263
1048576 0.22045852500014007     0.2833445610012859      0.060802528001659084    0.018181282001023646    1.6133216590023949      0.6439245029978338
2097152 0.4423036929947557      0.5692931669982499      0.13147616000060225     0.037687891999667045    3.204140270005155       1.342386914002418
4194304 0.8839434900000924      1.1379078309983015      0.265317548000894       0.07555588000104763     6.303365648003819       2.8236029719992075
8388608 1.7452782509935787      2.242528515998856       0.5512261999974726      0.14783157800411573     12.572135554000852      5.75408922600036
16777216        3.614834731000883       4.505664156000421       1.1048625590046868      0.3020367110002553      25.316714471002342      11.952817262994358

lilとdokが厳しくなってきました。
脱落させて、他やっていきましょう。

dim     np.kron (diag)  scipy.linalg.kron       dia     coo
## 略
16777216        3.6877648160007084      4.646497107998584       1.0930974110015086      0.29926496299594874
33554432        7.348309517001326       9.31613551099872        2.176151612002286       0.591943232997437
67108864        14.420524740002293      18.4003505590008        4.722769480998977       1.2042434280010639

多分、numpy.kronがいちばんシンプルなことやるだけで済むはずなんですが、遅いです。
あと、scipy.linalg.kronも、numpy.kronとの違いがわからないので使ってみましたが、あんまりパフォーマンス上のメリットはなさそうです。

もう結果は見えてきてますが、決勝戦やりましょう。
diaは対角圧縮という名前がついていて、対角行列に強いんじゃないかと期待したんですが、残念ながら勝てるか怪しいですね。

dim     dia     coo
## 略
67108864        4.889362873000209       1.2848818929996924
134217728       11.382003072998486      2.5668652079984895

時間はもう少し頑張れそうですが、メモリが厳しくなってきました。
cooがだいぶ早いです。

優勝: coo行列

coo行列がだいぶ速い、という結果になりました。
正直、理由はよくわからないですが、ライブラリのうちCで書かれている比率が高いとか、そういうようなことだと思っています。

はじめに

データ分析の際にはグラフを用いてデータを可視化すると思います。そのとき、2変数の相関を表す統計量も同時に表示できたら便利ですよね。そこで、変数の内容（カテゴリか数値か）に応じて適切なグラフに適切な統計量を表示できるようにしました。

これまでのおさらい

これまで記事にした、変数の内容別の適切なグラフ化メソッドと、相関を表す統計量についてまとめます。詳細は下記のリンクをご覧ください。

説明変数、目的変数別データの可視化方法
カテゴリ変数についても相関を求める方法

適切なグラフに適切な統計量を記載

以前作成した、「変数の内容（カテゴリか数値か）に応じて適切なグラフを描く」メソッドに手を入れて、適切なグラフに適切な統計量を記載します（参照：pandas DataFrameを適切なグラフを自動で選んで可視化するメソッドを作った）。

import matplotlib.pyplot as plt
import seaborn as sns
import scipy.stats as st

def visualize_data(data, target_col, categorical_keys=None):

    keys=data.keys()

    if categorical_keys is None:

        categorical_keys=keys[[is_categorical(data, key) for key in keys]]

    for key in keys:

        if key==target_col:
            continue

        length=10
        subplot_size=(length, length/2)

        if (key in categorical_keys) and (target_col in categorical_keys):

            r=cramerV(key, target_col, data)

            fig, axes=plt.subplots(1, 2, figsize=subplot_size)
            sns.countplot(x=key, data=data, ax=axes[0])
            sns.countplot(x=key, data=data, hue=target_col, ax=axes[1])
            plt.title(r)
            plt.tight_layout()
            plt.show()

        elif (key in categorical_keys) and not (target_col in categorical_keys):

            r=correlation_ratio(cat_key=key, num_key=target_col, data=data)

            fig, axes=plt.subplots(1, 2, figsize=subplot_size)
            sns.countplot(x=key, data=data, ax=axes[0])
            sns.violinplot(x=key, y=target_col, data=data, ax=axes[1])
            plt.title(r)
            plt.tight_layout()
            plt.show()

        elif not (key in categorical_keys) and (target_col in categorical_keys):

            r=correlation_ratio(cat_key=target_col, num_key=key, data=data)

            fig, axes=plt.subplots(1, 2, figsize=subplot_size)            
            sns.distplot(data[key], ax=axes[0], kde=False)
            g=sns.FacetGrid(data, hue=target_col)
            g.map(sns.distplot, key, ax=axes[1], kde=False)
            axes[1].set_title(r)
            axes[1].legend()            
            plt.tight_layout()
            plt.close()
            plt.show()

        else:

            r=data.corr().loc[key, target_col]

            sg=sns.jointplot(x=key, y=target_col, data=data, height=length*2/3)
            plt.title(r)
            plt.show()            

なお、途中以下のメソッドを使っています。

def is_categorical(data, key):  #カテゴリ変数かどうかを判定

    col_type=data[key].dtype

    if col_type=='int':

        nunique=data[key].nunique()
        return nunique<6

    elif col_type=="float":
        return False

    else:
        return True

def correlation_ratio(cat_key, num_key, data):  #相関比を求める

    categorical=data[cat_key]
    numerical=data[num_key]

    mean=numerical.dropna().mean()
    all_var=((numerical-mean)**2).sum()

    unique_cat=pd.Series(categorical.unique())
    unique_cat=list(unique_cat.dropna())

    categorical_num=[numerical[categorical==cat] for cat in unique_cat]
    categorical_var=[len(x.dropna())*(x.dropna().mean()-mean)**2 for x in categorical_num]    

    r=sum(categorical_var)/all_var

    return r

def cramerV(x, y, data):  #連関係数を求める

    table=pd.crosstab(data[x], data[y])
    x2, p, dof, e=st.chi2_contingency(table, False)

    n=table.sum().sum()
    r=np.sqrt(x2/(n*(np.min(table.shape)-1)))

    return r

titanicデータに適用してみます（結果は一部のみ表示）。

train_data=pd.read_csv("train.csv")
train_data=train_data.drop(["PassengerId", "Name", "Ticket", "Cabin"], axis=1)

categories=["Survived", "Pclass", "Sex", "Embarked"]
visualize_data(train_data, "Survived", categories)

最後に

これまで作ってきたメソッドをまとめてみました。これでデータの可視化と相関関係の把握が1度にできるようになりました。ソースコードはgithubに置いてあるので自由に使ってください！

辞書の作り方
{キー1:値1 , キー2:値2}
リストとカッコ {} が違うことに注意

fruits = {"apple":"りんご" , "banana":"バナナ" , "strawberry":"イチゴ"}

出力
辞書[キー]
出力する時のカッコ []　に注意

fruits = {"apple":"りんご" , "banana":"バナナ" , "strawberry":"イチゴ"}

print("appleは" + fruits["apple"] + "です")

出力結果
appleはりんごです

---

要素の更新
辞書[キー] = 値

fruits = {"apple":"りんご" , "banana":"バナナ" , "strawberry":"イチゴ"}

fruits["banana"] = "ばなな"

要素の追加
辞書[新しいキー] = 値

fruits = {"apple":"りんご" , "banana":"バナナ" , "strawberry":"イチゴ"}

fruits["kiwi"] = "キウイ"

BlenderのPython API

BlenderにはPythonのAPIがあり、ドキュメントが公開されている。
なんだ、ドキュメントあるんだったら余裕じゃん、と思ってGUIからパラメータ名を見てドキュメントを検索するも、引っかからないことが多い気がする。

なぜなのか。

単純な話、GUIに表示されているプロパティ名とpython APIでのプロパティ名が異なるからである。

具体例

例えば、光源で表示されているPower、これはAPIだとenergyである。いやいやいや。
Radiusはshadow_soft_size。もう何が何だか。

上図の光源を作成するのをコードに落とすと以下のようになる

light_add.py

bpy.ops.object.light_add(type='POINT')
light_obj = bpy.context.active_object
light = light_obj.data
light.color = (1.0, 1.0, 1.0)
light.energy = 10
light.specular_factor = 1.0
light.shadow_soft_size = 0.25

解決方法

どうやって調べればいいかというと、
1. プロパティの上で右クリックしてCopy Data Pathを選択する。あるいは右にあるコマンドを叩く(macOSならShift+Command+C)
2. これをコード上にペーストする。
それだけ。ここにたどりつくのに莫大な時間を費やしたのでここに書いておく。

はじめに

OpenCVを使った画像処理の実験。
物体検出の練習として、一部界隈で熱狂的なファンを持つ（？）マルフク看板を写真の画像から探してみます。
といっても物体検出というほど立派なことをしていないので、いくらでも改善の余地がありそうですが、まずは取っ掛かりとして。

マルフク看板？

こんなの。

民家や小屋に貼られているのを見たことのある方もいらっしゃると思います。
最近見なくなったとお思いの方も多いかもしれません。

ここではあまり書いていませんでしたが、ファンサイトやTwitterのBotも作ってたりする筋金入りのマルフク看板ファンなのであります。（宣伝）

• トップページ - マルフク看板コレクション (RC)
• 電話の金融マルフクbot (@029bot) / Twitter

検証環境

• Windows 10 Home (1903)
• Python 3.6.8
  • opencv-python==4.2.0.34 (pipからインストール)
  • imutils==0.5.3 (同上)

問題設定

今回は入力された画像に対して、マルフク看板の写っている領域を検出して四角で囲んでみます。看板自体は長方形ですが、撮影の角度によって多少歪んだ形になっているでしょう。
最初の画像はこんな感じになると良いですね。

自分で作らなくてもいい？

既存の技術やモデルで間に合うならそれでよいので、最初にMask R-CNNの学習済みモデルを試してみたのですが、どうも微妙な結果でした。
matterport/Mask_RCNN: Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow

stop sign、赤と白ですし気持ちは分かりますが…。

他の画像だと何も検出されない場合もありました。
「マルフク看板」なんてクラス、あるわけないもんなあ。

【手動ポスト】最近Botの中の人は深層学習で遊んでいるのですが、マルフク看板のある風景を物体検出させたらどうなるのかやってみました。マルフク看板には残念ながら何の結果もつかず。マルフク看板自動検出への道は遠いか。使ったプログラムはこれです。 https://t.co/aFUoKs05UJ pic.twitter.com/6BiyNyDs44

— 電話の金融マルフクbot (@029bot) March 26, 2020

というわけで、やはり何か考える必要があるっぽいです…。

OpenCVで物体検出（もどき）

四角や円を検出するチュートリアルがあるので、同様の方法でマルフク看板の領域を検出してみたいと思います。
なお「もどき」と書いているのは、いろいろな物体クラスを用意しているわけでもなければ、輪郭抽出以上のことをしているわけでもないからです。。。

以下のチュートリアルの内容をベースに作ってみます。
OpenCV shape detection - PyImageSearch

チュートリアルの内容の他、必要に応じてこちらのページを参考にしました。
機械学習のためのOpenCV入門 - Qiita

まずはモジュールのインポートと、引数解析・画像読み込み部分です。

import argparse
import imutils
import cv2

# 引数解析
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True,
    help="path to the input image")
args = vars(ap.parse_args())
# 画像読み込み
image = cv2.imread(args["image"])

2値化

まずは画像を2値化して、背景部分が黒、物体部分（マルフク看板の領域）が白になるようにします。
以下のコードを実行すると、2値化された画像がウィンドウに表示され、何かキーを入力するとウィンドウが閉じます。

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blurred = cv2.bilateralFilter(gray, 25, 15, 15)
thresh = cv2.threshold(blurred, 160, 255, cv2.THRESH_BINARY)[1]
cv2.imshow("Thresh", thresh)
cv2.waitKey(0)

カラー画像をグレースケール化し、画素値がある閾値以上かどうかで白・黒に塗り分けます。

この方法で問題なのは、「赤で描かれている部分が黒（背景）になってしまう」という点です。このままだと赤い部分は看板の領域の外になってしまいます。cv2.threshold() のパラメータも関係ないわけではありませんが、赤色がそれなりに濃く描かれているので、赤い部分が白くなるようにパラメータを調整すると、大部分が白になってしまいます。

そこで、前処理として 赤色を消す 方法を試してみたいと思います。
光の赤色に見える部分は、絵の具（インク）の三原色でいえば「マゼンタ」と「イエロー」を混ぜたものになります。¹
つまり、マゼンタとイエローを消すことによって、赤い部分を白くすることができそうです。
光の三原色 (RGB) で言えば、マゼンタを消すには緑 (G) を最大にすればよく、イエローを消すには青 (B) を最大にすればよいので、マゼンタとイエローを消すと結局RGBの赤 (R) の成分だけが効いてきます。よって、Rの値だけを残すことによって目的を達成できます。

ということで、グレースケール化する際に cv2.cvtColor() を使わず、RGBの「赤」の成分を取り出す方法を試します。

gray = image[:, :, 2]
blurred = cv2.bilateralFilter(gray, 25, 15, 15)
thresh = cv2.threshold(blurred, 160, 255, cv2.THRESH_BINARY)[1]
cv2.imshow("Thresh", thresh)
cv2.waitKey(0)

結果はこんな感じ。良いですね。

ちなみに、赤の成分を取り出した時点の画像 (gray) はこうなっています。文字が読める程度に色は残っていますが、背景と比べると薄くなっていることが分かります。
こんな感じで色あせて赤色が抜けた看板は普通に見かける気がする…。

輪郭抽出

今度は、先ほど作成した白黒の2値画像から、物体の輪郭を抽出します。
cv2.findContours() を使えば輪郭抽出は簡単にできるので、その結果を画面に描画して確認してみましょう。

output = image.copy()
# 輪郭抽出
cnts = cv2.findContours(thresh.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
# 画像に輪郭を描画
for c in cnts:
    cv2.drawContours(output, [c], -1, (0, 255, 0), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

なんか随分ぐちゃぐちゃですね…。
先ほどの2値画像に境界線を素直に引いた結果ではあるのですが、これでは使い勝手が悪いですし、ノイズの影響もあって変なところに線が出ていたりするので、もう少し改良しましょう。

輪郭の多角形近似

輪郭抽出の結果は点の集合になっていますが、最終的には輪郭は四角形（綺麗な長方形とは限りませんが）を想定しているので、多角形で近似した方がノイズの影響を小さくできてよいでしょう。

output = image.copy()
# 輪郭抽出
cnts = cv2.findContours(thresh.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
# 画像に輪郭を描画
for c in cnts:
    # 輪郭を多角形で近似
    epsilon = 0.1*cv2.arcLength(c,True)
    c = cv2.approxPolyDP(c,epsilon,True)
    cv2.drawContours(output, [c], -1, (0, 255, 0), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

看板の縁の部分の線がギザギザしていましたが、そのギザギザ感が取れて直線的になりましたね。
一方、背景の関係ないところに線が出る状況はそのままです。

小さい領域を削除

アドホックな方法ではありますが、ノイズから誤検出される領域は小さいことが多いので、面積が一定値未満の領域は表示しないようにします。

output = image.copy()
# 輪郭抽出
cnts = cv2.findContours(thresh.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
# 画像に輪郭を描画
for c in cnts:
    # 輪郭を多角形で近似
    epsilon = 0.1 * cv2.arcLength(c, True)
    c = cv2.approxPolyDP(c, epsilon, True)
    # 小さい領域を表示しない
    area = cv2.contourArea(c)
    if area < 400:
        continue
    cv2.drawContours(output, [c], -1, (0, 255, 0), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

いい感じですね。

形状の情報でフィルタリング

先ほどの例ではうまくいくのですが、他の画像を試すと変な輪郭が残ることがあります。

以下のように、画像の縁と屋根で囲まれた三角形の部分を検出してしまっています。

そこで、形状の情報を利用してフィルタリングしてみます。
マルフク看板の実物は「幅900mm × 高さ600mm」の長方形です。このとき、面積 $S$ と周囲の長さ $L$ の関係として

\frac{\sqrt S}{L} = \frac{\sqrt{900 \times 600}}{2 \times (900 + 600)} = \frac{\sqrt 6}{10} \approx 0.245

が成り立ちます。この値は幅と高さを同じ倍率で大きくしても変わりませんので、形状を表す特徴として使えそうです。²

output = image.copy()
# 輪郭抽出
cnts = cv2.findContours(thresh.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
# 画像に輪郭を描画
for c in cnts:
    # 輪郭を多角形で近似
    epsilon = 0.1 * cv2.arcLength(c, True)
    c = cv2.approxPolyDP(c, epsilon, True)
    # 小さい領域を表示しない
    area = cv2.contourArea(c)
    if area < 400:
        continue
    # 周囲の長さを計算
    perimeter = cv2.arcLength(c, True)
    # 輪郭が3:2の長方形に近い場合のみ表示
    if perimeter == 0:
        # ゼロ割り防止
        continue
    if 0.23 < area ** 0.5 / perimeter < 0.26: # approx sqrt(6)/10
        cv2.drawContours(output, [c], -1, (0, 255, 0), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

これで右上の三角形の輪郭は消え、良い感じに看板の部分だけ残ります。

まだ形状しか見ていませんが、実際には枠の中の領域を取り出して物体検出（マルフク看板かどうか？）を実行することになるのでしょう。

2値化の閾値パラメータを与えないようにする

最初の方に出てきた以下のコードです。Rの値が160より大きいか小さいかで白と黒を塗り分けています。

thresh = cv2.threshold(blurred, 160, 255, cv2.THRESH_BINARY)[1]

少し考えれば分かるように、画像の明るさなどの条件によって最適な閾値は変化します。
OpenCVには、閾値を自動で決める方法として「大津の方法（大津の2値化）」³という有名な方法が実装されているので、試してみます。

# 大津の方法
thresh = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]

結果はこちら。


自動でパラメータを決めることなしに輪郭を抽出できました。
電気メーターの部分に枠が出てしまっていますが、後で分類すればよいことにして、とりあえず目を瞑ります。。。

課題

結構うまく動いているように見えますが、実はこんな画像をうまく処理できません。

小屋に貼られている白い板が実はマルフク看板です。皆様ご存知の通り（？）、放置されたマルフク看板はこんな感じで読めなくなってしまいます。しかし真っ白ならばむしろ検出には都合がよいはず。
ではなぜ白い領域に枠が出てこないかというと、2値化の結果

こうなってしまったからです。要するに背景のトタン板の色が明るいことが原因ですね。

この画像の場合、パラメータを適切に決めることができればうまくいきます。

#thresh = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]
thresh = cv2.threshold(blurred, 190, 255, cv2.THRESH_BINARY)[1]

こんな感じに色分けできて

こんな感じに枠がつきます。

推測ですが、「大津の方法」では輝度のヒストグラムに「背景」と「物体」という2つのピークがあることを仮定しているため、明るいトタン板の色が「物体」側に取り込まれてしまったと考えられます。
他の画像を使った場合でも、うまくいったりいかなかったり。改善は今後の課題ですね。

コードまとめ

marufuku.py

import argparse
import imutils
import cv2

# 引数解析
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True,
    help="path to the input image")
args = vars(ap.parse_args())
# 画像読み込み
image = cv2.imread(args["image"])

gray = image[:, :, 2]
blurred = cv2.bilateralFilter(gray, 25, 15, 15)
# 大津の方法
thresh = cv2.threshold(blurred, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]
cv2.imshow("Thresh", thresh)
cv2.waitKey(0)

output = image.copy()
# 輪郭抽出
cnts = cv2.findContours(thresh.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
# 画像に輪郭を描画
for c in cnts:
    # 輪郭を多角形で近似
    epsilon = 0.1 * cv2.arcLength(c, True)
    c = cv2.approxPolyDP(c, epsilon, True)
    # 小さい領域を表示しない
    area = cv2.contourArea(c)
    if area < 400:
        continue
    # 周囲の長さを計算
    perimeter = cv2.arcLength(c, True)
    # 輪郭が3:2の長方形に近い場合のみ表示
    if perimeter == 0:
        # ゼロ割り防止
        continue
    if 0.23 < area ** 0.5 / perimeter < 0.26: # approx sqrt(6)/10
        cv2.drawContours(output, [c], -1, (0, 255, 0), 2)
cv2.imshow("Image", output)
cv2.waitKey(0)

以下のようにコマンドを実行すると動きます。

python marufuku.py -i image.png

まとめ

物体検出の初歩の初歩ではありますが、マルフク看板を題材に輪郭抽出だけ試してみました。
実際に使えるものにするには、背景色への頑健性も課題ですが、抽出した領域に対するクラス分類器の学習（データを集めて）も必要になってくると思います。
パラメータを全自動で決めることにこだわらず、目視確認しながらパラメータ調整しつつ領域を切り出して、Mask R-CNNなどの学習データを作る方針が良いのかな、などと考えています。

---

1. 意外と知らない RGBとCMYの話 | Photographer Takashi Yokoyama ↩

2. 実は「円形度」を $4\pi$ で割って正の平方根をとったものと等しくなります。→円形度とは何？ Weblio辞書 ↩

3. 大津展之: 判別および最小2乗規準に基づく自動しきい値選定法, 電子通信学会論文誌 D, Vol. 63, No. 4, pp.349-356, 1980 ↩

はじめに

　ベイズ統計学を学ぶ上で期待値をおさらいしました。

下記本を参考にしました。

• 機械学習スタートアップシリーズ ベイズ推論による機械学習入門

• パターン認識と機械学習 下 (ベイズ理論による統計的予測)

期待値とは

　
　期待値(expectation)とは、ある関数$f(x)$の確率分布$p(x)$のもとでの$f(x)$の平均値のことを指します。表記としては、$E[f]$と書きます。

離散分布では以下のように表します。

E[f] = \sum_x p(x)f(x)

一方、連続変数の場合は積分として表すことができます。

E[f] = \int p(x)f(x)dx

エントロピー

　確率分布$p(x)$に対する次のような期待値をエントロピー(entropy)と呼びます。
　

\begin{align}
H[p(x)]& = - \sum_x p(x) ln(p(x))\\

\end{align}

有限和での近似（モンテカルロサンプリング）

　分布$p(x)$から独立に抽出されたサンプルの集合を$\bf {z}^{(n)} (n = 1,...,N)$としたとき、期待値は下記のように近似できます。

E[f] = \frac{1}{L} \sum_{n=1}^{N}f(\bf{z}^{(N)})

となります。

ここで例題で考えます。
例題
　$p(x=1)=0.3,p(x=1)=0.7$となるような離散分布を考えます。

エントロピーの定義からエントロピーは

\begin{align}
H[p(x)]& = - \sum_x p(x) ln(p(x))\\
&=-(p(x=1)lnp(x=1) + p(x=0)lnp(x=0) )\\
&= -(\frac{3}{10}ln\frac{3}{10}+\frac{7}{10}ln\frac{7}{10})\\
&=0.610
\end{align}

となります。
　さて、これを有限和で近似する場合の計算をしてみます。random.uniformメソッドにより0～1の無作為な値を出力させて、それが$p(x=1)=0.3$よりも大きくなるかどうかで$x=1$か$x=2$かどうかを判別させています。
　そして、$x=1,2$となる回数をcntで数えさせることをしています。
　
　下記のようなプログラムになります。試しに1000回計算しています。

cnt = []
proba_1  =[]
proba_2  =[]
time = 1000
a = random.uniform(0,1)
exp =[]

for i in range(time):
    a = random.uniform(0,1)
    if a > p1:
        cnt = np.append(cnt,1)
    else:
        cnt = np.append(cnt, 0)
    proba_1 = np.append(proba_1, (i+1-sum(cnt))/(i+1))
    proba_2 = np.append(proba_2, sum(cnt)/(i+1))
    exp = np.append(exp, -(((i+1-sum(cnt))*math.log(p1))+((sum(cnt))*math.log(p2)))/(i+1))

plt.xlabel('time')
plt.ylabel('probability')
plt.plot(time_plot, proba_2, label="p2")
plt.plot(time_plot, proba_1, label="p1")
plt.legend()       

$p(x=1)=0.3,p(x=2)=0.7$に大よそ100回以降収束していくことが分かりました。

こちらも100回以降で元々求めていた期待値（＝エントロピー）の0.61あたりに収束していることが分かりました。

　確かにこの期待値近似の手法が問題ないことが確認することができました。

終わりに

　今回は非常に簡単な例題だったため、算出及び確かめることが容易でした。しかし、実際の問題では期待値が解析的に求めることが難しい場合がほとんどです。
　従い、このモンテカルロサンプリングで近似することを覚えておくと有益なのだと思います。
　　

プログラ全文はこちらです。
https://github.com/Fumio-eisan/VI20200520

リスト

リスト作り方
[要素1 , 要素2 , 要素3]
, で区切る。

リスト例
文字列のリスト
["sushi" , "ramen"]

数値のリスト
[100 , 200]

変数にリストを代入

fruits = ["apple" , "banana" , "strawberry"]

リストの出力、要素の取得
リストの出力

fruits = ["apple" , "banana" , "strawberry"]

print(fruits)

出力結果
["apple" , "banana" , "strawberry"]

---

リストの要素の取得
変数[インデックス番号]
変数はリストを代入したもの

fruits = ["apple" , "banana" , "strawberry"]

print("好きな果物は" + fruits[1] + "です")

出力結果
好きな食べ物はbananaです

---

＊＊要素の上書き**
リスト[インデックス番号] = 値

fruits = ["apple" , "banana" , "strawberry"]

fruits[1] = "kiwi"

**要素の追加＊＊
リスト.append(値)

fruits = ["apple" , "banana" , "strawberry"]

fruits.append("kiwi")

はじめに

プログラミング初心者なので暖かい目でこの記事を見ていただけると幸いです。

環境

Windows10
Python 3.7.6
newsapi-python 0.2.6
Django 3.0.6
DateTime 4.3

また作成時のディレクトリの名前は以下の通りになります。

sample_news
├─news
├─sample_news
├─static
└─manage.py

NewsAPIの導入

NewsAPIのサイトに行きメールアドレスを入力してAPIキーを取得し、そのAPIキーはメモしておいてください。
その後pipでNewsAPIのライブラリをインストールしてください。

pip install newsapi-python

sample_newsにあるsetting.pyに以下のコードを追加してNewsAPIを使えるようにしてください。
api_keyは自分のメモしたキーを入力して下さい。

setting.py

from newsapi import NewsApiClient

newsapi=NewsApiClient(api_key='xxxxxxxxxxxxxxxxxxxxxx')

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    'news.apps.NewsConfig',
    'newsapi',
]

これでNewsAPIが使えるようになりました。

ニュースアプリの作成

ルーティングの設定

ルーティングを設定するためにsample_newsのurls.pyに以下のコードを追加してください。

sample_news/urls.py

from django.contrib import admin
from django.urls import path,include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('',include('news.urls')),
]

次にnewsにurls.pyを作成し以下のコードを入力しました。

news/urls.py

from django.urls import path
from.import views

app_name = 'news'
urlpatterns = [
    path('', views.IndexView.as_view(), name="index"),
    path('docomo/',views.DocomoView.as_view(),name="docomo"),
    path('au/',views.AuView.as_view(),name="au"),
    path('softbank/',views.SoftbankView.as_view(),name="softbank")
]

NewsAPIでニュースを取得する

NewsAPIではトップニュースを取得する方法と過去の一定の期間のニュースを取得する方法の2つがあります。

トップニュースを取得した場合はニュースがなかった場合何も表示されなかったので一定期間のニュースを取得する方法を採用しました。NewsAPIは課金しなかった場合30日前までのニュースを取得できます。

今回はキーワード、期間、表示する順番、ニュースの数を指定しました。
ほかにもタイトルのキーワード、ソース、ドメイン、言語（日本語は不可）などがあります。

news/views.py

from django.views import generic
from newsapi import NewsApiClient
from datetime import datetime, date, timedelta

class IndexView(generic.TemplateView):
    template_name = "index.html"

class DocomoView(generic.TemplateView):
    template_name = "docomo.html"

    def get_context_data(self, **kwargs):
        context=super().get_context_data(**kwargs)
        today = date.today()
        monthago = today-timedelta(days=30)
        newsapi = NewsApiClient(api_key='e56b4ed3346745e3800bc521d085e04b')
        context['all_article']=newsapi.get_everything(q='ドコモ',
                                                      from_param=monthago,
                                                      to=today,
                                                      sort_by='publishedAt',
                                                      page_size=40)
        return context

class AuView(generic.TemplateView):
    template_name = "au.html"

    def get_context_data(self, **kwargs):
        context=super().get_context_data(**kwargs)
        today = date.today()
        monthago = today-timedelta(days=30)
        newsapi = NewsApiClient(api_key='e56b4ed3346745e3800bc521d085e04b')
        context['all_article']=newsapi.get_everything(q='KDDI',
                                                      from_param=monthago,
                                                      to=today,
                                                      sort_by='publishedAt',
                                                      page_size=40)
        return context

class SoftbankView(generic.TemplateView):
    template_name = "softbank.html"

    def get_context_data(self, **kwargs):
        context=super().get_context_data(**kwargs)
        today = date.today()
        monthago = today-timedelta(days=30)
        newsapi = NewsApiClient(api_key='e56b4ed3346745e3800bc521d085e04b')
        context['all_article']=newsapi.get_everything(q='ソフトバンク',
                                                      from_param=monthago,
                                                      to=today,
                                                      sort_by='publishedAt',
                                                      page_size=40)
        return context

これでニュースを取得するプログラムは完成したのであとはコーティングをするだけです。

取得したニュースを表示する

今回はトップページ(index.html)、ドコモのニュースを表示するページ(docomo.html)、auのニュースを表示するページ(au.html)、ソフトバンクのニュース(softbank.html)を表示するページの4つのページと、各ページに共通する部分(base.html)の５つのhtmlファイルを作成しました。

templates
├─au.html
├─base.html
├─docomo.html
├─index.html
└─softbank.html

ドコモのニュースを表示するページは以下の通りです。

今回はタイトルとurlとニュースの画像を取得して表示するようにしました。

docomo.html

{% extends 'base.html' %}
{% block title %}Sample_News | SOFTBANK{% endblock %}
{% block contents %}
<div class="grid">
{% for context in all_article.articles %}
<div class="news">
    <div class="news-wrapper">
        <img class="news-img" src="{{ context.urlToImage }}" alt="">
        <a class="news-title" href="{{ context.url }}">{{ context.title }}</a>
    </div>
</div>
{% endfor %}
</div>
{% endblock %}

このような感じでauとソフトバンクのhtmlファイルも記述します。

最後にCSSでのコーディングをして完成です。

topページ

ドコモのニュースのページ

まとめ

今回はdjangoを勉強した後に初めて作ったwebアプリなので参考書などをたくさん活用して作りました。勉強した後に復讐のために自分でwebアプリを作るとより理解が深められると自分で感じることができました。

検索の単語をドコモはドコモ、auはau、ソフトバンクはソフトバンクでやったのですが、ドコモはドコモのニュースのみが出力されたのですが、auは海外のニュースが、ソフトバンクは野球のニュースが出力されたのでそこを改善していきたいと思います。

また記事を書くのも初めてなので至らぬことがあれば教えていただけるとありがたいです。

参考

• 動かして学ぶ！Python Django開発入門
• Python 3.7.7 documentation
• NewsAPI

目的

データをmatplotlibを使って可視化した後、その結果を定期的にTypetalkに送りたいと思ったので作りました。
ローカルに作成した画像を保存せずにそのまま送信する方法になります。

必要なライブラリ

• requests
• matplotlib
• json
• io

作り方

import requests
import json
import matplotlib.pyplot as plt
import io

image_buffer = io.BytesIO()
plt.plot([1,2,3]) # 折れ線グラフを書く
plt.savefig(image_buffer, format='jpeg') # ここで書き出し

token = '<Typetalkのbotのトークンを取得して代入してください>'
topic_id = '<Typetalkの投稿するトピックIDを代入してください>'

# メッセージ送信用のURL
message_url = f"https://typetalk.com/api/v1/topics/{topic_id}?typetalkToken={token}"

# ファイルアップロード用のURL
upload_file_url = f'https://typetalk.com/api/v1/topics/{topic_id}/attachments?typetalkToken={token}'

files = {'file': ('scatter.jpeg', image_buffer.getvalue(), 'image/jpeg')}

upload_file_result = requests.post(upload_file_url, files=files)

# 実行の確認
print(upload_file_result.status_code)
print(upload_file_result.content)

fileKey = json.loads(upload_file_result.content)['fileKey']

message_result = requests.post(url_message, {'message': '今日の結果!', 'fileKeys[0]': fileKey})

# 実行の確認
print(message_result.status_code)
print(message_result.content)

実行結果

これで定期的なデータのモニタリングができる！

ドキュメントが少し分かりにくかったのでまとめてみる。

APIのパラメータ

1. Type
2. maxResults
3. model ### GCPのCloud Vision APIのTYPEには二種類ある。
4. テキスト検出「TEXT_DETECTION」（大きな画像内のテキストのスパース領域向けに最適化されている）
5. ドキュメントテキスト検出「DOCUMENT_TEXT_DETECTION」（高密度テキストに適している）

OCRの出力の構造はどちらも、

TextAnnotation -> Page -> Block -> Paragraph -> Word -> Symbol

になっている

必要なものをインポート

import base64
import json
from requests import Request, Session
from io import BytesIO
from PIL import Image
import numpy as np

APIキーの獲得

Google Cloud Vision APIのOCRを使ってPythonから文字認識する方法

APIの使い方

def recognize_image1(input_image):#最後にstr_encode_fileに変える

    #pathからbase64にする場合
    def pil_image_to_base64(img_path):
        pil_image = Image.open(img_path)
        buffered = BytesIO()
        pil_image.save(buffered, format="PNG")
        str_encode_file = base64.b64encode(buffered.getvalue()).decode("utf-8")
        return str_encode_file

    #arrayからbase64にする場合
    def array_to_base64(img_array):
        pil_image = Image.fromarray(np.uint8(img_array))
        buffered = BytesIO()
        pil_image.save(buffered, format="PNG")
        str_encode_file = base64.b64encode(buffered.getvalue()).decode("utf-8")
        return str_encode_file 

    def get_fullTextAnnotation(json_data):
        text_dict = json.loads(json_data)
        try:
            text = text_dict["responses"][0]["fullTextAnnotation"]["text"]
            return text
        except:
            print(None)
            return None




    str_encode_file = pil_image_to_base64(input_image) # input_imageを画像のPATHにしたい時はこっちを選択 
    #str_encode_file = array_to_base64(input_image)# input_imageをarrayにしたい時はこっちを選択
    str_url = "https://vision.googleapis.com/v1/images:annotate?key="
    str_api_key = ""#APIキーをここに入れる
    str_headers = {'Content-Type': 'application/json'}
    str_json_data = {
        'requests': [
            {
                'image': {
                    'content': str_encode_file
                },
                'features': [
                    {
                        'type': "DOCUMENT_TEXT_DETECTION",#ここでtypeを選択
                        'maxResults': 1
                    }
                ]
            }
        ]
    }

    obj_session = Session()
    obj_request = Request("POST",
                            str_url + str_api_key,
                            data=json.dumps(str_json_data),
                            headers=str_headers
                            )
    obj_prepped = obj_session.prepare_request(obj_request)
    obj_response = obj_session.send(obj_prepped,
                                    verify=True,
                                    timeout=60
                                    )

    if obj_response.status_code == 200:
        text = get_fullTextAnnotation(obj_response.text)

        return text
    else:
        return "error"

参考

リリースノート
Feature
Google Cloud Visionを使用して縦書きテキストを認識する

はじめに

Pythonでリストのコピーを行う際に注意することをメモします。詳しい内容は「値渡し・参照渡し」などで検索してみてください。　

注意すること

言葉で説明するよりも先に、以下のコードをご覧ください。

X = 2
Y = X
Y = 5
print('Y = ', Y)
print('X = ', X)

これを実行すると、もちろん

Y =  5
X =  2

という結果が得られます。
次に、以下のコードを実行してみてくだいさい。

i = [1, 2, 3, 4, 5]
j = i
j[0] = 100
print('j = ', j)
print('i = ', i)

ここでは、iというリストを決め、jにiを代入し、jのインデックス番号0の値を100にし、iとjをそれぞれ出力するものです。その結果は、

j =  [100, 2, 3, 4, 5]
i =  [100, 2, 3, 4, 5]

となり、 iの方も変更がされてしまいました。
この原因は、次のコードで確かめることができます。

print(id(X))
print(id(Y))
print(id(i))
print(id(j))

4436251808
4436251904
4304286176
4304286176

となり、値を代入したXとYはそれぞれ違うidを持つのに対し、リストを代入したiとjは同じidを持つことがわかりました。そのため、リストではjで行った変更はiにも反映されることになります。
そのため、リストのコピーを行う際は、

j = i.copy()

最後に

リストをコピーすることは少ないと聞いたので、あまり使用頻度は高くないと思いますが、バグに繋がらないよう、注意してください。

大量のデータをDBへ格納する際など、バッチオブジェクトに一定量の書き込み処理を蓄積し、定期的にコミットするという処理を行うことがあります。

上記を行うための、配列を一定間隔で刻みながら処理する方法のPythonのコードによるメモです。
もっと良い方法をご存知でしたらご指摘いただけると幸いです。

更新：指摘を頂き、方法４を追加（@shiracamusさんありがとうございます）

方法１（専用のカウンタを使う）

data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

q = []
batch_size = 3
batch_count = 0
for d in data:
    print("{}".format(d))
    q.append(d)
    batch_count += 1
    if batch_count == batch_size:
        print("commit {}".format(q))
        q = []
        batch_count = 0

print("commit {}".format(q))

> python sample1.py
a
b
c
commit ['a', 'b', 'c']
d
e
f
commit ['d', 'e', 'f']
g
h
commit ['g', 'h']

方法２（インデックスと剰余を使う）

data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

q = []
batch_size = 3
for i, d in enumerate(data):
    print(d)
    q.append(d)
    if (i + 1) % batch_size == 0:
        print("commit {}".format(q))
        q = []

print("commit {}".format(q))

> python sample2.py
a
b
c
commit ['a', 'b', 'c']
d
e
f
commit ['d', 'e', 'f']
g
h
commit ['g', 'h']

方法３（最後のコミットを工夫する）

最後のcommitの記述をなくせてコードの見通しが良い方法です。

予めデータサイズを取得する必要があるのでイテラブルなデータには使えないのと、判定処理の効率が悪いのが弱点です。

data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

q = []
last = len(data)
batch_size = 3
for i, d in enumerate(data):
    print(d)
    q.append(d)
    if ((i + 1) % batch_size == 0) | ((i + 1) == last):
        print("commit {}".format(q))
        q = []

> python sample3.py
a
b
c
commit ['a', 'b', 'c']
d
e
f
commit ['d', 'e', 'f']
g
h
commit ['g', 'h']

方法３＋アルファ

Pythonのenumerateは第二引数で開始番号を指定できるので、方法３はもう少しシンプルにできます。

data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

q = []
last = len(data)
batch_size = 3
for n, d in enumerate(data, 1):
    print(d)
    q.append(d)
    if (n % batch_size == 0) | (n == last):
        print("commit {}".format(q))
        q = []

> python sample3.py
a
b
c
commit ['a', 'b', 'c']
d
e
f
commit ['d', 'e', 'f']
g
h
commit ['g', 'h']

方法４（スライスを利用する）

オシャレな方法（@shiracamusさん、ありがとうございます）
バッチオブジェクトのqに配列で渡せない場合はfor inなどでバラす。

data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']

batch_size = 3
for i in range(0, len(data), batch_size):
    q = data[i:i+batch_size]
    print("commit", q)

> python sample3.py
commit ['a', 'b', 'c']
commit ['d', 'e', 'f']
commit ['g', 'h']

参考

方法４で、GCPのfirestoreにバッチインサートの上限の500件づつデータを追加するサンプルです。

    db = firestore.Client()

    records_collection = db.collection("<COLLECTION NAME>")

    batch = db.batch()
    batch_size = 500
    for i in range(0, len(data), batch_size):
        for row in data[i:i + batch_size]:
            batch.set(records_collection.document(), row)
        print('committing...')
        batch.commit()
        batch = db.batch()

概要

gRPC について調べたことをまとめました。
また、公式のチュートリアルをpythonで動かしてみました。

適宜触り次第更新していきます。

gRPCとは

gRPCとは、オープンソースの高機能な Remote Procedure Call フレームワークです。gRPCにより、クライアント/サーバーのアプリケーション間の通信が透明になり、かつ簡単に構築できます。

とあります。気になるので公式のウェブサイトをみてみましょう。

gRPCを使うことで何がうれしいのか

gRPCを使うと、リモート上のサーバの関数をローカルのもののように呼ぶことができ、これにより分散されたサービスやアプリケーションを作るのが楽になります。
gPRCをサポートした言語で書けるので、gPRCサーバを Javaで書き、clientをpythonで書く、みたいなことも容易にできます。ここでの違う言語間のコミュニケーションの複雑さが、　gPRCによってハンドリングされます。

Protocol Buffer について

gPRCではProtocol Bufferというものがデフォルトでは使われ（jsonなどのフォーマットを使うことも可能です）ます。Protocol Bufferは .protoファイルで定義されますが、その形式はXMLファイルなどに比べてとても軽い（3~10倍軽い）、また、高速（20~100倍速い）です。この.protoファイルにサービスで使うメソッドや、データのやりとりに使う構造体を定義すると、そのシリアライゼーションやディシリアライゼーションは、protoコンパイラを通すことで簡単に行うことができます。それにより、各言語で転送される構造体を扱うアクセッサ（クラス）が定義され、構造体のプロパティなどを設定できるセッターやゲッターなども勝手に作られます。
したがって、.protoファイルを定義することで、各言語間であってもサービスを簡単に構築できる、また、シリアライゼーションなどの差異も吸収してくれるということです。
すごい！！

というわけで、PythonとC++でチュートリアルやってみます。

gRPCチュートリアル

Python

必要なものをpip install します。

pip install grpcio grpcio-tools

このとき、最新のバージョンが入ってないかも知れないので、grpcio のバージョンの確認をきちんとしときましょう！

必要なレポジトリをクローンします。

git clone -b v1.28.1 https://github.com/grpc/grpc && cd grpc/examples/python/helloworld

２つターミナル開いて、片方で

python greeter_server.py

もう片方で

python greeter_client.py

をやってみます。
クライアント側で、

Greeter client received: Hello, you!

と出れば成功です！！

さらに、gRPCのサービスにもう１つメソッドを追加してみます。

ここでは、もともとあったSayHelloに加え、SayHelloAgainを追加します。

examples/protos/helloworld.proto

// The greeting service definition.
service Greeter {
  // Sends a greeting
  rpc SayHello (HelloRequest) returns (HelloReply) {}
  // Sends another greeting
  rpc SayHelloAgain (HelloRequest) returns (HelloReply) {}
}

// The request message containing the user's name.
message HelloRequest {
  string name = 1;
}

// The response message containing the greetings
message HelloReply {
  string message = 1;
}

サービスを更新します。

examples/python/helloworldで、

python -m grpc_tools.protoc -I../../protos --python_out=. --grpc_python_out=. ../../protos/helloworld.proto

を実行し、
greeter_server.py 及びgreeter_client.py を更新します。

greeter_server.py

class Greeter(helloworld_pb2_grpc.GreeterServicer):

  def SayHello(self, request, context):
    return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name)

  def SayHelloAgain(self, request, context):
    return helloworld_pb2.HelloReply(message='Hello again, %s!' % request.name)

greeter_client.py

def run():
  channel = grpc.insecure_channel('localhost:50051')
  stub = helloworld_pb2_grpc.GreeterStub(channel)
  response = stub.SayHello(helloworld_pb2.HelloRequest(name='you'))
  print("Greeter client received: " + response.message)
  response = stub.SayHelloAgain(helloworld_pb2.HelloRequest(name='you'))
  print("Greeter client received: " + response.message)

以上ができたら、以前の

２つターミナル開いて、片方で

python greeter_server.py

もう片方で

python greeter_client.py

を実行します。

Greeter client received: Hello, you!
Greeter client received: Hello again, you!

こう出るはずです！

今回は、gRPCについて調べ、
公式のチュートリアルを走らせ、.protoファイルなどについて少し理解を深められたかと思います。
引き続きいろんなことを試し次第更新、もしくは別記事に書きたいと思います！！

今回はこの辺で。

おわり。