自分の備忘録を兼ねて、問題の直接原因とは関係のないソースコードも記載

事象

pythonでiniファイルを読み込む処理を行おうとしたら、
何故か、KeyError が出てしまい上手く行かない。

ソースは以下の通り

config.ini

[USER_INFO]
address=testUser
password=testpass

test.py

import configparser
config = configparser.ConfigParser()
config.read('./config.ini', encoding='utf-8')

address = config['USER_INFO']['address']

keyの値が間違っている様子もない。

config.iniが読み込めていないのではないかと思い、ファイルの存在確認。
結果、Falseが返却された。

import os

print(os.path.exists('./config.ini'))

フォルダの取得がうまくいっていなかった。

【原因＆解決方法】

プログラムを実行する際に、VSCodeから実行をしていたのだが、
実行する際のカレントディレクトリがtest.pyの存在しているファイルではなかったことが原因。

test.pyが存在するディレクトリに移動してから実行したら、無事にiniファイルからの値の取得もうまくいった。

この記事の目的

複数のクラスターの散布図を描いたときに, 点が重なって見づらいことありますよね.
そこで, Plotlyを使って１クラスターずつ確認できるようなプロットを作成しました.

背景

例えば, 5つのクラスターに分かれたxy座標を持つこんなデータがあったとき,

例えば, seabornなら１行で以下のプロットが描けます.

sns.scatterplot(x="x", y="y", hue="class", data=df)

ただ, 上のままだとちょっと見づらいので, 透明度alphaを指定しますが,

sns.scatterplot(x="x", y="y", hue="class", data=df, alpha=0.5)

少し改善したものの, 今回のデータでは相変わらず見づらいです.

そこでクラスターを１つ１つ分けてプロットすることができれば...と考えPlotlyを使ってみました.

解説

まず, ライブラリの準備をして,

import numpy as np
import pandas as pd

import seaborn as sns
import matplotlib.pyplot as plt
import plotly.graph_objects as go
import plotly

ダミーデータを準備します.

x0 = np.random.normal(2, 0.8, 400)
y0 = np.random.normal(2, 0.8, 400)
x1 = np.random.normal(3, 1.2, 600)
y1 = np.random.normal(6, 0.8, 600)
x2 = np.random.normal(4, 0.4, 200)
y2 = np.random.normal(4, 0.8, 200)
x3 = np.random.normal(1, 0.8, 300)
y3 = np.random.normal(3, 1.2, 300)
x4 = np.random.normal(1, 0.8, 300)
y4 = np.random.normal(5, 0.8, 300)

df = pd.DataFrame()

df["x"] = np.concatenate([x0, x1, x2, x3, x4])
df["y"] = np.concatenate([y0, y1, y2, y3, y4])
df["class"] = ["Cluster 0"]*400 + ["Cluster 1"]*600 + ["Cluster 2"]*200+ ["Cluster 3"]*300+ ["Cluster 4"]*300

続いて, 本題のプロット部分ですが,
先にすべてのコードを一旦お見せします.

def plotly_scatterplot(x, y, hue, data, title=""):
    cluster = df[hue].unique()
    n_cluster = len(cluster)
    colors = plt.rcParams['axes.prop_cycle'].by_key()['color']

    fig = go.Figure()

    button = []
    tf = [True]*n_cluster
    tmp = dict(label="all",
               method="update",
               args=[{"visible": tf}]
               )
    button.append(tmp)

    for i,clu in enumerate(cluster):
        fig.add_trace(
            go.Scatter(
                x = df[df[hue]==clu][x],
                y = df[df[hue]==clu][y],
                mode="markers",
                name=clu,
                marker=dict(color=colors[i])
                )
            )

        tf = [False]*n_cluster
        tf[i] = True
        tmp = dict(label=clu,
                   method="update",
                   args=[{"visible": tf}]
                   )
        button.append(tmp)


    fig.update_layout(
        updatemenus=[
            dict(type="buttons",
                 x=1.15,
                 y=1,
                 buttons=button
                 )
            ])

    x_min = df[x].min()
    x_max = df[x].max()
    x_range = x_max - x_min
    y_min = df[y].min()
    y_max = df[y].max()
    y_range = y_max - y_min

    fig.update_xaxes(range=[x_min-x_range/10, x_max+x_range/10])
    fig.update_yaxes(range=[y_min-y_range/10, y_max+x_range/10])
    fig.update_layout(
    title_text=title,
    xaxis_title=x,
    yaxis_title=y,
    showlegend=False,
    )

    fig.show()
    #plotly.offline.plot(fig, filename='graph.html')

めちゃくちゃ長くてすみません...
ポイントは２か所あります.

ポイント１

fig.add_trace(
    go.Scatter(
        x = df[df[hue]==clu][x],
        y = df[df[hue]==clu][y],
        mode="markers",
        name=clu,
        marker=dict(color=colors[i])
        )
    )

この部分では, データフレームdfの中のクラスター１つ１つの散布図を作成しています. colorsにはpltで自動で選択される色列が入っているので, color=colors[i]で, それを順番に指定しています.

ポイント２

tf = [False]*n_cluster
tf[i] = True
tmp = dict(label=clu,
           method="update",
           args=[{"visible": tf}]
           )
button.append(tmp)

tfには[False, True, False, False, False]のように真偽値が入っていて, どのtraceを表示・非表示にするかを選択しています.
今回は, fig.add_traceで5枚の散布図が重なっていて, その何枚目を表示するかということです. tf=[True, True, True, True, True]とすべてTrueにすれば, 全データの散布図が表示されます.

あとは, 次の１行で,

plotly_scatterplot(x="x", y="y", hue="class", data=df, title="Scatter Plot")

冒頭のプロットが描けます.

以上！

参考

Plotly：Update Button
stack overflow：Get default line colour cycle

概要

1.　Pyhtonでアルゴリズムまで書いてあるのは速度面では好ましくないな〜
2.　よし、C, C++あたりで書いてあるものを探して、それをPythonから呼んで高速化しよう。
3.　なかなかいいライブラリ見つからんな、
4.　おっ、Rustていう言語で書かれてるのならあったぞ
5.　RustてPythonから呼べんのか？？

これは、PythonからRustを呼んで高速化! PyO3 チュートリアル：クラスをラップする その➀

の続きになります。

目標

目標は、
Rustのクラス（struct + method）を定義し、それをPythonから呼ぶ
でしたが、
前回でRustで書かれたクラスをPythonから呼ぶ方法を解説しました。

クラスのコンストラクタおよび、プロパティのgetter,setterもPythonからPyO3経由で呼ぶことができました。

今回は、クラスメソッドをいくつか追加して、RustからPythonへの型にPyO3経由で変換するところを解説していきます。

PyO3のgitレポジトリ(ここ)を参照し、

RustのオブジェクトをPython側にどうPyO3で引き渡すかを解説します。

• Vec -> List
• Hashmap -> Dict
• Vec -> Tuple

などです。

手順

前回までにcargo new --lib exampleで作ったプロジェクトを使用します。
新しく作ってももちろん問題ありません。

おさらいとして、前回はクラスのコンストラクタ、プロパティのnumのgetter, setter をPyO3経由でPythonから呼べるようにしました。
以下が、前回完成させたコードです。

//lib.rs
use pyo3::prelude::*;
use pyo3::{wrap_pyfunction};


// ======================RUST CLASS TO PYTHON ======================================
/// Class for demonstration
// this class, MyClass can be called from python
#[pyclass(module = "my_class")]
struct MyClass {
   num: i32,
   debug: bool,
}

#[pymethods]
impl MyClass{
    #[new]
    fn new(num:i32, debug:bool) -> Self{
        MyClass{
            num: num,
            debug: debug
        }
    }

    #[getter]
    fn get_num(&self) -> PyResult<i32>{
        Ok(self.num)
    }

    #[setter]
    fn set_num(&mut self, num: i32) -> PyResult<()>{
        self.num = num;
        Ok(())
    }
}


// =================CREATING MODULE FOR PYTHON=========================
/// This module is a python module implemented in Rust.
#[pymodule]
fn test_library(py: Python, m: &PyModule) -> PyResult<()> {
    m.add_wrapped(wrap_pyfunction!(get_prime_numbers))?;
    m.add_class::<MyClass>()?;

    Ok(())
}

このMyClassに、今回は関数を６つ追加します。
早速ですが、以下がコードです。

//lib.rs

use pyo3::types::PyType;
use pyo3::types::PyInt;
use pyo3::types::PyList;
use pyo3::types::PyTuple;
use pyo3::types::PyDateTime;
use std::collections::HashMap;

#[pymethods]
impl MyClass{

    fn test1(&self) -> PyResult<bool>{
        if self.num > 3{
            Ok(true)
        }else{
            Ok(false)
        }
    }

    fn test2(&self) -> PyResult<String>{
        if self.debug == true{
            let result: &str = "your debug is True";
            Ok(result.to_string())
        }else{
            let result: &str = "your debug is False";
            Ok(result.to_string())
        }
    }

    fn test3<'py>(&self, py: Python<'py>) -> PyResult<&'py PyList>{
        let mut vec = vec![1,2,3];
        let result = PyList::new(py, &vec);
        Ok(result)
    }

    fn test4(&self, py: Python) -> PyResult<PyObject>{
        let mut map = HashMap::new();
        map.insert("key1", 1);
        map.insert("key2", 2);
        map.insert("key3", 3);
        assert_eq!(map["key1"], 1);
        assert_eq!(map["key2"], 2);
        assert_eq!(map["key3"], 3);
        Ok(map.to_object(py))

    }

    fn test5(&self) -> PyResult<f64>{
        let result:f64 = 1.23;
        Ok(result)
    }

    fn test6<'py>(&self, py: Python<'py>, dt: &PyDateTime) -> PyResult<&'py PyTuple>{
        let mut vec = vec![3,4,5];
        let result = PyTuple::new(py, &vec);
        Ok(result)

    }
}

fn test1

Rustのboolを、PythonのboolへとPyO3経由で受け渡ししています。

fn test2

RustのStringを、PythonのstrへとPyO3経由で受け渡ししています。

fn test3

RustのVecを、PythonのListへとPyO3経由で受け渡ししています。
この書き方がきちんと理解できてません。。

fn test4

RustのHashmapを、PythonのDictへとPyO3経由で受け渡ししています。

fn test5

Rustのf64を、PythonのfloatへとPyO3経由で受け渡ししています。

fn test6

RustのVecを、PythonのtupleへとPyO3経由で受け渡ししています。この際、関数の引数として、PythonのDatetimeを受け取っています。
この書き方がきちんと理解できてません。。

testを実行する

test3, test6に関しては、正直書き方がうまく理解できていませんが、テストを実行します。
前回と同じようにCargo.toml、setup.pyを用意することで、

python setup.py install

でビルドすることができます。

その後、test.pyを以下のように準備し、テストを実行します。

test.py

import test_library 


if __name__  == "__main__":

    # Testing class
    print("\ntest for class")
    num = 2
    debug = True
    test = test_library.MyClass(num=num, debug=debug)

    print(test.num) # getter test
    test.num = 4    # setter test
    print(test.num)
    result = test.test1()
    print(result)
    print(type(result))

    result = test.test2()
    print(result)
    print(type(result))

    result = test.test3()
    print(result)
    print(type(result))

    result = test.test4()
    print(result)
    print(type(result))

    result = test.test5()
    print(result)
    print(type(result))

    import datetime 
    now = datetime.datetime.now()
    result = test.test6(now)
    print(result)
    print(type(result))

まとめ

今回は、クラスメソッドをいくつか追加して、RustからPythonへの型にPyO3経由で変換するところを解説しました。
Cythonよりは比較的わかりやすい感覚があるものの、PyO3自体バージョンがどんどん更新されているため、一番いいのはバージョンをきちんと意識して（Fixして）開発するか、
もしくはGitをきちんと追い、APIの呼び方の変更にきちんと気を配るべきでしょう。

ただ、Rust面白いので、これからも勉強していこうと思います。

今回はこの辺で。

おわり。

「超簡単！標準アプリ」で使われているチェックサムの計算方法は、バイトごとの和の補数。

バイト文字列を入れると補数を計算してくれるツールを作りました。
言語は Python です。

#!/usr/bin/env python3
import sys
chain = sys.argv[1]
chainbytes = bytes.fromhex(chain)
sum = 0
for item in chainbytes:
    sum=sum+item
twilitechecksum = 256 - ( sum % 256 )
print('{:02X}'.format(twilitechecksum))

実行すると、

 ./checksum.py  00A01301FF123456
B1

となるので、TWELITEには

00A01301FF123456B1

を送ると良い。

メモ。

docker pull tensorflow/tensorflow:latest-gpu-py3


docker run -it -p 8888:8888 -v $HOME:$HOME tensorflow/tensorflow:latest-gpu-py3 bash


特に重要なのはgpuが入っていること。
これがなかったらエラーが出た。
jupyterのoptionでやってもできたが、python2になった。

概要

以下の様に、Google 検索のトップページにあるロゴをテキストに変換し、それをHTML上で表示します。

↓

実行ステップ

1. Google 検索のトップページをスクレイピングして Google のロゴ画像のURLを取得します。さらに、画像をダウンロードします。
2. ロゴ画像にOCRをかけてテキスト化します。
3. このテキストをHTML上で表示します。

事前にライブラリをインストール

bash

# ステップ 1 用
pip install beautifulsoup4

# ステップ 2 用
brew install tesseract
pip install pyocr

# ステップ 3 用
pip install jinja2

実行

ステップ1：ロゴ画像のダウンロード

python

import requests
from bs4 import BeautifulSoup

# html 取得
url = 'https://www.google.com'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

# 画像を抽出
img = soup.find('img', {'id': 'hplogo'})

# 画像のURLを作成
img_url = 'https://www.google.com' + img['src']

# 画像をダウンロード
r = requests.get(img_url)

# 画像を保存
with open('hplogo.jpg' ,'wb') as file:
    file.write(r.content)

ステップ2：OCRでロゴ画像をテキスト化

python

from PIL import Image
import pyocr
import pyocr.builders

# 事前設定 1
tools = pyocr.get_available_tools()
tool = tools[0]

# 事前設定 2
builder = pyocr.builders.TextBuilder()

# 画像をロード
img = Image.open('hplogo.jpg')

# OCRを実行
result = tool.image_to_string(img, builder=builder)

ステップ3：テキストをHTML上で表示

python

from jinja2 import Template

# view を生成
html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <title>The Farther Reaches Of Human Nature</title>
</head>
<body>

    <h1>{{ result }}</h1>

</body>
</html>
'''
template = Template(html)
data = { 'result': result }
view = template.render(data)

# 保存
with open('hplogo.html', 'w', encoding='utf-8') as f:
    f.write(view)

生成されるhplogo.htmlをブラウザで開くと次のように「Google」というテキストが表示されるはずです。（画像を再掲）

参考

10分で理解する Beautiful Soup - Qiita
Pythonで画像スクレイピングをしよう - Qiita
PythonでOCRを実行する方法 | ガンマソフト株式会社
Pythonで久しぶりにHTMLを出力したくなったのでテンプレートについて調べる - Qiita

概要

以下の様に、Google 検索のトップページにあるロゴをテキストに変換し、それをHTML上で表示します。

↓

応用例

画像形式でネット上に公開されている英文の書物などをこの方法でHTMLにまとめ、 Chrome のページ翻訳機能で日本語化して読む、という応用ができます。

実行ステップ

1. Google 検索のトップページをスクレイピングして Google のロゴ画像のURLを取得します。さらに、画像をダウンロードします。
2. ロゴ画像にOCRをかけてテキスト化します。
3. このテキストをHTML上で表示します。

事前にライブラリをインストール

bash

# ステップ 1 用
pip install beautifulsoup4

# ステップ 2 用
brew install tesseract
pip install pyocr

# ステップ 3 用
pip install jinja2

実行

ステップ1：ロゴ画像のダウンロード

python

import requests
from bs4 import BeautifulSoup

# html 取得
url = 'https://www.google.com'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

# 画像を抽出
img = soup.find('img', {'id': 'hplogo'})

# 画像のURLを作成
img_url = 'https://www.google.com' + img['src']

# 画像をダウンロード
r = requests.get(img_url)

# 画像を保存
with open('hplogo.jpg' ,'wb') as file:
    file.write(r.content)

ステップ2：OCRでロゴ画像をテキスト化

python

from PIL import Image
import pyocr
import pyocr.builders

# 事前設定 1
tools = pyocr.get_available_tools()
tool = tools[0]

# 事前設定 2
builder = pyocr.builders.TextBuilder()

# 画像をロード
img = Image.open('hplogo.jpg')

# OCRを実行
result = tool.image_to_string(img, builder=builder)

ステップ3：テキストをHTML上で表示

python

from jinja2 import Template

# view を生成
html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <title>The Farther Reaches Of Human Nature</title>
</head>
<body>

    <h1>{{ result }}</h1>

</body>
</html>
'''
template = Template(html)
data = { 'result': result }
view = template.render(data)

# 保存
with open('hplogo.html', 'w', encoding='utf-8') as f:
    f.write(view)

生成されるhplogo.htmlをブラウザで開くと次のように「Google」というテキストが表示されるはずです。（画像を再掲）

参考

10分で理解する Beautiful Soup - Qiita
Pythonで画像スクレイピングをしよう - Qiita
PythonでOCRを実行する方法 | ガンマソフト株式会社
Pythonで久しぶりにHTMLを出力したくなったのでテンプレートについて調べる - Qiita

はじめに

このページは，

Tello-Pythonのサンプル「Tello_Video」を動かす

の補足ページです．

※注意
筆者のMacは古い（High Sierra）ので，試したのはXcode 10です．
新しいMacでは別の問題が生じるかもしれません．．．

概要

DJI公式のTello用Pythonサンプルプログラム「Tello-Python」のうち，
　Tello_Video
を試すためには、あらかじめ

• 様々な依存ライブラリのインストール
• H.264ビデオのデコードライブラリのビルド

を行う必要があります。

gitの Tello-Pythonのページ には，インストール方法として

・Mac

 i. Make sure you have the latest Xcode command line tools installed. If not, you might need to update your OS X and XCode to the latest version in order to compile the h264 decoder module
ii. Go to the "install\Mac" folder folder in command line, run

   chmod a+x ./mac_install.sh
   ./mac_install.sh

If you see no errors during installation, you are good to go!

と書いてあります．
すなわち，Macの開発環境であるXcodeのコマンドラインツールをインストールした後で，

フォルダ移動・ファイルの属性変更・シェルファイル実行

$ cd install/Mac/
$ chmod a+x ./mac_install.sh
$ ./mac_install.sh

とコマンドを打てよ，ということです．
mac_install.shが，Mac用の環境構築を自動的に行ってくれるシェルスクリプトです．

Macに精通した方は「なんだ，shファイルがあるなら実行すればスグじゃん」と思うでしょう．
しかし，そのまま実行すると

• matplotlibのインストール時にnoseとtornadoが無いと言われる．
• OpenCVのバージョンが3.x系がインストールされない．（4.x系になる）
• h264デコードライブラリのビルド前に，cmakeが通らない

という不具合が生じます．

というわけで，mac_install.shを書き換えます．

参考にしたページ

・Command Line Toolsのインストール方法　　筆者はこちらでXcode10用を探してインストールした
・MavericksでCommand Line Tools for Xcodeをインストールする　　既にGUI版のXcodeがインストールされている人向け
・Python:[pip install requests]実行時の[matplotlib 1.3.1 requires nose, which is not installed.]の対処方法
・Tello_Video & Tello_Video_With_Pose_Recognition #41 #42

前提条件

ホームフォルダ(~)にTello-Pythonがインストールされているという前提で話を進めます．

ディレクトリの移動

まずはコンソール(端末)を開き，以下のコマンドを打って，Tello-Videoのフォルダへ移動します．

cd(change_directory)

$ cd ~/Tello-Python/Tello-Video

lsコマンドでTello_Videoディレクトリの中を見てみると，

Tello_Videoの中身

$ ls
LICENSE.md  README.md  h264decoder  img  install  main.py  tello.py  tello_control_ui.py

installというディレクトリがあることが分かります．
このディレクトリの中身は，

installディレクトリの中

$ ls install/
Linux  Mac  Windows

この様になっていて，Linux，Mac，Windowsそれぞれのディレクトリにインストール用のファイルが置いてあるのですが，どれも古くて使い物になりません．

ですが，Macは多少の変更で対応できます．

Mac_install.shの書き換え

Macの場合，mac_install.shの中身を少し書き換えれば，自動インストールできます．

※加えた変更
easy_installでnoseとtornadoをインストールするように追記しました．
OpenCVのバージョンははSHIFTの使える3.4.2.17にしました．
cmakeでboost_pythonが無いというトラブルは，issueの通りに書き換えました．
　

テキストエディタ(テキストエディット,miなど)を使って以下の様に mac_install.sh を書き換えてください．

mac_install.sh

#!/bin/sh



echo 'Compiling and Installing the Tello Video Stream module'

echo 'You might need to enter your password'

# go to /sample_code folder
cd ..
cd ..

# install Homebrew

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

brew update



# install pip

#sudo easy_install pip

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
sudo python get-pip.py

# install cmake

brew install cmake



# install dependencies

brew install boost

brew install boost-python

brew install ffmpeg

brew install tcl-tk

# added by hsgucci
sudo easy_install nose

# added by hsgucci
sudo easy_install tornado

sudo pip install numpy --ignore-installed

sudo pip install matplotlib --ignore-installed

sudo pip install pillow --ignore-installed

sudo pip install opencv-python==3.4.2.17 --ignore-installed



# pull and build h264 decoder library

cd h264decoder


mkdir build

cd build

# comment out by hsgucci
#cmake ..

# added by hsgucci
cmake -D Boost_NO_BOOST_CMAKE:BOOL=ON ..

make



# copy source .so file to tello.py directory

cp libh264decoder.so ../../



echo 'Compilation and Installation Done!'

mac_install.shの実行

書き換えたら，シェルファイルのあるフォルダへ移動して，
chmodで実行権限を与え，実行します．

フォルダ移動・ファイルの属性変更・シェルファイル実行

$ cd ~/Tello-Python/Tello_Video/install/Mac/
$ chmod a+x mac_install.sh
$ ./mac_install.sh

以上で自動インストールされます．

インストールが完了したら，Tello-Videoのディレクトリに戻っておきましょう．

２つ上の階層へもどる

$ cd ../../

これで作業は完了です．

注意点

mac_install.shでのインストールで注意すべき点は，
必ず~/Tello-Python/Tello_Video/install/Mac/へカレントディレクトリを移動させ，
そこでmac_install.shを実行すること　です．

というのは，

mac_install.shの一部を抜粋

cd ..    # １つ上のディレクトリへ移動
cd ..    # １つ上のディレクトリへ移動
# Homebrew のインストール
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
brew update

(略)

# pull and build h264 decoder library
cd h264decoder    # h264decoderというフォルダへ入る
mkdir build
cd build          # buildというフォルダへ入る
cmake ..
make

# copy source .so file to tello.py directory
cp libh264decoder.so ../../      # ２階層上のフォルダへファイルをコピー

この様に，フォルダを２階層上がってaptやpipのインストールを行い，
h264decoderフォルダへ移動してライブラリのビルド＆コピーを行っているからです．

もしも，Tello_Videoフォルダから以下の様に

このように直接ファイルを呼んではいけない

$ ./install/Mac/mac_install.sh

相対パス指定してシェルを実行するとどうなるでしょうか．
~/Tello-Python/Tello_Video/の２階層上，すなわちホームディレクトリ~/まで上がってh264decoderへ入ろうとしてしまいます．当然そんなフォルダはありませんから，ビルドできるわけがありません．

おわりに

やっとLinux, Raspberry Pi，Windows，Macが全部終わった〜（喜
でも時代はPython3．．．
　

概要

1.　Pyhtonでアルゴリズムまで書いてあるのは速度面では好ましくないな〜
2.　よし、C, C++あたりで書いてあるものを探して、それをPythonから呼んで高速化しよう。
3.　なかなかいいライブラリ見つからんな、
4.　おっ、Rustていう言語で書かれてるのならあったぞ
5.　RustてPythonから呼べんのか？？

これは、PythonからRustを呼んで高速化！ PyO3 チュートリアル：簡単な関数をラップする　その➁

の続きになります。

目標

Rustのクラス（struct + method）を定義し、それをPythonから呼ぶ
ことを目標にします。

今回は、クラスのパースの仕方と、getter, setterのPyO3経由での呼び方まで解説します。

手順

前回cargo new --lib exampleで作ったプロジェクトを使用します。
新しく作ってももちろん問題ありません。

クラスの宣言

lib.rs に以下のように書きます。

//lib.rs

use pyo3::prelude::*;
// ======================RUST CLASS TO PYTHON ======================================
/// Class for demonstration
// this class, MyClass can be called from python
#[pyclass(module = "my_class")]
struct MyClass {
   num: i32,
   debug: bool,
}

ここで、

#[pyclass(module = "my_class")]

により、PyO3を経由してPythonから呼べるようにしています。(module = "my_class")はおまじないのように書きましたが、あまり意味がわかっていません。すみません。

ここで、MyClassはStructとして定義され、プロパティとして
num: i32 と　debug: boolを持っています。

まず、このクラスをPythonのオブジェクトとして呼べるようにするため、コンストラクタを書きます。

#[pymethods]
impl MyClass{
    #[new]
    fn new(num:i32, debug:bool) -> Self{
        MyClass{
            num: num,
            debug: debug
        }
    }

ここで、implの上に

#[pymethods]

と宣言（デコレート？）されていること、
コンストラクタを示すfn new(num:i32, debug:bool)の上にも

#[new]

と宣言されていること、に注意します。

クラスのモジュールへの追加

これを、以前の関数のように以下のようにモジュールに追加します。

//lib.rs

use pyo3::{wrap_pyfunction};
// =================CREATING MODULE FOR PYTHON=========================
/// This module is a python module implemented in Rust.
#[pymodule]
fn test_library(py: Python, m: &PyModule) -> PyResult<()> {
    m.add_wrapped(wrap_pyfunction!(get_prime_numbers))?;
    m.add_class::<MyClass>()?;

    Ok(())
}

ここで、

m.add_class::<MyClass>()?;

の行でMyClassをモジュールに追加しています。

getter, setter の追加

今回は、クラスの宣言に加えて、プロパティのgetter, setterに関してもPythonから呼べるように書きます。

//lib.rs

#[pymethods]
impl MyClass{
    #[new]
    fn new(num:i32, debug:bool) -> Self{
        MyClass{
            num: num,
            debug: debug
        }
    }

    #[getter]
    fn get_num(&self) -> PyResult<i32>{
        Ok(self.num)
    }

    #[setter]
    fn set_num(&mut self, num: i32) -> PyResult<()>{
        self.num = num;
        Ok(())
    }
}

このように、#[getter], #[setter]のデコレータを使うことで、PyO3経由でPythonからgetter, setterも呼べます。

今回はプロパティであるnumについてだけ書きました。
getterの返り値に関しては、numの型がi32であることから、Python側はPyResult<i32>として受け取ります。
setterの返り値はないので、PyResult<()>と書けます。

どちらもPythonオブジェクトを引き渡す時は、

Ok(self.num)

Ok(())

を使って引き渡すことは前回と同じです。

setup.py を使ってコンパイル

setup.py, Cargo.toml に関しては前回と同じものですが、念のため書いておくと、

Cargo.toml

[package]
name = "test"
version = "0.1.0"
edition = "2018"

[lib]
name = "test_library"
crate-type = ["cdylib"]

[dependencies.pyo3]
version = "0.9.1"
features = ["extension-module"]

setup.py

from setuptools import setup
from setuptools_rust import Binding, RustExtension

setup(name='ope_rust',
        version='0.1',
        rust_extensions=[
            RustExtension('ope_rust', 'Cargo.toml',
                binding=Binding.PyO3)],
            zip_safe=False)

となります。

python setup.py install

を行うことで、コンパイルができます。

テスト実行

以下のようなテストプログラムを実行すると、

test.py

import test_library 

if __name__  == "__main__":
    # Testing class
    print("\ntest for class")
    num = 2
    debug = True
    test = test_library.MyClass(num=num, debug=debug)

    print(test.num) # getter test
    test.num = 4    # setter test
    print(test.num)

$ python test.py

test for class
2
4

となり、確かにクラスをコンストラクトでき、プロパティのget,setが実行できたことがわかりました。

まとめ

目標は、
Rustのクラス（struct + method）を定義し、それをPythonから呼ぶ
でしたが、
今回でRustで書かれたクラスをPythonから呼ぶ方法を解説しました。

クラスのコンストラクタおよび、プロパティのgetter,setterもPythonからPyO3経由で呼ぶことができました。

次回は、クラスのメソッドをいくつか追加して、色々な型変換を解説できたらと思います。

今回はこの辺で。

おわり。

概要

1.　Pyhtonでアルゴリズムまで書いてあるのは速度面では好ましくないな〜
2.　よし、C, C++あたりで書いてあるものを探して、それをPythonから呼んで高速化しよう。
3.　なかなかいいライブラリ見つからんな、
4.　おっ、Rustていう言語で書かれてるのならあったぞ
5.　RustてPythonから呼べんのか？？

これは、PythonからRustを呼んで高速化！ PyO3 チュートリアル：簡単な関数をラップする　その➁

の続きになります。

目標

Rustのクラス（struct + method）を定義し、それをPythonから呼ぶ
ことを目標にします。

今回は、クラスのパースの仕方と、getter, setterのPyO3経由での呼び方まで解説します。

手順

前回cargo new --lib exampleで作ったプロジェクトを使用します。
新しく作ってももちろん問題ありません。

クラスの宣言

lib.rs に以下のように書きます。

//lib.rs

use pyo3::prelude::*;
// ======================RUST CLASS TO PYTHON ======================================
/// Class for demonstration
// this class, MyClass can be called from python
#[pyclass(module = "my_class")]
struct MyClass {
   num: i32,
   debug: bool,
}

ここで、

#[pyclass(module = "my_class")]

により、PyO3を経由してPythonから呼べるようにしています。(module = "my_class")はおまじないのように書きましたが、あまり意味がわかっていません。すみません。

ここで、MyClassはStructとして定義され、プロパティとして
num: i32 と　debug: boolを持っています。

まず、このクラスをPythonのオブジェクトとして呼べるようにするため、コンストラクタを書きます。

#[pymethods]
impl MyClass{
    #[new]
    fn new(num:i32, debug:bool) -> Self{
        MyClass{
            num: num,
            debug: debug
        }
    }

ここで、implの上に

#[pymethods]

と宣言（デコレート？）されていること、
コンストラクタを示すfn new(num:i32, debug:bool)の上にも

#[new]

と宣言されていること、に注意します。

クラスのモジュールへの追加

これを、以前の関数のように以下のようにモジュールに追加します。

//lib.rs

use pyo3::{wrap_pyfunction};
// =================CREATING MODULE FOR PYTHON=========================
/// This module is a python module implemented in Rust.
#[pymodule]
fn test_library(py: Python, m: &PyModule) -> PyResult<()> {
    m.add_wrapped(wrap_pyfunction!(get_prime_numbers))?;
    m.add_class::<MyClass>()?;

    Ok(())
}

ここで、

m.add_class::<MyClass>()?;

の行でMyClassをモジュールに追加しています。

getter, setter の追加

今回は、クラスの宣言に加えて、プロパティのgetter, setterに関してもPythonから呼べるように書きます。

//lib.rs

#[pymethods]
impl MyClass{
    #[new]
    fn new(num:i32, debug:bool) -> Self{
        MyClass{
            num: num,
            debug: debug
        }
    }

    #[getter]
    fn get_num(&self) -> PyResult<i32>{
        Ok(self.num)
    }

    #[setter]
    fn set_num(&mut self, num: i32) -> PyResult<()>{
        self.num = num;
        Ok(())
    }
}

このように、#[getter], #[setter]のデコレータを使うことで、PyO3経由でPythonからgetter, setterも呼べます。

今回はプロパティであるnumについてだけ書きました。
getterの返り値に関しては、numの型がi32であることから、Python側はPyResult<i32>として受け取ります。
setterの返り値はないので、PyResult<()>と書けます。

どちらもPythonオブジェクトを引き渡す時は、

Ok(self.num)

Ok(())

を使って引き渡すことは前回と同じです。

setup.py を使ってコンパイル

setup.py, Cargo.toml に関しては前回と同じものですが、念のため書いておくと、

Cargo.toml

[package]
name = "test"
version = "0.1.0"
edition = "2018"

[lib]
name = "test_library"
crate-type = ["cdylib"]

[dependencies.pyo3]
version = "0.9.1"
features = ["extension-module"]

setup.py

from setuptools import setup
from setuptools_rust import Binding, RustExtension

setup(name='ope_rust',
        version='0.1',
        rust_extensions=[
            RustExtension('ope_rust', 'Cargo.toml',
                binding=Binding.PyO3)],
            zip_safe=False)

となります。

python setup.py install

を行うことで、コンパイルができます。

テスト実行

以下のようなテストプログラムを実行すると、

test.py

import test_library 

if __name__  == "__main__":
    # Testing class
    print("\ntest for class")
    num = 2
    debug = True
    test = test_library.MyClass(num=num, debug=debug)

    print(test.num) # getter test
    test.num = 4    # setter test
    print(test.num)

$ python test.py

test for class
2
4

となり、確かにクラスをコンストラクトでき、プロパティのget,setが実行できたことがわかりました。

まとめ

目標は、
Rustのクラス（struct + method）を定義し、それをPythonから呼ぶ
でしたが、
今回でRustで書かれたクラスをPythonから呼ぶ方法を解説しました。

クラスのコンストラクタおよび、プロパティのgetter,setterもPythonからPyO3経由で呼ぶことができました。

次回は、クラスのメソッドをいくつか追加して、色々な型変換を解説できたらと思います。

今回はこの辺で。

おわり。

主成分分析 （主成分解析、Principal component analysis : PCA）

概要

• 主成分分析は、教師なし線形変換法の１つ
  • データセットの座標軸を、データの分散が最大になる方向に変換し、元の次元と同じもしくは、元の次元数より低い新しい特徴部分空間を作成する手法
• 主なタスク
  • 次元削減
• 次元削減を行うことで以下の目的を達成できる
  • 特徴抽出
  • データの可視化
• 次元削減を行うメリット
  • 計算コスト（計算時間、メモリ使用量）を削減できる
  • 特徴量を削減したことによる情報の喪失をできるだけ小さくする
  • モデルを簡素化できる（パラメータが減る）ため、オーバーフィッティングを防げる
  • 人間が理解可能な空間にデータを投影することができる（非常に高次元な空間を、身近な3次元、2次元に落とし込むことができる）

応用例

• タンパク質分子の立体構造モデルの構造空間の次元削減と可視化
• タンパク質の全原子モデルの立体構造は、分子内に含まれる原子の座標情報で表すことができる （原子数 × 3 (x, y, z) 次元のベクトル）

以下は、タンパク質の分子シミュレーションで使われるモデルの1例。
（紫色とオレンジ色で表されたリボンモデルがタンパク質で、周りに水とイオンが表示されている）
（この場合、3547 個の原子 --> 10641 次元）

主成分分析により、この立体構造空間を、2次元空間に投影することができる。
以下は、その投影に対して自由エネルギーを計算した図。

2次元空間上の1点が、1つの立体構造を表している。
つまり、この例では、もともと10641次元あった空間を2次元にまで削減している。

Ref) Nishigami, H., Kamiya, N., & Nakamura, H. (2016). Revisiting antibody modeling assessment for CDR-H3 loop. Protein Engineering, Design and Selection, 29(11), 477-484.

主成分分析 (PCA) が行う座標変換のイメージ

以下は、PCAが行う座標変換の例

$x_1$ , $x_2$ は、データセットの元々の座標軸であり、
PC1, PC2 は座標変換後に得られる新しい座標軸、主成分1、主成分2 である (Principal Components)。

• PCA は、高次元データにおいて分散が最大となる方向を見つけ出し、座標を変換する （これはつまり、すべての主成分が、他の主成分と相関がない（直交する) ように座標変換している)
• 最初の主成分 (PC1) の分散が最大となる

主成分分析の主要な手順

d 次元のデータを k 次元に削減する場合

1. d 次元のデータの標準化（特徴量間のスケールが異なる場合のみ）
2. 分散共分散行列の作成
3. 分散共分散行列の固有値と固有ベクトルを求める
4. 固有値を降順にソートして、固有ベクトルをランク付けする
5. 最も大きい k 個の固有値に対応する k 個の固有ベクトルを選択 (k ≦ d)
6. k 個の固有ベクトルから射影(変換)行列 W を作成
7. 射影(変換)行列を使って d 次元の入力データセットを新しい k 次元の特徴部分空間を取得する

---

固有値問題を解くことで、線形独立な基底ベクトルを得ることができる。
詳細は、線形代数の書籍等を参考にする（ここでは詳細な解説をしない）。

参考）

https://dora.bk.tsukuba.ac.jp/~takeuchi/?%E7%B7%9A%E5%BD%A2%E4%BB%A3%E6%95%B0II%2F%E5%9B%BA%E6%9C%89%E5%80%A4%E5%95%8F%E9%A1%8C%E3%83%BB%E5%9B%BA%E6%9C%89%E7%A9%BA%E9%96%93%E3%83%BB%E3%82%B9%E3%83%9A%E3%82%AF%E3%83%88%E3%83%AB%E5%88%86%E8%A7%A3

python による PCA の実行

以下、Python を使った PCA の実行を順番に見ていく。
その後、scikit-learn ライブラリを使った PCA の簡単で効率のよい実装を見る。

データセット

• データセットは、 Wine というオープンソースのデータセットを使う。
• 178 行のワインサンプルと、それらの化学的性質を表す 13 列の特徴量で構成されている。
• それぞれのサンプルに、クラス 1, 2, 3 のいずれかがラベルされており、 イタリアの同じ地域で栽培されている異なる品種のブドウを表している （PCA は教師なし学習なので、学習時にラベルは使わない）。

from IPython.display import Image
%matplotlib inline

import pandas as pd

# df_wine = pd.read_csv('https://archive.ics.uci.edu/ml/'
#                       'machine-learning-databases/wine/wine.data',
#                       header=None)

# if the Wine dataset is temporarily unavailable from the
# UCI machine learning repository, un-comment the following line
# of code to load the dataset from a local path:

df_wine = pd.read_csv('https://github.com/rasbt/python-machine-learning-book-2nd-edition'
                      '/raw/master/code/ch05/wine.data',
                      header=None)

df_wine.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash',
                   'Alcalinity of ash', 'Magnesium', 'Total phenols',
                   'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins',
                   'Color intensity', 'Hue',
                   'OD280/OD315 of diluted wines', 'Proline']

df_wine.head()

	Class label	Alcohol	Malic acid	Ash	Alcalinity of ash	Magnesium	Total phenols	Flavanoids	Nonflavanoid phenols	Proanthocyanins	Color intensity	Hue	OD280/OD315 of diluted wines	Proline
0	1	14.23	1.71	2.43	15.6	127	2.80	3.06	0.28	2.29	5.64	1.04	3.92	1065
1	1	13.20	1.78	2.14	11.2	100	2.65	2.76	0.26	1.28	4.38	1.05	3.40	1050
2	1	13.16	2.36	2.67	18.6	101	2.80	3.24	0.30	2.81	5.68	1.03	3.17	1185
3	1	14.37	1.95	2.50	16.8	113	3.85	3.49	0.24	2.18	7.80	0.86	3.45	1480
4	1	13.24	2.59	2.87	21.0	118	2.80	2.69	0.39	1.82	4.32	1.04	2.93	735

Wine データセットの先頭 5 行のデータは上記。

for i_label in df_wine['Class label'].unique():
  print('label:', i_label)
  print('shape:', df_wine[df_wine['Class label'] == i_label].shape)

label: 1
shape: (59, 14)
label: 2
shape: (71, 14)
label: 3
shape: (48, 14)

ラベルの数はおおよそ揃っている。
次に、ラベルごとにデータの分布を見てみる。

import numpy as np
import matplotlib.pyplot as plt

for i_feature in df_wine.columns:
  if i_feature == 'Class label': continue
  print('feature: ' + str(i_feature))
  # ヒストグラムの描画
  plt.hist(df_wine[df_wine['Class label'] == 1][i_feature], alpha=0.5, bins=20, label="1")
  plt.hist(df_wine[df_wine['Class label'] == 2][i_feature], alpha=0.3, bins=20, label="2", color='r')
  plt.hist(df_wine[df_wine['Class label'] == 3][i_feature], alpha=0.1, bins=20, label="3", color='g')
  plt.legend(loc="upper left", fontsize=13) # 凡例表示
  plt.show()

feature: Alcohol

feature: Malic acid

feature: Ash

feature: Alcalinity of ash

feature: Magnesium

feature: Total phenols

feature: Flavanoids

feature: Nonflavanoid phenols

feature: Proanthocyanins

feature: Color intensity

feature: Hue

feature: OD280/OD315 of diluted wines

feature: Proline

データを70％のトレーニングと30％のテストサブセットに分割する。

from sklearn.model_selection import train_test_split

X, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values

X_train, X_test, y_train, y_test = \
    train_test_split(X, y, test_size=0.3,
                     stratify=y,
                     random_state=0)

データの標準化を行う。

from sklearn.preprocessing import StandardScaler

sc = StandardScaler()
X_train_std = sc.fit_transform(X_train) # トレーニングセットの標準偏差と平均値を使って、標準化を行う
X_test_std = sc.transform(X_test) # "トレーニングセット"の標準偏差と平均値を使って、標準化を行う

# いずれの特徴量も、値がおおよそ、-1 から +1 の範囲にあることを確認する。
print('standardize train', X_train_std[0:2])
print('standardize test', X_test_std[0:2])

standardize train [[ 0.71225893  2.22048673 -0.13025864  0.05962872 -0.50432733 -0.52831584
  -1.24000033  0.84118003 -1.05215112 -0.29218864 -0.20017028 -0.82164144
  -0.62946362]
 [ 0.88229214 -0.70457155  1.17533605 -0.09065504  2.34147876  1.01675879
   0.66299475  1.0887425  -0.49293533  0.13152077  1.33982592  0.54931269
   1.47568796]]
standardize test [[ 0.89443737 -0.38811788  1.10073064 -0.81201711  1.13201117  1.09807851
   0.71204102  0.18101342  0.06628046  0.51285923  0.79629785  0.44829502
   1.90593792]
 [-1.04879931 -0.77299397  0.54119006 -0.24093881  0.3494145  -0.70721922
  -0.30812129  0.67613838 -1.03520519 -0.90656727  2.24570604 -0.56188171
  -1.22874035]]

---

注意

テストデータの標準化の際に、テストデータの標準偏差と平均値を用いてはいけない（トレーニングデータの標準偏差と平均値を用いること）。
また、ここで求めた標準偏差と平均値は、未知のデータを標準化する際にも再使用するので、記録しておくこと。
（今回は、ノートブックだけで完結するので、外部ファイル等に記録しなくても問題ない）

• 分散共分散行列を作成
• 固有値問題を解いて、固有値と固有ベクトルを求める

固有値問題とは、以下の条件を満たす、固有ベクトル $v$ と、スカラー値である固有値 $\lambda$ を求める問題のことである
（詳細は線形代数の書籍等を参考）。

$$\Sigma v=\lambda v$$

$\Sigma$ は分散共分散行列である（総和記号ではないことに注意）。

分散共分散行列に関しては、 前回の資料 を参照。

import numpy as np
import seaborn as sns

cov_mat = np.cov(X_train_std.T)

# 共分散行列のヒートマップ
df = pd.DataFrame(cov_mat, index=df_wine.columns[1:], columns=df_wine.columns[1:])
ax = sns.heatmap(df, cmap="YlGnBu")

# 固有値問題を解く（固有値分解）
eigen_vals, eigen_vecs = np.linalg.eigh(cov_mat)

print('\nEigenvalues \n%s' % eigen_vals)
print('\nShape of eigen vectors\n', eigen_vecs.shape)

Eigenvalues
[0.10754642 0.15362835 0.1808613  0.21357215 0.3131368  0.34650377
 0.51828472 0.6620634  0.84166161 0.96120438 1.54845825 2.41602459
 4.84274532]

Shape of eigen vectors
 (13, 13)

注意:

固有値分解（固有分解とも呼ばれる）する numpy の関数は、

• numpy.linalg.eig
• numpy.linalg.eigh

がある。
numpy.linalg.eig は対称正方行列と非対称正方行列を固有値分解する関数。複素数の固有値を返すことがある。
numpy.linalg.eigh はエルミート行列（各成分が複素数で、転置させた各成分の虚部の値の正負を反転させたものがもとの行列と等しくなる行列）を固有値分解する関数。常に実数の固有値を返す。

分散共分散行列は、対称正方行列であり、虚数部が 0 のエルミート行列でもある。
対称正方行列の操作では、numpy.linalg.eigh の方が数値的に安定しているらしい。

Ref) Python Machine Learning 2nd Edition by Sebastian Raschka, Packt Publishing Ltd. 2017.

全分散と説明分散（Total and explained variance）

• 固有値の大きさは、データに含まれる情報（分散）の大きさに対応している
• 主成分j (PCj: j-th principal component) に対応する固有値 $\lambda_j$ の分散説明率（寄与率、contribution ratio/propotion とも呼ばれる）は以下のように定義される。

\dfrac {\lambda _{j}}{\sum ^{d}_{j=1}\lambda j}

$\lambda_j$ は、j 番目の固有値、d は全固有値の数（元々の特徴量の数/次元数）。

分散説明率を見ることで、その主成分が特徴量全体がもつ情報のうち、どれぐらいの情報を表すことができているかを確認できる。
以下に、分散説明率と、その累積和をプロットする。

# 固有値の合計
tot = sum(eigen_vals)
# 分散説明率の配列を作成
var_exp = [(i / tot) for i in sorted(eigen_vals, reverse=True)]
# 分散説明率の累積和を作成
cum_var_exp = np.cumsum(var_exp)

import matplotlib.pyplot as plt


plt.bar(range(1, 14), var_exp, alpha=0.5, align='center',
        label='individual explained variance')
plt.step(range(1, 14), cum_var_exp, where='mid',
         label='cumulative explained variance')
plt.ylabel('Explained variance ratio')
plt.xlabel('Principal component index')
plt.legend(loc='best')
plt.tight_layout()
# plt.savefig('images/05_02.png', dpi=300)
plt.show()

グラフから以下のことがわかる。

• 最初の主成分だけで、全体の約 4 割の分散を占めている
• 2 つの主成分も用いるだけで、もともとあった特徴量全体の約 6 割を説明できている

特徴変換 (Feature transformation)

射影（変換）行列を取得し、適用して特徴変換を行う。

---

$X' = XW$

$X'$ : 射影（変換）後の座標（行列）
$X$ : もともとの座標（行列）
$W$ : 射影（変換）行列

$W$ は、次元削減後の次元数の固有ベクトルから構成される。

$W = [v_1 v_2 ... v_k] \in \mathbb{R} ^{n\times k}$

# Make a list of (eigenvalue, eigenvector) tuples
eigen_pairs = [(np.abs(eigen_vals[i]), eigen_vecs[:, i])
               for i in range(len(eigen_vals))]

# Sort the (eigenvalue, eigenvector) tuples from high to low
eigen_pairs.sort(key=lambda k: k[0], reverse=True)

まずは、次元削減を行わずに、13 次元 --> 13 次元の座標変換を見てみる

$X' = XW$

$W = [v_1 v_2 ... v_13] \in \mathbb{R} ^{13\times 13}$
$x \in \mathbb{R} ^{13}$
$x' \in \mathbb{R} ^{13}$

# 変換行列 w の作成
w = eigen_pairs[0][1][:, np.newaxis]
for i in range(1, len(eigen_pairs)):
  # print(i)
  w = np.hstack((w, eigen_pairs[i][1][:, np.newaxis]))
w.shape

(13, 13)

# 座標変換
X_train_pca = X_train_std.dot(w)
# print(X_train_pca.shape)

cov_mat = np.cov(X_train_pca.T)

# 共分散行列のヒートマップ
df = pd.DataFrame(cov_mat)
ax = sns.heatmap(df, cmap="YlGnBu")

主成分空間に変換後の各特徴量は、互いに相関が全くないことがわかる（互いに線形独立）。
対角成分は分散値であり、第1主成分から大きい順に並んでいることがわかる。

座標変換された空間から元の空間への復元

座標変換された空間から元の空間への復元

$X = X'W^T$

$X'$ : 座標変換後の座標（行列）
$X$ : もともとの空間に復元された座標（行列）
$W^T \in \mathbb{R} ^{n\times n}$ : 転置された変）行列

$x' \in \mathbb{R} ^{n}$
$x_{approx} \in \mathbb{R} ^{n}$

# 1つ目のサンプルに射影行列を適用（内積を作用させる）
x0 = X_train_std[0]
print('もともとの特徴量:', x0)
z0 = x0.dot(w)
print('変換後の特徴量:', z0)
x0_reconstructed = z0.dot(w.T)
print('復元された特徴量:', x0_reconstructed)

もともとの特徴量: [ 0.71225893  2.22048673 -0.13025864  0.05962872 -0.50432733 -0.52831584
 -1.24000033  0.84118003 -1.05215112 -0.29218864 -0.20017028 -0.82164144
 -0.62946362]
変換後の特徴量: [ 2.38299011  0.45458499  0.22703207  0.57988399 -0.57994169 -1.73317476
 -0.70180475 -0.21617248  0.23666876  0.16548767 -0.29726982 -0.23489704
  0.40161994]
復元された特徴量: [ 0.71225893  2.22048673 -0.13025864  0.05962872 -0.50432733 -0.52831584
 -1.24000033  0.84118003 -1.05215112 -0.29218864 -0.20017028 -0.82164144
 -0.62946362]

完全に復元できていることがわかる。

13 次元 --> 2 次元に次元削減する

$X' = XW$

$W = [v_1 v_2] \in \mathbb{R} ^{13\times 2}$
$x \in \mathbb{R} ^{13}$
$x' \in \mathbb{R} ^{2}$

w = np.hstack((eigen_pairs[0][1][:, np.newaxis],
               eigen_pairs[1][1][:, np.newaxis]))
print('Matrix W:\n', w)

Matrix W:
 [[-0.13724218  0.50303478]
 [ 0.24724326  0.16487119]
 [-0.02545159  0.24456476]
 [ 0.20694508 -0.11352904]
 [-0.15436582  0.28974518]
 [-0.39376952  0.05080104]
 [-0.41735106 -0.02287338]
 [ 0.30572896  0.09048885]
 [-0.30668347  0.00835233]
 [ 0.07554066  0.54977581]
 [-0.32613263 -0.20716433]
 [-0.36861022 -0.24902536]
 [-0.29669651  0.38022942]]

注意

NumPy と LAPACK のバージョンによっては、上記の例とは符号が反転した射影行列 w が作成されることがあるが、問題はない。
以下の式が成り立つからである。

行列 $\Sigma$ に対して、 $v$ が固有ベクトル、$\lambda$ が固有値のとき、
$$\Sigma v = \lambda v,$$

ここで $-v$ もまた同じ固有値をもつ固有ベクトルとなる。
$$\Sigma \cdot (-v) = -\Sigma v = -\lambda v = \lambda \cdot (-v).$$

(主成分軸のベクトルの向きの違い）

# 各サンプルに射影行列を適用（内積を作用）させることで、変換後の座標（特徴量）を得ることができる。
X_train_std[0].dot(w)

array([2.38299011, 0.45458499])

2次元に射影後の全データを、ラベルごとに色付けしてプロットする

X_train_pca = X_train_std.dot(w)
colors = ['r', 'b', 'g']
markers = ['s', 'x', 'o']

for l, c, m in zip(np.unique(y_train), colors, markers):
    plt.scatter(X_train_pca[y_train == l, 0],
                X_train_pca[y_train == l, 1],
                c=c, label=l, marker=m)

plt.xlabel('PC 1')
plt.ylabel('PC 2')
plt.legend(loc='lower left')
plt.tight_layout()
# plt.savefig('images/05_03.png', dpi=300)
plt.show()

PC1 軸方向をみると、PC2 軸方向よりもよりもデータが広く分布しており、データをよりよく区別できていることがわかる。

次元削減された空間から元の空間への復元

$X_{approx} = X'W^T$

$X'$ : 射影後の座標（行列）
$X_{approx}$ : もともとの空間に、近似的に、復元された座標（行列）
$W^T \in \mathbb{R} ^{n\times k}$ : 転置された射影（変換）行列

$x' \in \mathbb{R} ^{k}$
$x_{approx} \in \mathbb{R} ^{n}$

$k = n$ のとき、$X = X_{approx}$ が成り立つ（上述）。

# 1つ目のサンプルに射影行列を適用（内積を作用させる）
x0 = X_train_std[0]
print('もともとの特徴量:', x0)
z0 = x0.dot(w)
print('変換後の特徴量:', z0)
x0_reconstructed = z0.dot(w.T)
print('復元された特徴量:', x0_reconstructed)

もともとの特徴量: [ 0.71225893  2.22048673 -0.13025864  0.05962872 -0.50432733 -0.52831584
 -1.24000033  0.84118003 -1.05215112 -0.29218864 -0.20017028 -0.82164144
 -0.62946362]
変換後の特徴量: [2.38299011 0.45458499]
復元された特徴量: [-0.09837469  0.66412622  0.05052458  0.44153949 -0.23613841 -0.91525549
 -1.00494135  0.76968396 -0.72702683  0.42993247 -0.87134462 -0.9915977
 -0.53417827]

完全には復元できていないことがわかる（近似値に復元される）。

Principal component analysis in scikit-learn

上記で行った PCA の実装は、scikit-learn を使うことで簡単に実装できる。
以下にその実装を示す。

from sklearn.decomposition import PCA

pca = PCA()
# 主成分分析の実行
X_train_pca = pca.fit_transform(X_train_std)
# 分散説明率の表示
pca.explained_variance_ratio_

array([0.36951469, 0.18434927, 0.11815159, 0.07334252, 0.06422108,
       0.05051724, 0.03954654, 0.02643918, 0.02389319, 0.01629614,
       0.01380021, 0.01172226, 0.00820609])

# 分散説明率とその累積和のプロット
plt.bar(range(1, 14), pca.explained_variance_ratio_, alpha=0.5, align='center')
plt.step(range(1, 14), np.cumsum(pca.explained_variance_ratio_), where='mid')
plt.ylabel('Explained variance ratio')
plt.xlabel('Principal components')

plt.show()

# 2次元に削減
pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train_std)
X_test_pca = pca.transform(X_test_std)

# 2次元空間にプロット
plt.scatter(X_train_pca[:, 0], X_train_pca[:, 1])
plt.xlabel('PC 1')
plt.ylabel('PC 2')
plt.show()

2次元に次元削減された特徴量を用いてロジスティック回帰を行ってみる

from matplotlib.colors import ListedColormap

def plot_decision_regions(X, y, classifier, resolution=0.02):

    # setup marker generator and color map
    markers = ('s', 'x', 'o', '^', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])

    # plot the decision surface
    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                           np.arange(x2_min, x2_max, resolution))
    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, Z, alpha=0.4, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())

    # plot class samples
    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y == cl, 0],
                    y=X[y == cl, 1],
                    alpha=0.6,
                    c=cmap(idx),
                    edgecolor='black',
                    marker=markers[idx],
                    label=cl)

Training logistic regression classifier using the first 2 principal components.

from sklearn.linear_model import LogisticRegression

pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train_std)
X_test_pca = pca.transform(X_test_std)

lr = LogisticRegression(penalty='l2', C=1.0)
# lr = LogisticRegression(penalty='none')
lr = lr.fit(X_train_pca, y_train)

print(X_train_pca.shape)

(124, 2)

print('Cumulative explained variance ratio:', sum(pca.explained_variance_ratio_))

Cumulative explained variance ratio: 0.5538639565949177

学習時間の計測

%timeit lr.fit(X_train_pca, y_train)

100 loops, best of 3: 5.11 ms per loop

from sklearn.metrics import plot_confusion_matrix

# 精度
print('accuracy', lr.score(X_train_pca, y_train))
# confusion matrix
plot_confusion_matrix(lr, X_train_pca, y_train)

accuracy 0.9838709677419355





<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0x7f54fca16da0>

トレーニングデータセットの予測結果

plot_decision_regions(X_train_pca, y_train, classifier=lr)
plt.xlabel('PC 1')
plt.ylabel('PC 2')
plt.legend(loc='lower left')
plt.tight_layout()
# plt.savefig('images/05_04.png', dpi=300)
plt.show()

'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.
'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.
'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.

テストデータに対する予測結果

from sklearn.metrics import plot_confusion_matrix

# 精度
print('accuracy', lr.score(X_test_pca, y_test))
# confusion matrix
plot_confusion_matrix(lr, X_test_pca, y_test)

accuracy 0.9259259259259259





<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0x7f54f53ec160>

plot_decision_regions(X_test_pca, y_test, classifier=lr)
plt.xlabel('PC 1')
plt.ylabel('PC 2')
plt.legend(loc='lower left')
plt.tight_layout()
# plt.savefig('images/05_05.png', dpi=300)
plt.show()

'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.
'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.
'c' argument looks like a single numeric RGB or RGBA sequence, which should be avoided as value-mapping will have precedence in case its length matches with 'x' & 'y'.  Please use a 2-D array with a single row if you really want to specify the same RGB or RGBA value for all points.

次元削減せずに全てのの主成分を取得したい場合は、 n_components=None にする。

pca = PCA(n_components=None)
X_train_pca = pca.fit_transform(X_train_std)
pca.explained_variance_ratio_

array([0.36951469, 0.18434927, 0.11815159, 0.07334252, 0.06422108,
       0.05051724, 0.03954654, 0.02643918, 0.02389319, 0.01629614,
       0.01380021, 0.01172226, 0.00820609])

3 次元に次元削減された特徴量を用いてロジスティック回帰を行ってみる

from sklearn.linear_model import LogisticRegression

k = 3

pca = PCA(n_components=3)
X_train_pca = pca.fit_transform(X_train_std)
X_test_pca = pca.transform(X_test_std)

lr = LogisticRegression(penalty='l2', C=1.0)
# lr = LogisticRegression(penalty='none')
lr = lr.fit(X_train_pca, y_train)

print(X_train_pca.shape)

(124, 3)

print('Cumulative explained variance ratio:', sum(pca.explained_variance_ratio_))

Cumulative explained variance ratio: 0.6720155475408875

%timeit lr.fit(X_train_pca, y_train)

100 loops, best of 3: 5.76 ms per loop

from sklearn.metrics import plot_confusion_matrix

# 精度
print('accuracy', lr.score(X_train_pca, y_train))
# confusion matrix
plot_confusion_matrix(lr, X_train_pca, y_train)

accuracy 0.9838709677419355





<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0x7f54f606fcf8>

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')

# ax.scatter(X_train_pca[:,0], X_train_pca[:,1], X_train_pca[:,2], c='r', marker='o')
ax.scatter(X_train_pca[:,0], X_train_pca[:,1], X_train_pca[:,2], c=y_train, marker='o')

ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_zlabel('PC3')

plt.show()

# plotly を使った interactive な 3D 散布図
import plotly.express as px

df = pd.DataFrame(X_train_pca, columns=['PC1', 'PC2', 'PC3'])
df['label'] = y_train

fig = px.scatter_3d(df, x='PC1', y='PC2', z='PC3',
              color='label', opacity=0.7, )
fig.show()

（出力結果は、Google Colab 上で確認できます）

人間の目で確認できるのは 3 次元が限界。

次元削減せずにロジスティック回帰を行ってみる

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression(penalty='l2', C=1.0)
# lr = LogisticRegression(penalty='none')
lr = lr.fit(X_train_std, y_train)

# 学習時間
%timeit lr.fit(X_train_std, y_train)

100 loops, best of 3: 7.23 ms per loop

from sklearn.metrics import plot_confusion_matrix

print('Evaluation of training dataset')
# 精度
print('accuracy', lr.score(X_train_std, y_train))
# confusion matrix
plot_confusion_matrix(lr, X_train_std, y_train)

print('Evaluation of test dataset')
# 精度
print('accuracy', lr.score(X_test_std, y_test))
# confusion matrix
plot_confusion_matrix(lr, X_test_std, y_test)

Evaluation of training dataset
accuracy 1.0
Evaluation of test dataset
accuracy 1.0





<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0x7f54f56a2c50>

元々の全ての特徴量を使って学習させた方が精度が高くなった。
学習時間は、次元削減したほうがわずかに早くなっている。
（主成分 2 つで学習した場合 4.9 ms に対し、元々の特徴量全て使った場合 5.64 ms）
結論として、今回のタスクでは、PCA を適用するべきではなく、すべての特徴量を使用したほうが良い。

もっとデータ数が大きい場合や、モデルのパラメータ数が多い場合には、次元削減が効果的となる。

2つの特徴量だけでロジスティック回帰を行ってみる

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression(penalty='l2', C=1.0)
# lr = LogisticRegression(penalty='none')
lr = lr.fit(X_train_std[:,:2], y_train)

%timeit lr.fit(X_train_std[:,:2], y_train)

100 loops, best of 3: 3.53 ms per loop

from sklearn.metrics import plot_confusion_matrix

print('Evaluation of training dataset')
# 精度
print('accuracy', lr.score(X_train_std[:,:2], y_train))
# confusion matrix
plot_confusion_matrix(lr, X_train_std[:,:2], y_train)

print('Evaluation of test dataset')
# 精度
print('accuracy', lr.score(X_test_std[:,:2], y_test))
# confusion matrix
plot_confusion_matrix(lr, X_test_std[:,:2], y_test)

Evaluation of training dataset
accuracy 0.7580645161290323
Evaluation of test dataset
accuracy 0.7777777777777778





<sklearn.metrics._plot.confusion_matrix.ConfusionMatrixDisplay at 0x7f54f560de10>

もともとの特徴量を 2 つだけ使った場合、精度はかなり下がる。
これと比べると、PCA によって特徴抽出した 2 つの主成分を使った場合には、精度がかなり高いことがわかる。

まとめ

主成分分析により以下のタスクを行うことができる。

• 次元削減
  • データを格納するためのメモリやディスク使用量を削減できる
  • 学習アルゴリズムを高速化できる
• 可視化
  • 多数の特徴量（次元）をもつデータを2次元などの理解しやすい空間に落とし込んで議論、解釈することができる。

しかし、機械学習の前処理として利用する場合には、以下のことに注意する必要がある。

• 次元削減を行うことによって、多少なりとも情報が失われている
• まずは、すべての特徴量を使ってトレーニングを試すことが大事
• 次元削減によってオーバーフィッティングを防ぐことができるが、次元削減を使う前に正則化を使うべし
• 上記を試してから、それでも望む結果を得られない場合、次元削減を使う
• 機械学習のトレーニングでは、通常は、99% の累積寄与率が得られるように削減後の次元数を選ぶことが多い

参考) Andrew Ng先生の講義

References

1. Python Machine Learning 2nd Edition by Sebastian Raschka, Packt Publishing Ltd. 2017. Code Repository: https://github.com/rasbt/python-machine-learning-book-2nd-edition
2. Andrew Ng先生の講義

今や社会課題と言っても過言では無いほど?コロナウイルス騒動は人々の注目を集めています。また、世界中のエンジニアがコロナウイルスに関するWebサイトやオープンソースプロダクトを開発しています。(GitHubでCOVID-19などで調べるとたくさん出てきます)その中で世界のコロナウイルス情報をWebAPIとして公開している人もいましたが、日本に特化したコロナウイルス情報WebAPIは無いみたいでした。(多分)
という背景もあり、今回は日本を対象としたコロナウイルス情報 Web APIを作ったら使う人もいるだろうなぐらいのノリで作成し、公開しました。

? 作成したリポジトリ (https://github.com/ryo-ma/covid19-japan-web-api)

使用技術

• Python 3系
• sanic (Python用 非同期Webアプリケーションフレームワーク, ASGI対応, ソニックのパチモノキャラをモチーフにしてる)
• zeit now (Paas, GitHubと連携が可能でデプロイが簡単なPaaS) 現在は無料枠を利用
• GitHub Action (自動でデータ収集、更新するためのCI)

データソース

APIで提供するデータはGitHub上でcsvデータをオープンに公開してくれているリポジトリから収集してくることにしました。GitHub Actionを利用して2時間に1回データを更新してリポジトリにpushしています。

• https://github.com/swsoyee/2019-ncov-japan/tree/master

今後は分析結果などを公開してくれている他のリポジトリからの情報も利用したいと考えています。

データ更新 & デプロイ アーキテクチャ

zeit nowとGitHub Actionを利用することで2時間に1回データを更新してデプロイを自動で行います。

開発期間

完璧さは求めずに、なるべく早く公開して少しずつ改善していこうというスタンスで行いました。

実装自体は大したことが無いのと、zeit nowとGitHub Actionの利用方法がとても簡単だったので、２日間という短い期間で基本機能を作成することができました。

1日目:
・静的に取得してきたデータを提供する県ごとのAPIを作成
・リポジトリ作成
・zeit nowとGitHub 自動デプロイ連携

2日目:
・GitHub Actionを利用してデータ自動収集、更新

以降：
・ API追加
・ README整備
など

作成したAPI

県ごとの感染数、死者数

Endpont: https://covid19-japan-web-api.now.sh/api/v1/prefectures

$ curl https://covid19-japan-web-api.now.sh/api/v1/prefectures

Response:

[
  {
    "id": 1,
    "name_ja": "北海道",
    "name_en": "Hokkaido",
    "lat": 43.46722222,
    "lng": 142.8277778,
    "cases": 176,
    "deaths": 7
  },
  {
    "id": 2,
    "name_ja": "青森",
    "name_en": "Aomori",
    "lat": 40.78027778,
    "lng": 140.83194440000003,
    "cases": 8,
    "deaths": 0
  },
...

国内の様々な集計データ

Endpont: https://covid19-japan-web-api.now.sh/api/v1/total

$ curl https://covid19-japan-web-api.now.sh/api/v1/total

Response:

{
  "date": 20200329,
  "pcr": 26401,
  "positive": 1647,
  "symptom": 1352,
  "symptomless": 162,
  "symtomConfirming": 133,
  "hospitalize": 1187,
  "mild": 659,
  "severe": 59,
  "confirming": 323,
  "waiting": 13,
  "discharge": 408,
  "death": 52
}

陽性者一覧

Endpont: https://covid19-japan-web-api.now.sh/api/v1/positives

$ curl https://covid19-japan-web-api.now.sh/api/v1/positives

Response:

[
  {
    "prefecture": "北海道",
    "residence_prefecture": "国外（武漢市）",
    "age": "40代",
    "gender": "女性",
    "attribute": "来日観光客",
    "prefecture_number": "北海道1",
    "travel_or_contact": "渡航歴",
    "detail": "中国（武漢）",
    "src": "https://www.mhlw.go.jp/stf/newpage_09158.html",
    "onset": "1月26日",
    "symptom": "1",
    "death_or_discharge_date": "",
    "comment1": "",
    "outcome": "",
    "outcome_src": "",
    "comment2": ""
  },
  {
    "prefecture": "北海道",
    "residence_prefecture": "札幌市",
    "age": "50代",
    "gender": "男性",
    "attribute": "来日観光客",
    "prefecture_number": "北海道2",
    "travel_or_contact": "",
    "detail": "",
    "src": "http://www.pref.hokkaido.lg.jp/hf/kth/kak/hasseijoukyou.htm",
    "onset": "1月31日",
    "symptom": "1",
    "death_or_discharge_date": "",
    "comment1": "",
    "outcome": "",
    "outcome_src": "",
    "comment2": ""
  },
...

まとめ

今回は短期間で日本のコロナウイルスWebAPIを公開しました。
誰かがこのAPIを利用して、コロナウイルス情報の拡散の手助けに少しでもなればいいなと考えております。

?APIの仕様に対しての要望や質問などお待ちしております。
リポジトリ：https://github.com/ryo-ma/covid19-japan-web-api

siteは初期化時に自動的にimportされるモジュールであり、サイト固有の組み込み関数の追加などを行います。
さらに、このモジュールは指定された追加モジュールを読み込むことでカスタマイズ機能を実現しており、サイト固有、ユーザ固有のカスタマイズが可能となっています。

公式ドキュメント

動機

usercustomizeを書いたので、書いたということを忘れないようにするため。

環境

macOS Catalina
Python 3.7

方法

siteによって読み込まれるモジュールは、sitecustomizeとusercustomizeの2つです。適用範囲が異なります。
設置場所は、それぞれのsite-packagesディレクトリです。以下のように調べることができます。

>>> import site
>>> site.getsitepackages()
['/usr/local/var/pyenv/versions/3.7.4/lib/python3.7/site-packages']
>>> site.getusersitepackages()
'/Users/[user_name]/.local/lib/python3.7/site-packages'

/User/[user_name]/.local/lib/python3.7/site-packages.py

print('Hi')

インタプリタの起動

[user_name]@MacBook ~ % python
Hi
Python 3.7.4 (default, Oct  5 2019, 02:45:54)
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

Hiと表示されています。

おまけ

パーフェクトPythonでは、pdbを利用して、例外捕捉時に自動でデバッガを起動するフックが紹介されていました。
pdbに慣れるにはもってこいな気がします。

siteは初期化時に自動的にimportされるモジュールであり、サイト固有の組み込み関数の追加などを行います。
さらに、このモジュールは指定された追加モジュールを読み込むことでカスタマイズ機能を実現しており、サイト固有、ユーザ固有のカスタマイズが可能となっています。

公式ドキュメント

動機

usercustomizeを書いたので、書いたということを忘れないようにするため。

環境

macOS Catalina
Python 3.7

方法

siteによって読み込まれるモジュールは、sitecustomizeとusercustomizeの2つです。適用範囲が異なります。
設置場所は、それぞれのsite-packagesディレクトリです。以下のように調べることができます。

>>> import site
>>> site.getsitepackages()
['/usr/local/var/pyenv/versions/3.7.4/lib/python3.7/site-packages']
>>> site.getusersitepackages()
'/Users/[user_name]/.local/lib/python3.7/site-packages'

/User/[user_name]/.local/lib/python3.7/site-packages.py

print('Hi')

インタプリタの起動

[user_name]@MacBook ~ % python
Hi
Python 3.7.4 (default, Oct  5 2019, 02:45:54)
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

Hiと表示されています。

おまけ

パーフェクトPythonでは、pdbを利用して、例外捕捉時に自動でデバッガを起動するフックが紹介されていました。
Exceptionの度にデバッガが起動するのでpdbに慣れるにはもってこいな気がします。

siteは初期化時に自動的にimportされるモジュールであり、サイト固有の組み込み関数の追加などを行います。
さらに、このモジュールは指定された追加モジュールを読み込むことでカスタマイズ機能を実現しており、サイト固有、ユーザ固有のカスタマイズが可能となっています。

公式ドキュメント

動機

usercustomizeを書いたので、書いたということを忘れないようにするため。

環境

macOS Catalina
Python 3.7

方法

siteによって読み込まれるモジュールは、sitecustomizeとusercustomizeの2つです。適用範囲が異なります。
設置場所は、それぞれのsite-packagesディレクトリです。以下のように調べることができます。

>>> import site
>>> site.getsitepackages()
['/usr/local/var/pyenv/versions/3.7.4/lib/python3.7/site-packages']
>>> site.getusersitepackages()
'/Users/[user_name]/.local/lib/python3.7/site-packages'

/User/[user_name]/.local/lib/python3.7/site-packages.py

print('Hi')

インタプリタの起動

[user_name]@MacBook ~ % python
Hi
Python 3.7.4 (default, Oct  5 2019, 02:45:54)
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

Hiと表示されています。

おまけ

パーフェクトPythonでは、pdbを利用して、例外捕捉時に自動でデバッガを起動するフックが紹介されていました。
Exceptionの度にデバッガが起動するのでpdbに慣れるにはもってこいな気がします。

こんにちは。
最近Javaを、13から14へアップデートしたFaguriです。

どんな作業が自動化できるのか

・単純作業
.....(やばい思いつかん)

そもそもPythonとは

完全に順番が逆だけど許してください。

文法を極力単純化してコードの可読性を高め、読みやすく、また書きやすくしてプログラマの作業性とコードの信頼性を高めることを重視してデザインされた、汎用の高水準言語である。
核となる本体部分は必要最小限に抑えられている。一方で標準ライブラリやサードパーティ製のライブラリ、関数など、さまざまな領域に特化した豊富で大規模なツール群が用意され、インターネット上から無料で入手でき、自らの使用目的に応じて機能を拡張していくことができる。またPythonは多くのハードウェアとOS (プラットフォーム) に対応しており、複数のプログラミングパラダイムに対応している。Pythonはオブジェクト指向、命令型、手続き型、関数型などの形式でプログラムを書くことができる。動的型付け言語であり、参照カウントベースの自動メモリ管理（ガベージコレクタ）を持つ。
これらの特性によりPythonは広い支持を獲得し、Webアプリケーションやデスクトップアプリケーションなどの開発はもとより、システム用の記述 (script) や、各種の自動処理、理工学や統計・解析など、幅広い領域における有力なプログラム言語となった。プログラミング作業が容易で能率的であることは、ソフトウェア企業にとっては投入人員の節約、開発時間の短縮、ひいてはコスト削減に有益であることから、産業分野でも広く利用されている。Googleなど主要言語に採用している企業も多い。
Pythonのリファレンス実装であるCPythonは、フリーかつオープンソースのソフトウェアであり、コミュニティベースの開発モデルを採用している。CPythonは、非営利団体であるPythonソフトウェア財団が管理している。その他の実装としては、PyPyやIronPythonなどが有名である。
Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonという英単語が意味する爬虫類のニシキヘビがPython言語のマスコットやアイコンとして使われている。

NARUHODOWAKARAN

自動化の例

Excelに今日の日付と株価を書く日課 → PythonでOpenpyxlとBeautifulSoupなどを使い自動化!
......
....
...
(やばい思いつかん)

などができます。

終わりに

ある本を買いその本を読んでから上級者になって気がしています。(実際は下の上)
こんな感じで次からはどんどんコードを書いていきます。
いつかGitHubで公開しようかな。

よーしPythonやるぞー

環境

OS:Windows10

本文

Pythonとは人工知能に向いてる言語です。
まあ人工知能を作る方法は知りませんがー
顔認証？ならカメラ搭載してID変数でコードやったらできるのでは？
とりまコンソロール(画面に文字が出るやつ、説明ﾑｽﾞｲ)に"Hello Python!"と出させましょうか？
コード下です(見ればわかると思うけど)

script.py

print("Hello Python!");

したらそのファイルをダブルクリック(設定によってはワンクリック)
すると？
.....
一瞬だったじゃないですか？
これじゃあ分からないですよねー
だからコマンドでやります

run.bat

ファイル名.py
pause

これを実行します。
すると？(本日2回目)

Hello Python! と出ました！
次は、入力された文字を出しましょう(出力)
コード

script.py

input_data = input("enter:")
print(input_data);

またやると？

ちゃんと出力されています！

今回はここまでで。
また会いましょう！

概要

1.　Pyhtonでアルゴリズムまで書いてあるのは速度面では好ましくないな〜
2.　よし、C, C++あたりで書いてあるものを探して、それをPythonから呼んで高速化しよう。
3.　なかなかいいライブラリ見つからんな、
4.　おっ、Rustていう言語で書かれてるのならあったぞ
5.　RustてPythonから呼べんのか？？

これは、PythonからRustを呼んで高速化！ PyO3 チュートリアル：簡単な関数をラップする　その➀

の続きになります。

今回の目標

今回は、
- lib.rsを追記
- setup.py を加え実際にコンパイル

していきます。

最終的な目標は、
Rustで書いた関数やクラス（的なもの？）をPythonから気軽に呼べるようになること
です。

Rustの関数をPythonへ引き渡す

//lib.rsの続き
use pyo3::{wrap_pyfunction};

// ======================CREATING MODULE FOR PYTHON==================================================
/// This module is a python module implemented in Rust.
#[pymodule]
fn test_library(py: Python, m: &PyModule) -> PyResult<()> {
    m.add_wrapped(wrap_pyfunction!(get_prime_numbers))?;

    Ok(())
}

ここでは、
#[pymodule]のデコレータがtest_libraryがPythonのモジュールになることを宣言しています。

そして、先ほどのget_prime_numbers関数が、

m.add_wrapped(wrap_pyfunction!(get_prime_numbers))?;

でそのモジュールに関数としてラップされています。

最後に　Ok(())となっていて、このモジュールが関数として定義され、
rust
PyResult<()>

空のPyResultを返すようになっている（Void関数はこれでラップできる）のが少し気になりますが、
この辺はおまじないとしてチュートリアルをそのまま書きました。

setup.py を作る

Cythonでも使用したおなじみのsetup.pyを作っていきます。
今回はシンプルで簡単です。

setup.py

from setuptools import setup
from setuptools_rust import Binding, RustExtension

setup(name='test_library',
        version='0.1',
        rust_extensions=[
            RustExtension('test_library', 'Cargo.toml',
                binding=Binding.PyO3)],
            zip_safe=False)

name='test_library',

によりPython側からimport test_libraryのように呼べます。

RustExtension('test_library', 'Cargo.toml',
                binding=Binding.PyO3)],

でlib.rsの中のtest_library モジュールをpyo3によってライブラリ化します。
この時、使う依存関係がCargo.tomlと書くだけなのがとても簡単ですね。。

ビルドしてみる

以上で準備ができたので、実際にビルドしPythonから関数を呼んでみます。

python setup.py install

を実行し、テストコード

test.py

import test_library 
import time
import sys

def get_prime_numbers(n: int):
    flags = [True for _ in range(n+2)]

    upper = int(n ** 0.5)
    for i in range(2, upper+1):
        if not flags[i]:
            continue

        prime = i

        j = prime * 2
        while j <= n:
            flags[j] = False
            j += prime

    primes = []
    for i in range(2, n+1):
        if flags[i]:
            primes.append(i)

    return primes

if __name__  == "__main__":
    # just calling rust function from created library
    a = 123
    b = 456
    c = test_library.sum_as_string(a, b)

    print(c)



    # just calling rust function from created library, to find primes
    # rust is (of course) a lot faster than python
    # if you wanna call python function, python test.py, 
    # if you wanna call rust   function, python test.py --rust

    use_rust = len(sys.argv) == 2 and sys.argv[1] == "--rust"
    n = 10000


    t1 = time.time()
    for _ in range(10):
        if use_rust:
            primes = test_library.get_prime_numbers(n)
        else:
            primes = get_prime_numbers(n)

    t2 = time.time()

    print(f"time took is: {t2-t1} sec")

RustモジュールをPythonから実行する (PyO3)から引用

を実行します。

python test.py

でpythonベースの関数が走り、

python test.py --rust

でRustベースの関数を呼んでいます。

結果、

$ python test.py
time took is: 0.013466835021972656 sec

$ python test.py --rust
time took is: 0.0005574226379394531 sec

となり、実行速度差が顕著に現れてくれました。

まとめ

最終的な目標は、
Rustで書いた関数やクラス（的なもの？）をPythonから気軽に呼べるようになること
でしたが、
今回でRustで書かれた関数をPythonから呼ぶ方法を解説しました。
まだカバーした型変換がVec -> List だけなので、次の記事でまた他の型に関しても書ければと思います。ただ、あまり記述は変わらないので、簡単です。

また、Rustのクラス的なもの(Struct + method)をPython側のクラスオブジェクトとしてパースするやり方に関しても書いていきたいと思います。

今回はこの辺で。

おわり。

概要

1.　Pyhtonでアルゴリズムまで書いてあるのは速度面では好ましくないな〜
2.　よし、C, C++あたりで書いてあるものを探して、それをPythonから呼んで高速化しよう。
3.　なかなかいいライブラリ見つからんな、
4.　おっ、Rustていう言語で書かれてるのならあったぞ
5.　RustてPythonから呼べんのか？？

最終的な目標

というわけで、今までC++のライブラリをPythonから呼んで高速化を図るための「Cython」チュートリアルを書いてきましたが、

今回からはRustをPythonから呼んで高速化するための「PyO3」というライブラリのチュートリアルを書いていきます。

最終的な目標は、
Rustで書いた関数やクラス（的なもの？）をPythonから気軽に呼べるようになること
です。

このPyO3(gitはここ)は、開発の真っ只中であり、バージョン更新が（おそらく）凄まじい速度で行われております。

今回の目標

そもそもRust初見の状態からスタートして、
PythonからRustで書いた関数を呼べるようになる、という目標のもとPyO3を触ってみました。

キータにも、他ブログでもいくつかの解説記事が出ております。
- [Rust] PyO3 で Python パッケージを作成
- Pyo3でPythonとRustを連携させる
- RustモジュールをPythonから実行する (PyO3)
- PythonとRustを使ってPythonの拡張モジュールを書く

今回は、
RustモジュールをPythonから実行する (PyO3)
さんのコードをお借りして、それにsetup.pyを付け加えて、Rustで書かれた関数をPythonから呼んでみたいと思います。

手順

rustのインストール

１行目を実行するとインストールについて３択で聞かれますがdefaultインストールの１を選んで問題ないかと思います。

curl https://sh.rustup.rs -sSf | sh
source $HOME/.cargo/env

rust nightlyのインストール

PyO3を使用するために必要になります。
開発中のクレートをたくさん含んだβバージョンと言うようなものでしょうか。

バージョンを確認してみる
このバージョンを今回は使います。

$rustc --version
rustc 1.44.0-nightly (f509b26a7 2020-03-18)
$ rustup --version
rustup 1.21.1 (7832b2ebe 2019-12-20)

rustup install nightly
rustup default nightly

rust のプロジェクトを作る

--lib をつけることで、ライブラリ用のプロジェクトを作ります。
今回は、プロジェクト名をexampleとしました。

cargo new --lib example

$ tree example/
├── Cargo.toml
├── setup.py
├── src
│   └── lib.rs

フォルダ構造はこのようになっています。

Cargo.tomlを設定する

RustがC++などより優れていると言われていることのひとつ、ライブラリの管理の手軽さがここにあります。
Cargo.tomlに必要なライブラリを書くのですが、CMakeLists.txtとかよりはるかに簡単で見やすいです。

Cargo.toml

[package]
name = "test"
version = "0.1.0"
edition = "2018"

[lib]
name = "test_library"
crate-type = ["cdylib"]

[dependencies.pyo3]
version = "0.9.1"
features = ["extension-module"]

今回はpyo3をライブラリとして使用し、
作る目的のライブラリは、test_libraryです。

すなわち、Pythonで

test.py

import test_library

みたいに書きたいわけです。

Rustで関数を作る

とりあえず写経してみる

コードはRustモジュールをPythonから実行する (PyO3)
さんのものを丸々持ってきました。
エラトステネスのふるいの実装だそうです。

//lib.rs

use pyo3::prelude::*;


// This is the test function in Rust, getting prime number, which is called by python as get_prime_numbers
#[pyfunction]
fn get_prime_numbers(n: i32) -> PyResult<Vec<i32>> {
    let mut flags = Vec::new();
    for _ in 0..n+1 {
        flags.push(true);
    }

    let upper = (n as f32).sqrt().floor() as i32;
    for i in 2..upper+1 {
        if !flags[i as usize] {
            continue;
        }

        let prime = i;

        let mut j = prime * 2;
        while j <= n {
            flags[j as usize] = false;
            j += prime;
        }
    }

    let mut primes = Vec::new();
    for i in 2..n+1 {
        if flags[i as usize] {
            primes.push(i);
        }
    }

    Ok(primes)
}

Rustの構文を細かく解説できるだけの能力がありませんので、
この関数はあっているものとし、どうこれがPythonから呼べる形にラップされているかというところを解説します。

#[pyfunction]
fn get_prime_numbers(n: i32) -> PyResult<Vec<i32>>

をみてみると、
まず#[pyfunction]のデコレータ的なものがこの関数の引数もしくは返り値にPyO3によりパースされたPythonオブジェクトが入ることを宣言しています。

このget_prime_numbers関数はint32を引数に取り、それ以下の素数をリストとして返す関数です。
このとき、返り値のところが、PyResult<Vec<i32>>となっていますが、
このPyResultはuse pyo3::prelude::*;から来ています。

また、Vec<i32>は、下の型の対応表のようになっており、PyResut によってPythonのList型に変換されます。

Rust	Python
i32, usize 等	int
f32, f64	float
bool	bool
Vec<T>	list
String	str
HashMap	dict

[[Rust] PyO3 で Python パッケージを作成]からの引用　(https://qiita.com/osanshouo/items/671888bdd6afeec1e939)

また、最後の

Ok(primes)

がVecをlistへと変換しています。

まとめ

ここで終わると参考文献をほとんどコピペしたものになって申し訳ないのですが、
一度ここで区切ります。

まとめとして、

• Rustのインストールを行った。
• Rustのライブラリ用のプロジェクトを作成した。
• Cargo.tomlを書いた。
• 関数を写経し、Rust->Pythonの型変換を確認した。

以上になります。

次はlib.rsを追記し、setup.pyも加え実際にライブラリのオブジェクトファイルとしてコンパイルしていきます。

今回はこの辺で。

おわり。