学習記録（１０日目）

勉強開始：１２／７（土）〜
使用書籍：大重美幸『詳細！ Python3 入門ノート』(ソーテック社、２０１７年)

【手書き文字の分類（Ch.16 ／ p.396）】 から再開（１０日目）、
【ボストンの住宅価格分析（Ch.16 ／ p.408）】 まで終了（１１日目）【読了】

アヤメの分類

・hold out(学習データをある比率で分割し、訓練データとテストデータに分けること。）
　ただし、データの並びが均一でない場合はよい学習成果が出ない。
　その場合は shufflesplit を用いると、分割に合わせて要素のシャッフルが行われる。
・shufflesplitを用いて行う分析方法の１つに crossvalidation がある。
　手元のデータ数が十分でない時に、学習に使用するデータを毎回分割、違う塊を選択し、繰り返す方法

ボストンの住宅価格分析

・相関関係を予想する「回帰」処理を実施。
・書籍通りに進めていくと、どうもエラーが出る場所を発見。
　モジュールがインポートされていないことによる関数の未定義だった。
　最後のまとめにはちゃんと記載されていたが、途中の経過には記載がなかったため、何も考えずに進めていたら恐らく詰まる。
　気づいただけでも、ちょっとした成長を実感。

以上の内容をもって上記書籍は読了しました。

Progate講座

上記書籍を読了したものの、一番最初のこの段階でしっかりと基礎を固めておきたいと思い実施中です。
ガイドを受けつつ、１つのものを段階的に作りあげていくプログラムになっており、書籍使用による勉強とはまた違った側面でアウトプットを行えるので非常に勉強になっています。
Python学習コースは全部で5コースあり、今日一日で4まで終了しました。
Python以外にもJavaやRuby、Gitに関するコースまであったので、初心者には非常に有用だと感じました。

皆さんこんばんわ。
12/19の文を書いていきます。
今日は用事があって遅くなりましたね。。。

今日は昨日勉強した直線SVCモデルの分類をまとめていこうと思います。

分類の目的

上の写真を見てください。
分類とはこの青の点とオレンジのバツを分ける線を自動的に見つけることです。
２次元だと人間にとってとても簡単ですよね？
SVCモデルは高次元の場合でも分ける為の式を求めれられるらしいので凄いですよね。
さぁ、これが何に役に立つの？と思った方も多いでしょう。
下の画像はいかがでしょうか？

違いがわかりましたか？
そう、Gメールでは当たり前のように迷惑メールを弾いてくれますが、これはAIの力なのです。（アルゴリズムはもっと複雑です。）
けど、やっていることは同じで、ある直線（面）を引いてスパムか有効なメールかを分析しているのです。
美しいし、凄いですよね。

さて、今日の最終の目的の画像を見せますね。
以下になります。

⚠︎注意したいことがあります。
それはこの例の場合だと、無限の線が引けると言うことです。
よって、この点線の幅（マージ）が一番広くなった上で、その真ん中に実線（決定境界）を引きます。

さてこの決定境界を求める為のコードを見ていきます。

サンプルコード

import numpy as np
from sklearn.svm import SVC
import matplotlib.pyplot as plt
xmin = 0
xmax = 2
ymin = 0
ymax = 2

# 0 ~ 1 までの正規分布に従った値が入った（100行２列（X＆Y)）の行列を作成
X0 = np.random.uniform(size=(100, 2))
y0 = np.repeat(0, 100)

X1 = np.random.uniform(low=1.0, high=2.0, size=(100, 2))
y1 = np.repeat(1, 100)

svc = SVC(kernel='linear', C=1e8)

# 学習
# svc.fit(train_features, train_labels)
svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1)))

fig, ax = plt.subplots()

# ax.scatter(x, y) 散布図
ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class 0')
ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class 1')

# 格子点を準備
xx, yy = np.meshgrid(np.linspace(xmin, xmax, 100), np.linspace(ymin, ymax, 100))
# decision_functionの為に一つの行列に。
xy = np.vstack([xx.ravel(), yy.ravel()]).T

# 100 * 100 の行列。
# z = x*2 + y*2 とする部分のzの高さの部分。
# svcの決定関数を使ってxyという格子点からzを求めている。
z = svc.decision_function(xy).reshape((100, 100))
# 決定境界とマージンをプロット
ax.contour(xx, yy, z, colors='k', levels=[-1, 0, 1], alpha=0.3, linestyles=['--', '-', '--'])
plt.show()

流れとしては、
1. データを準備
2. SVCのインスタンスを作成
3. 入力データをそれを紐付かせたラベルをfit関数に入れることで学習させる。
4. 格子点を作成（参考記事)
5. Zをfitで学んだdecision_functionを使って作成
6. contourを使って等高線を引くと、決定境界を書くことができる。

大切な関数はfitとdecition_funkctionである。
fitの使い方は理解したが、decision_functionの方は分類器を利用してZを求めることくらいしか理解できてない。
それはもう少し勉強が進んで記事にしようと思う。

今日は夜が遅いのでこれくらいで。
おやすみなさい。

この処理Pythonでどう書く？ の二番煎じです。

実際perlだったらどう書くかなと考えながら練習がてら。できる限りCOREモジュール縛り。

この処理Perlでどう書く？

標準出力・標準エラー出力

# 標準出力にメッセージ
echo 'HELLO'

# 標準エラーにメッセージ
echo 'ERROR!' >&2

use strict;
use warnings;

# 標準出力にメッセージ
print "HELLO\n";
# もしくは v5.10 以上を use した上で say
use v5.10;
say "HELLO";

# 標準エラーにメッセージ。
print {*STDERR} "ERROR!\n";
# もしくは warn を使う。最後に改行がなければ警告の位置も教えてくれる。
warn "ERROR!\n";

ファイル関係

パス操作

name="$(basename "/foo/bar/baz.txt")" # => baz.txt          ファイル名
name="$(dirname "/foo/bar/baz.txt")"  # => /foo/bar/        親ディレクトリパス
fullpath="/foo/bar/${name}"           # => /foo/bar/baz.txt パスの連結

use strict;
use warnings;
use File::Basename qw(basename dirname);
use File::Spec;

my $name = basename("/foo/bar/baz.txt");  # => baz.txt
my $dir = dirname("/foo/bar/baz.txt");  # => /foo/bar
$fullpath = File::Spec->catfile("/foo/bar", $name);  # => /foo/bar/buz.txt

チルダや環境変数が含まれるパスを扱う

import pathlib

bad = pathlib.Path("~/Donwloads/report.txt") # ~ は自動展開されない！

f = pathlib.Path("~/Donwloads/report.txt").expanduser()
g = pathlib.Path("${WORK_DIR}/input.txt").expandvars()

use strict;
use warnings;

my $bad = "~/Downloads/report.txt";

# globを使う。ワイルドカードに注意。
my $f = glob '~/Downloads/report.txt';  # スカラコンテキストでアクセスする。

# %ENV から環境変数を取れる。
my $g = "$ENV{WORK_DIR}/input.txt";

ファイルの読み書き

import pathlib
path = pathlib.Path('foo.txt')

with open(path, 'r', encoding="utf-8") as f:
    for line in f:
        # line を処理

with open(path, 'w', encoding="utf-8") as f:
    print("内容", file=f)

with path.open('r') as f: # Pathのメソッドを使って開くこともできる。
    # ...

use strict;
use warnings;
use open qw/:encoding(UTF-8) :std/;
use utf8;
use autodie;

my $path = 'foo.txt';

READ: {
    open my $fh, '<', $path;

    while (<$fh>) {
        chomp(my $line = $_);
        # $line を処理
    }

    close $fh;
}

WRITE: {
    open my $fh, '>', $path;
    print {$fh} "内容";
    close $fh;
}

1;

行数を数える（wc -l）

with path.open('rb') as f:
    count = sum(1 for line in f)

use strict;
use warnings;
use autodie;
open my $fh, '<:raw', $path;
my $count = () = <$fh>;  # リストコンテキストでファイルハンドルを取り、それにスカラコンテキストでアクセス。

ファイルの列挙

import pathlib
dir = pathlib.Path('/tmp')
for file in dir.glob('tmp.*'):
    # ファイルを処理する
    # fileは文字列ではなく、pathlib.Pathであることに注意

use strict;
use warnings;

for my $file (glob '/tmp/tmp.*') {
    # ファイルを処理する
    # $fileは文字列
}

ファイルの情報（存在確認・作成日時）

import pathlib
f = pathlib.Path('/bin/bash')
f.exists()  # 存在確認

f.is_file() # ファイル？
f.is_dir()  # ディレクトリ？

f.stat().st_ctime # 作成日時
f.stat().st_mtime # 更新日時
f.stat().st_atime # アクセス日時

use strict;
use warnings;
use File::stat;

my $f = '/bin/bash';

my $sb = stat($f);  # 特殊ファイルハンドル "_" がキャッシュされる。
-e _;  # 存在確認
-f _;  # ファイル？
-d _;  # ディレクトリ？

$sb->ctime;  # 作成日時
$sb->mtime;  # 更新日時
$sb->atime;  # アクセス日時

移動・削除

import pathlib

path_from = pathlib.Path('.bash_history')
path_to = pathlib.Path('/tmp/.bash_history')
path_from.rename(path_to) # 移動
path_from.unlink() # 削除

use strict;
use warnings;
use File::Copy qw(move);
use autodie qw(move);

my $path_from = '.bash_history';
my $path_to = '/tmp/.bash_history';
move $path_from, $path_to;  # 移動
unlink $path_from;  # 削除

コピー

import shutil
import pathlib

path_from = pathlib.Path('.bash_history')
path_to = pathlib.Path('/tmp/.bash_history')
shutil.copy2(path_from, path_to) # コピー

use strict;
use warnings;
use File::Copy qw(copy);
use autodie qw(copy);

my $path_from = '.bash_history';
my $path_to = '/tmp/.bash_history';
copy $path_from, $path_to;

外部コマンド

単純に実行する

import subprocess
subprocess.run(['sl', '-h'], check=True)

use strict;
use warnings;
use autodie qw(system);
system qw(sl -h);

外部のコマンドを実行し、標準出力を受け取る

import subprocess
r = subprocess.run(['echo', '世界'], check=True, stdout=subprocess.PIPE)
r.stdout # => b'\xe4\xb8\x96\xe7\x95\x8c\n' '世界\n'をUTF-8でエンコードしたもの
r.stdout.decode(sys.getfilesystemencoding()) # => '世界\n'

use strict;
use warnings;
use autodie;
use Encode;

# 実行するコマンドが安全なら
my $stdout = `echo 世界`;
$stdout;  # '世界\n'のバイナリ文字列。utf8フラグは無し。
decode_utf8($stdout);  # '世界\n'、utf8フラグあり。

# 安全ではないなら
my @cmd = qw(echo 世界);
open my $fh, '-|', @cmd;
$stdout = do { local $/; <$fh> };  # 丸呑み
close $fh;

# utf8フラグの事を気にしたくないのなら
{
    use utf8;
    use open qw/:encoding(UTF-8) :std/;
    open my $fh, '-|', @cmd;
    $stdout = do { local $/; <$fh> };  # utf8フラグあり
    close $fh;
}

# 古いシステムでロケールがUTF-8じゃない？正気か？？
{
    no utf8;
    use Encode::Locale;  # non-core
    my @lcmd = map { encode(locale => decode_utf8($_)) } @cmd;
    open my $fh, '-|', @lcmd;
    $stdout = decode(locale => do { local $/; <$fh> });
    close $fh;
}

環境変数やカレントディレクトリを変更する

env = dict(os.environ) # Pythonスクリプトの環境変数をコピー
env['DB_HOST'] = 'localhost' # 環境変数を変更

cwd = pathlib.Path('/')

subprocess.run(['setup.sh'], cwd=cwd, env=env)

use strict;
use warnings;
use Cwd qw(chdir);  # chdir時に$ENV{PWD}をアップデートする
use autodie;

local $ENV{DB_HOST} = 'localhost';
my $orig_dir = Cwd::getcwd();

chdir "/";
system "setup.sh";
chdir $orig_dir;

リダイレクトを使う

import subprocess
import os.path

fi = open(os.path.expanduser('~/.bash_history'))
fo = open('p.txt', 'wb')
subprocess.run(['grep', 'python[23]'], stdin=fi, stdout=fo)
# p.txt に検索結果が出力される

# COREモジュール縛り
use strict;
use warnings;
use autodie;
use IPC::Open2;

open my $fh_history, '<', scalar glob '~/.bash_history';

my ($fh_out, $fh_in);
my $pid = open2($fh_out, $fh_in, 'grep', 'python');
print {$fh_in} $_ while <$fh_history>;
close $fh_in;
close $fh_history;

open my $fh_txt, '>:raw', 'p.txt';
print {$fh_txt} $_ while <$fh_out>;
close $fh_txt;
close $fh_out;

waitpid $pid, 0;
my $return_code = $? >> 8;

# COREモジュール以外も使っていい場合
use strict;
use warnings;
use IPC::Run3 qw(run3);  # non-core

my $fi = scalar glob '~/.bash_history';
my $fo = 'p.txt';

run3 ['grep', 'python[23]'], $fi, $fo;

パイプを使う

p1 = subprocess.Popen(["cat", '.bash_history'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(["grep", "python"], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close()
output = p2.communicate()[0] # history から 'python' を含む行を検索した結果
p2.returncode # grep の終了コード

use strict;
use warnings;
use autodie;
use IPC::Open2;

open my $fh_history, '<', scalar glob '~/.bash_history';

my ($fh_out, $fh_in);
my $pid = open2($fh_out, $fh_in, 'grep', 'python');

print {$fh_in} $_ while <$fh_history>;

close $fh_in;
close $fh_history;

waitpid $pid, 0;
my $returncode = $? >> 8;
my $output = do { local $/; <$fh_out> };

close $fh_out;

spawn → wait （外部コマンドを起動し、終了を待つ）

import subprocess

p1 = subprocess.Popen(['/path/to/heavy-sub-process1'])
p2 = subprocess.Popen(['/path/to/heavy-sub-process2'])

p1.wait()
p2.wait()

use strict;
use warnings;

my @cmds = (
    ['/path/to/heavy-sub-process1'],
    ['/path/to/heavy-sub-process2'],
);

my @pids;
for my $cmd (@cmds) {
    my $pid = fork;
    if (!defined $pid) {
        die "Can't fork: $!";
    }
    elsif (!$pid) {
        exec @{$cmd};
        exit 1;
    }
    else {
        push @pids, $pid;
    }
}

my @rcs;
for my $pid (@pids) {
    waitpid $pid, 0;
    push @rcs, $? >> 8;
}

シェルを実行する

subprocess.run('echo Hello > /dev/null', shell=True)

system 'echo Hello > /dev/null';  # メタキャラクタがあればshellが呼ばれる

時刻関係

from datetime import datetime, timedelta # datetimeは日時を、timedeltaは経過時間を表す

epoch = datetime.now().timestamp()
# => 1540277405.379158 現在のUnix時刻（小数）

datetime.fromtimestamp(1540277405).strftime('%FT%T')
# => '2018-10-23T15:50:05'

start = datetime.now()
# 何か時間がかかる処理をする

duration = datetime.now() - start # datetime - datetime は timedelta
print(duration / timedelta(seconds=1)) # 経過時間を数値型にするには、別の timedeltaで割る
# => 42.680422 かかった秒数（小数）
print(duration.total_seconds()) # これでもOK
# => 42.680422 かかった秒数（小数）

use strict;
use warnings;
use v5.12;
use Time::Piece;
use Time::HiRes;

my $epoch = localtime->epoch;
# => 現在のUnix時刻（整数）

my $start = localtime;
# なにか時間がかかる処理をする

my $duration = localtime() - $start;  # Time::Piece - Time::Piece は Time::Seconds
say $duration->seconds;
# => かかった秒数（整数）

my $frac_epoch = Time::HiRes::time();
# => 現在のUnix時刻（小数）

my $frac_duration = Time::HiRes::time() - $frac_epoch;
say $frac_duration;
# => かかった秒数（小数）

文字列関係

文字列への式埋め込み

message='世界!'
print(f"Hello {message}") # => Hello 世界!

use strict;
use warnings;

my $message = '世界!';
print "Hello ${message}\n";  # => Hello 世界!

print(f"1 + 2 = {1 + 2}") # => 1 + 2 = 3

use strict;
use warnings;

# 文字列に埋め込めるようリファレンスをくぐらせる
print "1 + 2 = ${\(1 + 2)}\n";  # => 1 + 2 = 3

ヒアドキュメント

import textwrap

report = textwrap.dedent(f"""
    レポート
    日付: {date}
""")

use strict;
use warnings;
use v5.26;
use Time::Piece;

my $report = <<~EOF  # 比較的新しいperlのdedent
    レポート
    日付: ${\(localtime->strftime("%Y年%h月%d日"))}
    EOF

コマンドライン引数

import sys
sys.argv # => ['a.py', 'input.txt', '-o', 'output.txt']

# プログラムファイル名自体は $0 に入っている。
@ARGV; # => ('input.txt', '-o', 'output.txt')

import argparse

parser = argparse.ArgumentParser(description='Process some integers.')
parser.add_argument('integers', metavar='N', type=int, nargs='+',
                    help='an integer for the accumulator')
parser.add_argument('--sum', dest='accumulate', action='store_const',
                    const=sum, default=max,
                    help='sum the integers (default: find the max)')

args = parser.parse_args()
print(args.accumulate(args.integers))

#!/usr/bin/perl
use v5.12;
use strict;
use warnings;
use Getopt::Long qw(:config posix_default no_ignore_case gnu_compat permute);
use Pod::Usage qw(pod2usage);
use File::Basename qw(basename);
use List::Util qw(max sum);

# 無理やりpythonのargparseに寄せたので多少ぎこちないかも。

my %args = (
    accumulate => \&max,
);

GetOptions(
    'h|help' => sub { pod2usage(0) },
    sum => sub { $args{accumulate} = \&sum },
) or pod2usage(1);

for my $arg (@ARGV) {
    if ($arg =~ /\D/) {
        pod2usage(
            -exitval => 1,
            -msg => "argument N: invalid int value: $arg",
        );
    }
}

say $args{accumulate}->(@ARGV);

1;
__END__

=pod

=encoding UTF-8

=head1 NAME

test.pl -- blah blah

=head1 SYNOPSIS

test.pl [-h] [--sum] N [N ...]

Process some integers.

=head2 OPTIONS

=over 2

=item C<-h>

show this help message

=item C<--sum>

sum the integers (default: find the max)

=back

=cut

終了時の処理&シグナルをtrapする

import atexit
import os

tf = '/path/to/tempfile'

@atexit.register
def cleanup():
    os.remove(tf)

use strict;
use warnings;
use autodie;

my $tf = '/path/to/tmp';
$SIG{HUP} = $SIG{INT} = $SIG{QUIT} = $SIG{TERM} = \&cleanup;

sub cleanup {
    unlink $tf;
}

HTTPリクエスト(curlやwgetの代替)

# URLを、GETでリクエストし、レスポンスボディを出力する
import urllib.request
import urllib.parse

params = urllib.parse.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
url = f"http://www.musi-cal.com/cgi-bin/query?{params}"
with urllib.request.urlopen(url) as f:
     print(f.read().decode('utf-8'))

# URLを、GETでリクエストし、レスポンスボディを出力する
use strict;
use warnings;
use v5.12;
use HTTP::Tiny;

my %params = (spam => 1, eggs => 2, bacon => 0);
my $url = 'http://www.musi-cal.com/cgi-bin/query';
my $response = HTTP::Tiny->new->get($url, \%params);
die "Failed" unless $response->{success};
say $response->{content};

お前は何を言ってるんだ

先にこの記事をお読みください。

本記事では、元記事で問われていた「政党名を与えたとき、世界が矛盾しているか否かを判定するアルゴリズム」を Python で実装していきます。

数学的に定式化する

NHKを0, 国民を1とすると、「NHKから国民を守る党」は「0から1を守る党」と表すことができます。

それを更に省略してリスト[0, 1]で表すことにすると、全政党が長さ2のリストで表現できます。

例えば、「国民からNHKを守る党から国民を守る党」は[[1, 0], 1]で表現され、
「NHKから国民を守る党から国民からNHKを守る党を守る党からNHKを守る党」は[[[0,1],[1,0]],0]と簡潔に表すことができます。

そして考えうる全ての政党（矛盾するものも含め）がこのように表記できます。

友好性の公理

一般に、政党[x, y]が実在するとき次が成り立っていることが期待されます。

1. 政党[x, y]はyと友好的である（なぜなら前者は後者を守っているから）。
2. 政党[x, y]はxと友好的でない（なぜなら前者は後者から何かを守ろうとしているから）。

また元記事では以下の公理も仮定しています。

• xとyが友好的でありyとzが友好的であるならば、xとzも友好的である（味方の味方は味方）

いま「xとyが友好的である」ことをx ~ yと表記すると、
上の公理は「関係~は推移的である」と言い換えることができます。

また、反射律（自分は自分と友好的）と対称律（xとyが友好的ならばyとxも友好的）も成り立つと考えられるため、関係〜は同値関係となっています。

よって、全ての政党は同値類で重複なく分割されることがわかります。

第3勢力は存在するか？

さて、全ての政党が何らかの陣営にきれいに分割されることがわかりましたが、
その陣営はいくつまで存在できるのでしょうか？
NHKにも国民にも与しない「第3の勢力」は果たして存在するのでしょうか？

いま、公理1より任意の政党[x,y]に対し[x,y] ~ yが成り立っていますが、
前者より後者の方が「表記に用いるカッコの数」が少ないことは明らかです。

つまり任意の政党に対して、それよりカッコが少ない友好的な政党（またはNHK or 国民）を見つけることができます。

そして自分よりカッコが少ない友好的政党を見つける作業を続けていくと、
いずれはカッコが0のもの、つまり NHK か国民に行き着くことがわかります。

よって、任意の政党[x, y]は NHK か国民のいずれかと必ず友好的であり、
どちらかの同値類に含まれるため、第3の勢力などいないことがわかります。

矛盾するマニフェスト

公理2により任意の政党[x, y]において[x, y] !~ xが成り立ちますが、
上の議論により全ての政党はNHKか国民の陣営に属するため、これは[x, y]が属していない陣営にxが属していることを意味します。

このとき[x, y]が両方の陣営に属しているとすると、xはどちらの陣営にも属していないことになり矛盾します。

よって、無矛盾な世界にNHKと国民両方に味方する政党は存在できず、
また何らかの政党が存在するならばNHKと国民は敵対していなければならないことが従います。

逆（対偶）に言うとNHKと国民が友好的であるような世界では政党などいらないと言うことなのでしょう。

政党が矛盾するとき

xとyが同じ陣営だとすると、公理1より[x, y]はyの陣営(xの陣営)に属し、公理2によりxの陣営には属さないことになるので、矛盾します。

これと同等の論理をプログラムで扱いやすくするために、
両陣営に属する政党がいても良いような世界を考えてみます。

やさしい世界

一旦公理2を弱めた次の公理2'を考えてみます。

[x, y]は、xがNHK陣営なら国民陣営に属し、xが国民陣営ならNHK陣営に属する

公理2が成り立っているときは（公理1のもとで）公理2’も成り立ちますが、
その逆は言えません。

また公理2’の元では、NHKと国民の両方に味方する政党がいても矛盾しません。
なぜならある政党が何らかの陣営に属していることは言えても、何らかの陣営に属していないことを導く方法はなく、矛盾が起きえないからです。

例えば「NHKからNHKを守る党」は公理1からNHK陣営に属しており、
公理2からNHK陣営に属してないことになり矛盾するわけですが、
これが公理2'であれば、NHKじゃない方の陣営、国民陣営にも属していることが言えるだけで、
何ら矛盾はおきません。みんななかよしと言うだけの話です。

このやさしい世界の中において、両陣営となかよしな政党は元々の世界で考えると矛盾した政党であることは明らかだと思います。

よって、やさしい世界における陣営を調べれば、元々の世界の矛盾が判定できることになります。

陣営関数

やさしい世界において、任意の政党に対しそれが属する陣営を割り当てる関数

T(x): x \mapsto \{ \{0\}, \{1\}, \{0, 1\} \}

が定義できます。

このとき、任意の政党[x, y]に対して、

T(x) \cap T(y) \neq \varnothing \Rightarrow T([x, y]) = \{0, 1\} \\
T(x) \cap T(y) = \varnothing \Rightarrow T([x, y]) = T(y) 

が成り立つことがわかります。

つまり政党[x, y]が元々の世界で矛盾しているかどうかは、やさしい世界において陣営を再帰的に調べて行けば判定できることになります。

Pythonで判定する

前節の内容をそのままプログラムにします。

def T(party):
  if party in [0, 1]:
    return [party]
  else:
    p = T(party[0])
    q = T(party[1])
    if len(set(p) & set(q)) != 0:
      return [0, 1]
    else:       
      return q

NHKから国民を守る党から国民からNHKを守る党を守る党からNHKを守る党は矛盾しているか？

print(T([[[0,1],[1,0]],0])) # => [0, 1]

両陣営に属しているので矛盾していることがわかりました。

以上です。間違っていたら教えてください。

補遺A：矛盾しない政党はどれくらい存在するか?

いま政党のランクR(x)を次のように定義します。

R(0) = R(1) = 0, \\  
R(x, y) = max(R(x), R(y)) + 1

例えば、$$R([1, 1]) = max(0, 0) + 1 = 1$$となります。

ランク0はNHKと国民の2つのみで、どちらも矛盾はしていません（実情は別として）。

ランク1の政党は[0, 0], [0, 1], [1, 0], [1, 1]の4つで、このうち矛盾していないのは2つです。

ランク2の政党は、ランク1以下の6つの集団のそれぞれ組み合わせとして得られるので、6 * 6 = 36個存在することがわかります。
また、ランク1以下の無矛盾な政党にはNHK陣営のものが2つ、国民陣営が2つあり、敵陣営との組み合わせの場合のみ矛盾しない政党ができあがるので、
ランク2の無矛盾な政党は4 * 2 = 8個存在することがわかります。

同様に、ランク3の政党は(2 + 4 + 36)^2 = 1764個存在し、そのうち無矛盾なのは12 * 6 = 72個しかないことがわかリます。

この差はランクが増えるとどんどん開いていくので、世の中の政党のほぼ全てが矛盾していると言うことができます。

一般にランクnの政党の数をp_n, 無矛盾な政党の数をc_nとおくとき、それらは

p_0 = 2, \\
p_n = (\Sigma_{k=1}^{n-1} p_k)^2 \\

と

c_0 = 2, \\
c_n = \frac{1}{2} (\Sigma_{k=1}^{n-1} c_k)^2

の漸化式で求められます。

〔補遺終わり〕

はじめに

前回の投稿では、tkinterを使ったターン制の三目並べを作成したので、今回はpygameを使った常に画面が更新されるものを作ってみました。
タイトルで風船割りゲームと書きましたがそこまでのゲーム性はありません。笑
ただ、今後ゲームを作る際に使えそう？な処理は学べたかなぁ。。。と思います。
例によって、欲しい機能を寄せ集めたキメラティックコードなので読みやすさは今後の課題ですね。

今回の完成品

一番最後に今回のコード全体像を載せてあります。

表示画面作成

まずは基盤となる画面作成からですね。

import pygame

pygame.init()
screen = pygame.display.set_mode((800, 600))
pygame.display.set_caption("Game")

なにはともあれpygameをimport。
pygame.init()で、pygameのモジュールを初期化してあげます。開幕に書く場合は、お決まりの呪文レベルの認識でいいかもしれません。大量のモジュールを使用する場合は、使ってないモジュールを初期化してあげるといいとかなんとか。そのうち処理の途中で書く日が来るかも？

pygame.display.set_modeが画面サイズで横幅、縦幅。
set_captionはタイトルバーに表示される名前です。

画面更新処理

import time

FPSCLOCK = pygame.time.Clock()
FPS = 15

class CanonGame():
    def __init__(self):

        while True:
            pygame.display.update()
            FPSCLOCK.tick(FPS)

def main():
    CanonGame()

if __name__ == '__main__':
    main()

主役。
pygame.display.update()で画面の描画を反映した後に、pygame.time.Clock.tick(フレーム数)で1秒間に(フレーム数)を超えない速度で処理が実行されます。フレーム数を上げれば、滑らかな動きを実装することができる反面、処理が重くなってしまいます。
それと、基本的に更新し続けるものはwhile True:の範囲中に入れてあげてください。

キーイベント取得

from pygame.locals import *

pygame.key.set_repeat(5, 5)

class CanonGame():
        while True:
            for event in pygame.event.get():
                if event.type == QUIT:
                    pygame.quit()
                    sys.exit()
                elif event.type == KEYDOWN:
                    if event.key == K_SPACE:
                        self.bullet_shot = True
                    elif event.key == K_UP and self.cannon_radian < 89:
                        self.cannon_radian += 1
                    elif event.key == K_DOWN and self.cannon_radian > 0:
                        self.cannon_radian -= 1

ゲームとなればやはり操作したいですよね？
event.get()で行われた操作の種類を取得します。
event.typeがQUIT(画面右上の×ボタン)ならすべてを終了させます。
KEYDOWN(キーボード押下)ならその後にevent.keyを取得して押されたキーごとに処理を割り振ります。
今回は、スペースキーで球を発射。上下キーで向き調節にしました。
key.set_repeatを設定することによりキーを押しっぱなしでも反応してくれるようになります。

画像表示、回転

class CanonGame():
    def __init__(self):
        bullet_image = pygame.image.load("bullet.png")
        self.cannon_image = pygame.image.load("cannon.png")

            screen.fill((255, 255, 255))
            screen.blit(bullet_image, (self.bullet_x, self.bullet_y))

            rotate_cannon = pygame.transform.rotate(self.cannon_image, self.cannon_radian - 45)
            cannon_rect = rotate_cannon.get_rect()
            cannon_rect.center = (84, 536)
            screen.blit(rotate_cannon, cannon_rect)

pygame.image.load（”画像名”）で画像を読み込みます。画像の保存場所は実行ファイルを保存している場所と同じ場所で。
screen.fill(Red,Green,Blue)は背景色です。今回は背景画像を用意していないので、毎回背景を塗り替えて、直前の画像たちを消しています。これがないと前の処理たちがそのまま残ってしまいます。
screen.blit(画像,(x, y))：画像の配置で、気を付けないといけないのが、表示画面の左上がx:0、y:0になります。
画面の右下に向かうにつれてxとyの値が大きくなります。

諸々の挙動

ゲーム内の挙動ですが、いくつかピックアップして解説します。

from random import randint

self.balloon_x = randint(500, 700)

randint(最小値, 最大値)。これにより風船が出現するx座標をランダムにしています。intなので設定値内の整数からランダムで選ばれます。

import sys

sysfont = pygame.font.SysFont(None, 36)

        while True:
            score_image = sysfont.render("score : {}".format(self.score), True, (0, 0, 255))
            screen.blit(score_image, (10, 20))

文字の出力。
pygame.font.Sysfont(name, size, bold, italic)と4つのパラメータを変えることが出来ます。
sysfont.renderの｛ ｝の中にはformat()が入ります。

    def set_balloon(self):
        now_time = time.time()
        if self.is_collision:
            if now_time - self.balloon_break > 1:
                self.is_collision = False
        if self.is_collision is False:
            if self.is_balloon:
                self.balloon_y = self.balloon_y - 12
                self.balloon_alive = time.time()
                if self.balloon_alive - self.balloon_create > 4:
                    self.is_balloon = False
                else:
                    self.collision_check()
            else:
                self.balloon_image = pygame.image.load("balloon-red.png")
                self.balloon_x = randint(500, 700)
                self.balloon_y = 600
                self.is_balloon = True
                self.balloon_create = time.time()

あと、ごにょごにょ書いているset_balloon関数なんですが、ここではtimeモジュールを利用しています。
風船が出現したときに、balloon_createとして現在時刻を取得し、その後、balloon_aliveという時間を取得し続けて、差が4秒以上になれば再び風船を出現させるようにしています。
ついでにnow_timeというのも計測して、風船が割れたら1秒後に風船を出現させるようにしています。

n秒後に処理させるって調べるとsleepが出てきますが、あれを使うと処理全体が止まるので注意してください。

import math

    def bullet(self):
        gravity = 9.8
        if self.bullet_shot:
            bullet_speed_x = self.bullet_speed * math.cos(math.radians(self.cannon_radian))
            bullet_speed_y = (self.bullet_speed * math.sin(math.radians(self.cannon_radian)))
            self.bullet_x = self.bullet_x + bullet_speed_x
            self.bullet_y = self.bullet_y - bullet_speed_y + gravity * self.time
            self.time += 0.2

            if self.bullet_x > 800 or self.bullet_y > 600:
                self.bullet_shot = False
                self.set_bullet()

発射した球の挙動は、発射角にサインコサインでそれっぽい動きになるように。
ちゃんとした物理式を使うか迷ったんですが、それっぽい動きになったからヨシっ！

球が画面外に出るまで次の球は発射させません。
※この記述の場合、画面内に球がある状態で発射すると、飛行中の球が消えてしまいます。
　なので、連射したい場合はそれぞれを別のものとして扱う必要があります。

    def collision_check(self):
        distance_y = ((self.balloon_y + 15) - (self.bullet_y + 16))**2
        distance_x = ((self.balloon_x + 20) - (self.bullet_x + 16))**2
        distance = (distance_x + distance_y)**(1/2)
        if distance < 31:
            self.pang_image = pygame.image.load("pang.png")
            self.pang_rect = self.pang_image.get_rect()
            self.pang_rect.center = (self.balloon_x + 20, self.balloon_y + 15)
            self.is_collision = True
            self.is_balloon = False
            self.total_score(100)
            self.balloon_break = time.time()

衝突判定。
今回は球と風船のだいたいの中心からの絶対値で計算しています。久々すぎて三平方の定理ググりました。
ヒットボックスが円だと楽でいい！（四角の場合は、x軸同士とy軸同士の差を絶対値を出してandでうんぬんかんぬん）
衝突すると100点入ります。

終わりに

色々な挙動を覚えるにはやはり触れてみるのが一番ですね。
今回の要素を組み合わせれば、簡単なゲームなら大体できそうな気がしなくもないです。
あと、イラスト描けるようになりたい・・・

コード全体像

import math
import sys
import pygame
from pygame.locals import *
from random import randint
import time

pygame.init()
screen = pygame.display.set_mode((800, 600))
pygame.display.set_caption("Game")
sysfont = pygame.font.SysFont(None, 36)
pygame.key.set_repeat(5, 5)
FPSCLOCK = pygame.time.Clock()
FPS = 15


class CanonGame():
    def __init__(self):
        bullet_image = pygame.image.load("bullet.png")
        self.set_cannon()
        self.set_bullet()
        self.bullet_shot = False
        self.is_balloon = False
        self.is_collision = False
        self.score = 0

        while True:
            for event in pygame.event.get():
                if event.type == QUIT:
                    pygame.quit()
                    sys.exit()
                elif event.type == KEYDOWN:
                    if event.key == K_SPACE:
                        self.bullet_shot = True
                    elif event.key == K_UP and self.cannon_radian < 89:
                        self.cannon_radian += 1
                    elif event.key == K_DOWN and self.cannon_radian > 0:
                        self.cannon_radian -= 1

            self.set_balloon()
            self.bullet()

            screen.fill((255, 255, 255))
            screen.blit(bullet_image, (self.bullet_x, self.bullet_y))
            if not self.is_collision:
                screen.blit(self.balloon_image, (self.balloon_x, self.balloon_y))
            elif self.is_collision:
                screen.blit(self.pang_image, self.pang_rect)
            rotate_cannon = pygame.transform.rotate(self.cannon_image, self.cannon_radian - 45)
            cannon_rect = rotate_cannon.get_rect()
            cannon_rect.center = (84, 536)
            screen.blit(rotate_cannon, cannon_rect)
            score_image = sysfont.render("score : {}".format(self.score), True, (0, 0, 255))
            screen.blit(score_image, (10, 20))

            pygame.display.update()
            FPSCLOCK.tick(FPS)

    def set_bullet(self):
        self.bullet_x = 68
        self.bullet_y = 520
        self.bullet_speed = 50
        self.time = 0

    def set_cannon(self):
        self.cannon_image = pygame.image.load("cannon.png")
        self.cannon_radian = 45

    def set_balloon(self):
        now_time = time.time()
        if self.is_collision:
            if now_time - self.balloon_break > 1:
                self.is_collision = False
        if self.is_collision is False:
            if self.is_balloon:
                self.balloon_y = self.balloon_y - 12
                self.balloon_alive = time.time()
                if self.balloon_alive - self.balloon_create > 4:
                    self.is_balloon = False
                else:
                    self.collision_check()
            else:
                self.balloon_image = pygame.image.load("balloon-red.png")
                self.balloon_x = randint(500, 700)
                self.balloon_y = 600
                self.is_balloon = True
                self.balloon_create = time.time()

    def bullet(self):
        gravity = 9.8
        if self.bullet_shot:
            bullet_speed_x = self.bullet_speed * math.cos(math.radians(self.cannon_radian))
            bullet_speed_y = (self.bullet_speed * math.sin(math.radians(self.cannon_radian)))
            self.bullet_x = self.bullet_x + bullet_speed_x
            self.bullet_y = self.bullet_y - bullet_speed_y + gravity * self.time
            self.time += 0.2

            if self.bullet_x > 800 or self.bullet_y > 600:
                self.bullet_shot = False
                self.set_bullet()

    def collision_check(self):
        distance_y = ((self.balloon_y + 15) - (self.bullet_y + 16))**2
        distance_x = ((self.balloon_x + 20) - (self.bullet_x + 16))**2
        distance = (distance_x + distance_y)**(1/2)
        if distance < 31:
            self.pang_image = pygame.image.load("pang.png")
            self.pang_rect = self.pang_image.get_rect()
            self.pang_rect.center = (self.balloon_x + 20, self.balloon_y + 15)
            self.is_collision = True
            self.is_balloon = False
            self.total_score(100)
            self.balloon_break = time.time()

    def total_score(self, score):
        self.score = self.score + score


def main():
    CanonGame()


if __name__ == '__main__':
    main()

実行環境

docker-compose 1.23.2
VirtualBox 5.2.20
NLTK 3.4.5

ディレクトリ構造

/
  ├docker/
    └ Dockerfile
  ├src/
    └ test.py
  └docker-compose-yml

Dcokerfile

FROM python:3.7.5-alpine

# https://www.nltk.org/data.html
# > The downloader will search for an existing nltk_data directory to install NLTK data.
RUN mkdir /usr/share/nltk_data

RUN pip3 install nltk && python3 -m nltk.downloader all

python3 -m nltk.downloader all を実行してダウンロードするライブラリを /usr/share/nltk_data に保存します。
（ディレクトリを指定する場合は nltk.downloader -d）

docker-compose.yml

version: '3'
services:
  nltk:
    build:
      context: ./docker
    image: image-nltk
    container_name: container-nltk
    volumes:
      - ./src:/src
    tty: true

test.py

import nltk

sentence = "NLTK is a leading platform for building Python programs to work with human language data."

tokens = nltk.word_tokenize(sentence)
print(tokens)

tagged = nltk.pos_tag(tokens)
print(tagged)

ビルド

docker-compose build

コンテナ作成

docker-compose up -d

スクリプト実行

dcoker-compose exec nltk ash

以下コンテナ内部

/ # python3 /src/test.py
['NLTK', 'is', 'a', 'leading', 'platform', 'for', 'building', 'Python', 'programs', 'to', 'work', 'with', 'human', 'language', 'data', '.']
[('NLTK', 'NNP'), ('is', 'VBZ'), ('a', 'DT'), ('leading', 'VBG'), ('platform', 'NN'), ('for', 'IN'), ('building', 'VBG'), ('Python', 'NNP'), ('programs', 'NNS'), ('to', 'TO'), ('work', 'VB'), ('with', 'IN'), ('human', 'JJ'), ('language', 'NN'), ('data', 'NNS'), ('.', '.')]

sample

プロローグ

みなさんこんにちは。
今日は、ボクが考えた事件解決の助けとなる画期的な発明を紹介したいと思います。
それは…事件が起きる前の容疑者たちの会話を集めて、犯人と被害者を予測するシステムです！
AIについてはまだよくわからないけど、少年探偵団に不可能はありません！

目的

• 事件が起きる前に犯人と被害者を予測する

条件

• 対象とする事件は殺人事件
• ストーリー開始から事件が起きる前までの会話から犯人と被害者を予測する

システム概要

• 言語はPython
• 機械学習に使うライブラリはkeras
• 形態素解析エンジンはjanome

実装の流れ

システム作成の手順を簡単に説明します。

• データ収集
  コナンの単行本からひたすらデータを収集します。
  事件が起きるまでの会話を全部拾うのはきつかったので、吹き出し10個分を学習データとして利用することにしました。
  また、会話に登場する人物名が判定に影響を与えないように、全ての人物名を「田中」に変換しました。

• 形態素解析
  収集したデータは日本語の文章となりますが、このままでは学習データとして使えないためデータ処理を行っていきます。
  文章を単語区切りにすることで、このあと登場するベクトル化を可能にします。
  例えば「すもももももももものうち」を「すもも/も/もも/も/もも/の/うち」のように区切ります。

• ベクトル化
  janomeのdoc2vecを利用して文章をベクトルデータに変換します。
  文章データを数値で表現することで、学習データとして利用できるようになりました。

• 学習
  出来上がったベクトルデータに「犯人/被害者/一般人」のラベル付けを行い、学習を行います。

結果

学習データに対しては100%近い精度となりましたが、新規データへの精度はほとんど出ませんでした。

• 敗因：学習データが圧倒的に足りなかったです(28個)
  • 単行本の内容を手打ちでデータ化するのは思ったより大変な作業でした
  • 投稿日がせまってたので妥協しました
  • 漫画読むの優先した

よく言われますが、機械学習で一番大変なのは学習データを集めることです。
こんなことがしたい！と思ったときにすぐにデータが手に入ることは稀だと思うので、普段からデータにアンテナを張っておくことが大切だと思いました。

おまけ

いろんなキャラクターのセリフを判定してみた結果です。
左から順に[一般人 被害者 犯人]の確率です。

• 吾輩は猫である
  • [0.506109 0.47779834 0.01609264]
• オッス！オラ悟空
  • [0.7559725 0.22846058 0.01556693]
• 僕ドラえもん
  • [0.6403506 0.3441662 0.01548317]
• 東中出身、涼宮ハルヒ。ただの人間には興味ありません。この中に宇宙人、未来人、異世界人、超能力者がいたら、あたしのところに来なさい。以上。
  • [0.2473547 0.69323796 0.05940729]
• 僕は新世界の神となる！
  • [0.28107646 0.70111287 0.01781074]
• あきらめたらそこで試合終了ですよ
  • [0.63113874 0.34889922 0.01996207]
• 何の成果も!!得られませんでした!!
  • [0.46731383 0.48855832 0.04412784]
• たった一つの真実見抜く、見た目は子ども、頭脳は大人、その名は名探偵コナン！
  • [0.50221133 0.47582945 0.02195918]

ほとんど一般人か被害者の確率にかたよってしまいました。
犯人の確率は高くても6%と低いですね、もしかしたら派手なセリフは犯人ではないと学習しているのかもしれません。

被害者の確率が最も高かったのはキラの「僕は新世界の神となる！」でしたね。

結論

夜神ライトは死ぬ

だいぶ投稿が遅くなってしまいましたがこちらの記事は深層学習以外の機械学習と応用技術 by QuantumCore Advent Calendar 2019の7日目の記事です。

はじめに

Qiita - QoreSDKの紹介とQoreで不整脈検出

まずはじめにこちらのQoreSDKの紹介記事読んで、Qoreの強みが時系列データに強く、学習が高速でデータが少なくても精度が出せるという点であるということを理解しました。
そこで通貨取引の価格上昇下降のタイミングが素早く検出できれば取引の利益を大きく損失を小さくすることができるのではないかと考えました。
次に扱う題材ですがBTC(ビットコン)に決めました。また、BTCの取引履歴はオープンデータとして公開されているため開発者が扱いやすいという利点も選択理由の一つです。

というわけでKaggleに公開されていますこちらのデータをKaggleDataset - bitcoin-historical-dataを今回は使います。

これ以降の紹介で使っておりますソースコードは下記GooglaColabratoryで動作確認したコードになります。
GoogleColabratory - btc.ipynb

データの読み込み

まずKaggleDatasetからデータをダウンロードしたことを前提に話を進めます。GoogleColabratory上でKaggleDatasetからデータをダウンロードする方法については下記記事を参考にしました。

Qiita - Google Colab上でKaggleのデータをロード、モデル訓練、提出の全てを行う

まずはデータを読み込む部分です、元々加工済みのCSVファイルということもありpandasでそのまま読み込めます。

load_data.py

import numpy as np
import pandas as pd

btc = pd.read_csv("/content/bitstampUSD_1-min_data_2012-01-01_to_2019-08-12.csv")
btc.head()

"""
    Timestamp   Open    High    Low Close   Volume_(BTC)    Volume_(Currency)   Weighted_Price
0   1325317920  4.39    4.39    4.39    4.39    0.455581    2.0 4.39
1   1325317980  NaN NaN NaN NaN NaN NaN NaN
2   1325318040  NaN NaN NaN NaN NaN NaN NaN
3   1325318100  NaN NaN NaN NaN NaN NaN NaN
4   1325318160  NaN NaN NaN NaN NaN NaN NaN
"""

データの前処理

データを見てみると欠損値が存在するため、直前の値で欠損値を埋めるffillを使って欠損値を埋めます。

また今回の予測対象である価格上昇・下降の定義ですが、終値(カラムではClose)が始値(カラムではOpen)よりも値が上回っていた場合は価格が上昇したと定義します。

最後にTimestampカラムをto_datetimeを使って扱いやすいように型変換しておきます。

preprocess.py

btc[btc.columns.values] = btc[btc.columns.values].ffill()

btc['Delta'] = btc['Close'] - btc['Open']

def digitize(n):
    if n > 0:
        return 1
    return 0

btc['label'] = btc['Delta'].apply(lambda d: digitize(d))

# https://stackoverflow.com/questions/19231871/convert-unix-time-to-readable-date-in-pandas-dataframe
btc["Timestamp"] = pd.to_datetime(btc["Timestamp"], unit='s')

btc.head()
"""
Timestamp   Open    High    Low Close   Volume_(BTC)    Volume_(Currency)   Weighted_Price  Delta   label
0   2011-12-31 07:52:00 4.39    4.39    4.39    4.39    0.455581    2.0 4.39    0.0 0
1   2011-12-31 07:53:00 4.39    4.39    4.39    4.39    0.455581    2.0 4.39    0.0 0
2   2011-12-31 07:54:00 4.39    4.39    4.39    4.39    0.455581    2.0 4.39    0.0 0
3   2011-12-31 07:55:00 4.39    4.39    4.39    4.39    0.455581    2.0 4.39    0.0 0
4   2011-12-31 07:56:00 4.39    4.39    4.39    4.39    0.455581    2.0 4.39    0.0 0
"""

btc.tail()
"""
Timestamp   Open    High    Low Close   Volume_(BTC)    Volume_(Currency)   Weighted_Price  Delta   label
3997692 2019-08-11 23:56:00 11555.57    11555.57    11540.37    11540.58    0.036868    425.909106  11552.336234    -14.99  0
3997693 2019-08-11 23:57:00 11553.49    11556.22    11553.49    11556.22    0.623462    7204.428272 11555.520505    2.73    1
3997694 2019-08-11 23:58:00 11559.73    11561.22    11546.77    11561.22    0.159070    1838.731403 11559.252199    1.49    1
3997695 2019-08-11 23:59:00 11559.73    11589.73    11528.73    11528.73    16.198210   187504.635170   11575.638889    -31.00  0
3997696 2019-08-12 00:00:00 11527.44    11551.57    11520.00    11520.00    23.805939   274731.256920   11540.450291    -7.44   0
"""

モデルの学習に使う訓練データと評価に使うテストデータを作っていきます。

データを作る際の注意点としてQoreSDKの使い方について事前にメールにて以下のように注意書きがあったためそれに従うため、訓練・テストデータ共に時間長を約12時間(1サンプル1分間隔)に抑えています。

なお、一度にAPIに投げられるデータサイズに制限がありまして、N*T*V < 150,000 && N*T < 10,000の大きさまでのデータとして頂きますようお願いいたします。

またAPIのドキュメントを読むと訓練、予測時共に型がnumpy.ndarrayでありかつ学習・推論用データの次元が(データ数, 時間, 実データ)、正解ラベルの次元が(データ数, 1)であったのでそのように変換しておきます。

• qcore-info - qore_sdk.client.WebQoreClient.classifier_train

  X (numpy.ndarray) – 学習データ X.shape = (データ数, 時間, 実データ)
  Y (numpy.ndarray) – 正解ラベル Y.shape = (データ数, 1)

• qcore-info - qore_sdk.client.WebQoreClient.classifier_predict

  X (numpy.ndarray) – 推論用データ X.shape = (データ数, 時間, 実データ)
  Y (numpy.ndarray) – 正解ラベル Y.shape = (データ数, 1)

preprocess2.py

data = btc[('2019-01-01' < btc['Timestamp']) & (btc['Timestamp'] < '2019-01-01 12:00')]

data
"""
Timestamp   Open    High    Low Close   Volume_(BTC)    Volume_(Currency)   Weighted_Price  Delta   label
3676577 2019-01-01 00:01:00 3694.72 3694.72 3690.65 3690.65 9.500151    35080.265871    3692.600865 -4.07   0
3676578 2019-01-01 00:02:00 3689.73 3689.73 3686.62 3686.62 0.965966    3562.371230 3687.884698 -3.11   0
3676579 2019-01-01 00:03:00 3692.85 3692.85 3688.32 3692.35 0.296662    1095.220713 3691.813285 -0.50   0
3676580 2019-01-01 00:04:00 3692.35 3692.35 3690.34 3690.34 0.111622    412.065433  3691.614849 -2.01   0
3676581 2019-01-01 00:05:00 3690.40 3690.85 3690.40 3690.85 2.247676    8295.406915 3690.659723 0.45    1
... ... ... ... ... ... ... ... ... ... ...
3677291 2019-01-01 11:55:00 3706.01 3706.01 3706.01 3706.01 0.412970    1530.471061 3706.010000 0.00    0
3677292 2019-01-01 11:56:00 3706.01 3706.01 3706.01 3706.01 0.412970    1530.471061 3706.010000 0.00    0
3677293 2019-01-01 11:57:00 3706.01 3706.01 3706.01 3706.01 0.412970    1530.471061 3706.010000 0.00    0
3677294 2019-01-01 11:58:00 3706.01 3706.01 3706.01 3706.01 0.071164    263.734496  3706.010000 0.00    0
3677295 2019-01-01 11:59:00 3706.01 3706.01 3700.00 3700.00 14.862874   55009.746820    3701.151476 -6.01   0
"""

labels = data["label"]
data.drop(columns=["Timestamp", "label", "Delta"], inplace=True)
data = np.array(data)
labels = np.array(labels)

data = data.reshape((data.shape[0], data.shape[1], 1))
labels = labels.reshape((labels.shape[0], 1))

test_data = btc[('2019-01-01 12:00' < btc['Timestamp']) & (btc['Timestamp'] < '2019-01-01 23:59')]

test_data
"""
Timestamp   Open    High    Low Close   Volume_(BTC)    Volume_(Currency)   Weighted_Price  Delta   label
3677297 2019-01-01 12:01:00 3694.63 3694.63 3694.63 3694.63 2.572921    9505.991188 3694.630000 0.00    0
3677298 2019-01-01 12:02:00 3694.63 3694.63 3694.63 3694.63 2.572921    9505.991188 3694.630000 0.00    0
3677299 2019-01-01 12:03:00 3694.63 3694.63 3694.63 3694.63 2.572921    9505.991188 3694.630000 0.00    0
3677300 2019-01-01 12:04:00 3701.03 3704.20 3701.03 3704.20 2.176152    8060.808805 3704.156299 3.17    1
3677301 2019-01-01 12:05:00 3704.20 3704.20 3704.20 3704.20 0.045025    166.779901  3704.200000 0.00    0
... ... ... ... ... ... ... ... ... ... ...
3678010 2019-01-01 23:54:00 3812.78 3821.38 3812.78 3821.38 21.387205   81679.855061    3819.099098 8.60    1
3678011 2019-01-01 23:55:00 3819.70 3819.70 3816.41 3816.41 1.699109    6488.410322 3818.713657 -3.29   0
3678012 2019-01-01 23:56:00 3816.41 3816.99 3813.81 3816.99 3.007816    11480.373641    3816.847055 0.58    1
3678013 2019-01-01 23:57:00 3816.41 3816.99 3813.81 3816.99 3.007816    11480.373641    3816.847055 0.58    1
3678014 2019-01-01 23:58:00 3816.41 3816.99 3813.81 3816.99 3.007816    11480.373641    3816.847055 0.58    1
"""

test_labels = test_data["label"]
test_data.drop(columns=["Timestamp", "label", "Delta"], inplace=True)
test_data = np.array(test_data)
test_labels = np.array(test_labels)

test_data = test_data.reshape((test_data.shape[0], test_data.shape[1], 1))
test_labels = test_labels.reshape((test_labels.shape[0], 1))

モデルの学習

準備した訓練データを使ってモデルの学習をしてゆきます。今回は分類問題なので評価結果をsklearn.metrics.classification_reportを使って求めます。
今回予測したかった価格の上昇がうまく学習できていないのかまったく予測できていません。

train.py

from qore_sdk.client import WebQoreClient

# api_keyの読み取り
with open(api_key_path, "r") as f:
    api_key = json.load(f)

client = WebQoreClient(**api_key)
client.classifier_train(data, labels)
# {'res': 'ok', 'train_time': 0.8283402919769287}

response = client.classifier_predict(data)

from sklearn.metrics import classification_report

report = classification_report(labels, response['Y'])
print(report)
"""
precision    recall  f1-score   support

           0       0.66      1.00      0.79       473
           1       0.00      0.00      0.00       246

    accuracy                           0.66       719
   macro avg       0.33      0.50      0.40       719
weighted avg       0.43      0.66      0.52       719
"""

モデルのテスト

最後に訓練データにはない未知データを使って予測してゆきます。
不思議なことに学習では一切予測が当たらなかった価格の上昇をそれなりに当てています。

predict.py

response = client.classifier_predict(test_data)
report = classification_report(test_labels, response['Y'])
print(report)
"""
precision    recall  f1-score   support

           0       0.11      0.02      0.03       441
           1       0.34      0.79      0.47       277

    accuracy                           0.32       718
   macro avg       0.22      0.41      0.25       718
weighted avg       0.20      0.32      0.20       718
"""

参考

• KaggleDataset - bitcoin-historical-data
• Qiita - QoreSDKの紹介とQoreで不整脈検出
• Qiita - リザーバコンピューティングの世界 ~Qoreとともに~
• Github - qcore-info/advent-calendar-2019

Ateam cyma Advent Calendar 2019、21日目です！
株式会社エイチーム EC事業本部サイマのエンジニア @shimura_atsushi が２回目の登場です。

１回目でGoogle Could PlatformのOCRサービスを使ってサイマの課題に挑戦するとしてサイマの抱える課題に立ち向かう１手目の挑戦をしました。
２回目である今回は更に納品書チェックに対して踏み込んだ取り組みをしていきます。

前回をおさらい

前回の投稿でGCPのサービスを利用して単純なOCRを試しました。しかし、今サイマで運用されている納品書類は文面が複雑なものが多くただOCRにかけただけでは文字おこしの精度は低く例えうまく文字おこしされたとしてもデータのラベリングがされておらず文字データの再利用性が乏しい状態でした。

今回は・・・

前回の反省を基に今回は「OCRをしやすい画像が用意する」にフォーカスしてOCRにかける画像の前処理を作成していきます。
内容は前回からの継続ですのでタイトルはそのままですが今回はPythonでの実装がメインでGoogle Could Platformに関しては薄めですあしからずご容赦ください。

今回はサイマのエンジニアである@NamedPythonさんの勧めもあって画像処理ライブラリが充実しているPythonを利用して行きます。

環境を準備する

今回用いた開発端末

• 開発端末 MacBook Pro 15-inch
• OS macOS Mojave

もろもろインストールする

ここらへんはサクッと行きます。

インストール

• Pythonをインストールする
  • pyenv
    • pythonのインストールするバージョンを管理できる
  • python 3.8.0
    • 執筆時点の最新を利用
  • pip
    • pythonにおけるパッケージ管理ツール
    • pythonをインストールすると一緒に入ると思います

• pdf2imageインストール

  • PDFからPNGやJPEGへ変換するのに利用

• popplerインストール

  • pdf2imageでPDF変換に利用

• pillowインストール

  • 画像の加工に利用、主に切り抜きに利用

• opencvインストール

  • 画像の加工に利用、主に2値化に利用

brew install pyenv 
pyenv install --list #インストール可能なバージョンを確認
pyenv install 3.8.0
pip3 install pdf2image
brew install poppler 
pip install pillow
pip install opencv

大まかな流れ

1. 書類を複合機にてスキャン
2. スキャンデータ（PDF）を画像データに変換する
3. 変換した画像データを切り抜く
4. 切り抜いたデータの2値化する
5. OCRにかける

複合機にてスキャン（PDF）

本社にある複合機を利用します、スキャンすると登録されているメールアドレスにPDFが添付されてきます。
※最終的な運用ではサイマの各工場でスキャンをする予定

PDFから画像データへ変換する

スキャンされたデータはPDF形式なので画像データに変換します。
ディレクトリを指定すると格納されたPDFファイルを画像データに変換してくれるというものです。
pdf2imageをインポートしてconvert_from_pathというメソッドに変換したいファイルパスを渡せば
変換してくれます、簡単ですね。

pdf2png.py

from pdf2image import convert_from_path
from pathlib import Path
import os

p = Path('./img/pdf')
pdf_list = os.listdir(p)
print(pdf_list)

for i, pdf_file_path in enumerate(pdf_list):
  images = convert_from_path('./img/pdf/{}'.format(pdf_file_path))
  for image in images:
    image.save('./img/png/{}.png'.format(i), 'png')

変換したデータを切り抜く

今回のOCRの肝はこの工程です。
前回の反省を基に複雑な納品書のデータから必要な箇所を切り取りラベリングするという処理を本工程で実装します。

設定ファイルをJSONで用意する

納品書のフォーマットは仕入先ごとに基本的には一定（自転車とパーツで別パターンはある）なので切り抜くために必要な座標をJSON形式の設定ファイルを納品書フォーマットごとに用意します。

納品書上の内容で必要な情報は

• 仕入先名
• 納品日
• 商品番号
• 個数
• 単価

ですのでこれらが記載される箇所の座標を設定ファイルに持っておきます。

各仕入先ごとのJSON設定ファイル

shiiresaki_setting.json

{
  "wholesaler_id": 2,
  "warehouse": {
    "x":10,
    "y":10,
    "height":50,
    "width":100
  },
  "date": {
    "x":20,
    "y":20,
    "height":50,
    "width":100
  },
  "product": {
    "x":30,
    "y":30,
    "height":150,
    "width":200
  },
  "figure": {
    "x":40,
    "y":40,
    "height":200,
    "width":250
  },
  "price": {
    "x":50,
    "y":50,
    "height":200,
    "width":250
  }
}

※数字は仮のものを記載してます。

pillowを用いた画像切り抜き処理

crop4image.py

from PIL import Image
import sys
import json
import productsetting

args = sys.argv
p = productsetting.product.ProductSetting(args[1])
image = Image.open('img/png/{wholesaler_id}.png'.format(wholesaler_id=p.wholesaler_id))

rect = (
  p.warehouse['x'],
  p.warehouse['y'],
  p.warehouse['x'] + p.warehouse['width'], 
  p.warehouse['y'] + p.warehouse['height']
)
print(rect)
cropped_image = image.crop(rect)
cropped_image.save('{wholesaler_id}.png'.format(wholesaler_id=p.wholesaler_id))

JSONによる設定ファイルを読み込むクラス

productsetting.py

import sys
import json

class ProductSetting:
  CONFIG_SETTING_FILE_BASE_FORMAT = './settings/product/{wholesaler_id}.json'

  def __init__(self, wholesaler):
    config_file_path = open(self.CONFIG_SETTING_FILE_BASE_FORMAT.format(wholesaler_id=wholesaler), 'r')
    config = json.load(config_file_path)
    self.wholesaler_id = config['wholesaler_id']
    self.warehouse = {
      'x': config['warehouse']['x'],
      'y': config['warehouse']['y'],
      'height': config['warehouse']['height'],
      'width': config['warehouse']['width']
    }    
    self.product = {
      'x': config['product']['x'],
      'y': config['product']['y'],
      'height': config['product']['height'],
      'width': config['product']['width']
    }    
    self.date = {
      'x': config['date']['x'],
      'y': config['date']['y'],
      'height': config['date']['height'],
      'width': config['date']['width']
    }    
    self.figure = {
      'x': config['figure']['x'],
      'y': config['figure']['y'],
      'height': config['figure']['height'],
      'width': config['figure']['width']
    }    

このスクリプトを実行するとこのような画像から

※画像は加工してあります。

このように指定した座標で切り抜くことができました。

切り抜いたデータを2値化する

次は切り取った画像のOCR精度を高めるために文字を2値化して読み取り精度の向上を図ります。

opencvを利用して作成
2値化のプログラムはシンプルにこんな感じで

deeply_character.py

import cv2
img = cv2.imread('./result/png/1013/buyoption_1013.png', 0)
threshold = 100 #しきい値
ret, img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite('./result/deeply/test/buyoption_1013.png', img_thresh)

切り取ったこんな画像が

こんな感じに2値化されました

サンプルが良くないのかあまり恩恵を感じられないです。

手強そうなこの画像で試してみようと思います。

しきい値を調整して2値化すると・・・

なんと！よりはっきりとした画像になりました。

この画像を前回作成したGCPのOCRにかけてみます。
その結果・・・

このように文字起こしされました、よく考えると「配達日」という箇所もノイズになるので省いても良かったですね。
ただこの精度ならチェックに関する再利用性が保てそうです。

まとめ

今回はOCRに掛ける前処理として、

• 必要な箇所だけの切り抜き
• 切り抜いた画像の2値化による鮮明化

をすることで如何にOCRに対して有利な状況を作れるかに挑戦してみました。

今回の事務処理効率化の取り組みですが事業部内で「やってみます！」と豪語したは良かったですが、納品書の現物を見ると本当に自動化できるのかと不安でした。
結果、画像の切り抜きによるノイズの除去と2値化による鮮明化の後でOCRにかけることで、精度が高めることでき、自動化が現実的になったかなと実感してます。

アドベントカレンダー2回にわたりサイマにおける納品書チェックという課題にOCRを中心とした技術で自動化へ挑戦をはじめました。今後はシステムの実装を進めつつ工場を巻き込んた運用の実現に取り組みたいです。

最後に

Ateam cyma Advent Calendar 2019の21日目いかがでしたか。
22日目はサイマのデザイナである@ryo_cyさんがBEMを用いたCSS設計について話をしてくれますのでお楽しみに！

株式会社エイチームでは、一緒に働けるチャレンジ精神旺盛な仲間を募集しています。

エンジニアで興味を持った方はcymaのQiita Jobsをご覧ください。

そのほかの職種は、エイチームグループ採用サイトをご覧ください。

YoutubeでRaymond Hettingerさん（python core developper）がpythonでよくあるミスと正しい書き方を解説する動画を見つけたので、まとめます。
動画では、主にpython2を例に挙げてますが（2013年の動画なので）、ここではできるだけpython3に変換しました。今ではすでに古い書き方になっている場合があるので適宜調べながら使ってください。

Loop

• できるだけiteratorを使う

シンプルなloop

だめな例

for i in [0, 1, 2, 3, 4, 5]:
  print(i**2)

リスト全体をメモリにおいてしまう。
↓

良い例

for i in range(6):
  print(i**2)

rangeがiteratorとして一つずつ生成するので、メモリを無駄に使わない。

python2ではrangeはリスト、xrangeがitertor
python3ではrangeがiterator（python2のxrangeの名前が変わった）

リストのloop

だめな例

colors = ['red', 'green', 'blue', 'yellow']

for i in range(len(colors)):
  print(colors[i])

↓

良い例

colors = ['red', 'green', 'blue', 'yellow']

for color in colors:
  print(color)

下の書き方のほうが速い

逆向きのloop

だめな例

colors = ['red', 'green', 'blue', 'yellow']

for i in range(len(colors)-1, -1, -1):
  print(colors[i])

↓

良い例

colors = ['red', 'green', 'blue', 'yellow']

for color in reversed(colors):
  print(color)

インデックスも得たい

だめな例

colors = ['red', 'green', 'blue', 'yellow']

for i in range(len(colors)):
  print(i, '--->', colors[i])

↓

良い例

colors = ['red', 'green', 'blue', 'yellow']

for i, color in enumerate(colors):
  print(i, '--->', color)

２つのリストを同時にloop

だめな例

names = ['raymond', 'rachel', 'matthew']
colors = ['red', 'green', 'blue', 'yellow']

n = min(len(names), len(colors))
for i in range(n):
  print(names[i], '--->'. colors[i]

↓

良い例

names = ['raymond', 'rachel', 'matthew']
colors = ['red', 'green', 'blue', 'yellow']

for name, color in zip(names, colors):
  print(name, '--->', color)

長さの違うiteratorがzipに入力されると、短い方に揃う。
長い方に揃えるためにはitertools.zip_longest

python2ではzipはリストを生成（izipがiterator）、
python3ではzipがiteratorを生成

カスタムソート

だめな例

colors = ['red', 'green', 'blue', 'yellow']

def compare_length(c1, c2):
  if len(c1) < len(c2):
    return -1
  elif len(c1) > len(c2):
    return 1
  else:
    return 0

print(sorted(colors, cmp=compare_length)

↓

良い例

colors = ['red', 'green', 'blue', 'yellow']

print(sorted(colors, key=len))

keyによるソートで十分か？
十分でない例もあるがほとんどの場合は大丈夫。（SQLはソートを大量にやるが、keyによるソートでやっている）

sentinel valueでループを止める

だめな例

blocks = []
while True:
  block = f.read(32)
  if block == '':
    break
  blocks.append(block)

↓

良い例

blocks = []

for block in iter(functool.partial(f.read, 32), ''):
  blocks.append(block)

partialが気持ち悪いが、iteratorとして扱えることのメリットが大きい
sentinel value（終了を示す値）はさけたほうが良い

条件によってループから抜ける

だめな例

def find(seq, target):
  found = False
  for i, value in enumerate(seq):
    if value == target:
      found = True
      break
  if not found:
    return -1
  return i

フラッグ（found）を使わなきゃいけない場合の例
↓

良い例

def find(seq, target):
  for i, value in enumerate(seq):
    if value == target:
      break
  else:
    return -1
  return i

for内でbreakがなかったらelse文が実行される。elseではなくnobreakという名前にすべきだったと後悔しているそう。

Dictionary

Dictionaryのキーをループ

d = {'matthew': 'blue', 'rachel': 'green', 'raymond': 'red'}

for k in d:
  print(k)

↑辞書に変更を加えるとおかしなことが起こる

d = {'matthew': 'blue', 'rachel': 'green', 'raymond': 'red'}

for k in d.keys():
  if k.startswith('r'):
    del d[k]

↑d.keys()が事前にリストのコピーを作るので、辞書の変更が可能

キーと値をループ

だめな例

d = {'matthew': 'blue', 'rachel': 'green', 'raymond': 'red'}

for k in d:
  print(k, '--->', d[k])

↓

良い例

d = {'matthew': 'blue', 'rachel': 'green', 'raymond': 'red'}

for k, v in d.items():
  print(k, '--->', v)

リストから辞書を作成

names = ['raymond', 'rachel', 'matthew']
colors = ['red', 'green', 'blue']

d = dict(zip(names, colors))

リスト内の出現回数を数える

非効率な方法

colors = ['red', 'green', 'red', 'blue', 'green', 'red']

d = {}
for color in colors:
  if color in d:
    d[color] = 0
  d[color] += 1

↓

正しいやり方

d = {}
for color in colors:
  d[color] = d.get(color, 0) + 1

↓

最近の方法

d = defaultdict(int)
for color in colors:
  d[color] += 1

リストをグルーピングする

だめな例

names = ['raymond', 'raychel', 'matthew', 'roger', 'betty', 'melisa', 'judith', 'charlie']

d = {}
for name in names:
  key = len(name)
  if key not in d:
    d[key] = []
  d[key].append(name)

↓

正しいやり方

d = {}
for name in names:
  key = len(name)
  d.setdefault(key, []).append(name)

↓

最近の方法

d = defaultdict(list)
for name in names:
  key = len(name)
  d[key].append(name)

getは辞書に代入はしない。setdefaultは代入する

複数の辞書をくっつける

だめな例

defaults = {'color': 'red', 'user': 'guest'}
parser = argparse.ArgumentParser()
parser.add_argument('-u', '--user')
parser.add_argument('-c', '--color')
namespace = parser.parse_args([])
command_line_args = {k: v for k, v in vars(namespace).items() if v}

d = defaults.copy()
d.update(os.environ)
d.update(command_line_args)

辞書が大量にコピーされる
↓

良い例

d = collections.ChainMap(command_line_args, os.environ, defaults)

コピーせずにもとの辞書をそのまま持つ

コードの可読性向上

関数のkeyword引数

だめな例

twitter_search('@obama', False, 20, True)

引数の意味がわからない
↓

良い例

twitter_search('@obama', retweets=False, numtweets=20, popular=True)

NamedTuple

だめな例

> doctest.testmod()
(0, 4)

0,4の意味がわからない
↓

良い例

> doctest.testmod()
TestResults(failed=0, attempted=4)

TestResultsは

TestResults = namedtuple('TestResults', ['failed', 'attempted'])

で作れる

tupleのunpacking

だめな例

p = 'Raymond', 'Hettinger', 0x30, 'python@example.com'

fname = p[0]
lname = p[1]
age = p[2]
email = p[3]

↓

良い例

fname, lname, age, email = p

複数の状態を同時に更新する

だめな例

def fibonacci(n):
  x = 0
  y = 1
  for i in range(n):
    print(x)
    t = y
    y = x + y
    x = t

実行途中に状態が崩れている瞬間がある。行の順序を間違えやすい
↓

良い例

def fibonacci(n):
  x, y = 0, 1
  for i in range(n):
    print(x)
    x, y = y, x+y

こっちのほうが人間の思考に近い。

効率化（高速化、省メモリ）

文字列の結合

だめな例

names = ['raymond', 'raychel', 'matthew', 'roger', 'betty', 'melisa', 'judith', 'charlie']

s = names[0]
for name in names[1:]:
  s += ', ' + name

↓

良い例

', '.join(names)

リストの更新

だめな例

names = ['raymond', 'raychel', 'matthew', 'roger', 'betty', 'melisa', 'judith', 'charlie']

del names[0]
names.pop(0)
names.insert(0, 'mark')

遅い
↓

良い例

names = deque(['raymond', 'raychel', 'matthew', 'roger', 'betty', 'melisa', 'judith', 'charlie'])

del names[0]
names.popleft()
names.appendleft('mark')

速い

decoratorとcontext manager

• business logicとadministrative logicを分ける
• コードがきれいになる
• 正しく名前をつけないとグッチャになる
• With great power comes with great responsibility

キャッシュ

だめな例

def web_lookup(url, saved={}):
  if url in saved:
    return saved[url]
  page = urlib.urlopen(url).read()
  saved[url] = page
  return page

↓

良い例

@lru_cache()
def web_lookup(url):
  return urllib.urlopen(url).read()

business logicとadministrative logicが分離している

一時的なコンテクスト

だめな例

oldcontext = getcontext().copy()
getcontext().prec = 50
print(Decimal(355) / Decimal(113))
setcontext(oldcontext)

↓

良い例

with localcontext(Context(prec=50)):
  print(Decimal(355) / Decimal(113))

ファイルの開閉

だめな例

f = open('data.txt')
try:
  data = f.read()
finally:
  f.close()

↓

良い例

with open('data.txt') as f:
  data = f.read()

スレッドのロック

だめな例

lock = threading.Lock()
lock.acquire()
try:
  print('Critical section 1')
  print('Critical section 2')
finally:
  lock.release()

↓

良い例

lock = threading.Lock()
with lock:
  print('Critical section 1')
  print('Critical section 2')

エラーの無視

だめな例

try:
  os.remove('somefile.tmp')
except OSError:
  pass

↓

良い例

with ignored(OSError):
  os.remove('somefile.tmp')

標準出力を一時的に置き換え

だめな例

with open('help.txt', 'w') as f:
  oldstdout = sys.stdout
  sys.stdout = f
  try:
    help(pow)
  finally:
    sys.stdout = oldstdout

↓

良い例

with open('help.txt', 'w') as f:
  with redirect_stdout(f):
    help(pow)

リストの内包記法

だめな例

result = []
for i in range(10):
  s = i**2
  result.append(a)
print(sum(result))

↓

マシな例

print(sum([i**2 for i in range(10)])

↓

良い例

print(sum(i**2 for i in range(10)))