はじめに

現在、人文学データセンターがホストとなりkaggleにて、くずし字の認識コンペが開催されています。今回は、センターから公開されているくずし字のデータセットを使って、まっちゃんを描画します。
まっちゃん

本記事は、同じくkaggleに公開されている下記カーネルを参考にさせていただきました。
・Kuzushiji-MNIST Cat

データセット

データは、こちらからダウンロードできます。

『KMNISTデータセット』（CODH作成） 『日本古典籍くずし字データセット』（国文研ほか所蔵）を翻案 doi:10.20676/00000341

今回は、Kuzushiji-49内のk49-train-imgs.npzを使用します。

環境

ローカルにデータをダウンロードして、jupyter notebook にて実行します。
カレントフォルダに、上記の "k49-train-img.npz" および、まっちゃん画像 "matchan.jpg" を用意します。

macOS Mojave
・python 3.6.5
・numpy 1.16.3
・pandas 0.24.2
・mlcrate 0.2.0
・skimage 0.15.0
・matplotlib 3.0.3

実装

ライブラリのインポート

import numpy as np
import pandas as pd
import mlcrate as mlc

from skimage.io import imread, imsave
from skimage.transform import resize

import matplotlib.pyplot as plt
%matplotlib inline

元画像の読み込み

次に、元画像を読み込み、白黒画像（グレースケール化）します。

image = imread('matchan.jpg') # => image.shape = (252, 200, 3)

# グレースケール化
image = image[:,:,0]
plt.imshow(img, cmap='gray')

データセット読み込み

くずし字データセットを読み込み、各文字の画像におけるグレーレベル（白黒の比率）を見てみる。また、各文字とそのグレーレベルを辞書化。

imgs_train = np.load('k49-train-img.npz')['arr_0']
means = (255 - imgs_train).mean(axis=1).mean(axis=1)
plt.hist(means, bins=50, log=True)

# 辞書化
from collections import defaultdict
character_bins = defaultdict(list)
for char, mean in zip(imgs_train, means):
    character_bins[int(mean)].append(char)

このグラフから、このデータセットには、グレーレベルが低い（約90以下）画像は無いことがわかる。

元画像をリスケール

# 各ピクセルが文字に置き換えられるので、これに28x28が乗算される。
OUTPUT_RESOLUTION = (96, 75) 

# データセットには、グレーレベルが低い画像が無いため、各ピクセルを(120, 245)にリスケールする。
img_small = (resize(img, OUTPUT_RESOLUTION, preserve_range=True) / 2) + 120 

plt.hist(img_small.flatten(), bins=50, log=True)
plt.title('Gray level')
plt.show()
plt.imshow(img_small, cmap='gray')

新しい画像を作成

上記、まっちゃん画像の全てのピクセルをループして、くずし字画像から同じグレーレベルのものをランダムに選択し、新しい画像の同じ位置に配置していく。

# 新しい空の画像
new_img = np.zeros((img_small.shape[0]*28,
                    img_small.shape[1]*28),
                    dtype=np.unit8)

# ループ
ix = 0
iy = 0
for iy in range(img_small.shape[0]):
    for ix in range(img_small.shape[1]):
        level = int(img_small[iy, ix])
        charbin = character_bins[level]
        if len(charbin) == 0:
            charbin = character_bins[level + 1]
        if len(charbin) == 0:
            charbin = character_bins[level - 1]
        char = 255 - charbin[np.random.choice(np.arange(len(charbin)))]
        new_img[iy*28:(iy+1)*28, ix*28:(ix+1)*28] = char

# カレントディレクトリに画像の保存
imsave('kuzushiji_matchan.jpg', new_img)

くずし字まっちゃん

上記、設定だと解像度も高いので、拡大するとくずし字がはっきりわかる。

はじめに

現在、人文学データセンターがホストとなりkaggleにて、くずし字の認識コンペが開催されています。今回は、センターから公開されているくずし字のデータセットを使って、まっちゃんを描画します。
まっちゃん

本記事は、同じくkaggleに公開されている下記カーネルを参考にさせていただきました。
・Kuzushiji-MNIST Cat

データセット

データは、こちらからダウンロードできます。

『KMNISTデータセット』（CODH作成） 『日本古典籍くずし字データセット』（国文研ほか所蔵）を翻案 doi:10.20676/00000341

今回は、Kuzushiji-49内のk49-train-imgs.npzを使用します。

環境

ローカルにデータをダウンロードして、jupyter notebook にて実行します。
カレントフォルダに、上記の "k49-train-img.npz" および、まっちゃん画像 "matchan.jpg" を用意します。

macOS Mojave
・python 3.6.5
・numpy 1.16.3
・pandas 0.24.2
・mlcrate 0.2.0
・skimage 0.15.0
・matplotlib 3.0.3

実装

ライブラリのインポート

import numpy as np
import pandas as pd
import mlcrate as mlc

from skimage.io import imread, imsave
from skimage.transform import resize

import matplotlib.pyplot as plt
%matplotlib inline

元画像の読み込み

次に、元画像を読み込み、白黒画像（グレースケール化）します。

image = imread('matchan.jpg') # => image.shape = (252, 200, 3)

# グレースケール化
image = image[:,:,0]
plt.imshow(img, cmap='gray')

データセット読み込み

くずし字データセットを読み込み、各文字の画像におけるグレーレベル（白黒の比率）を見てみる。また、各文字とそのグレーレベルを辞書化。

imgs_train = np.load('k49-train-img.npz')['arr_0']
means = (255 - imgs_train).mean(axis=1).mean(axis=1)
plt.hist(means, bins=50, log=True)

# 辞書化
from collections import defaultdict
character_bins = defaultdict(list)
for char, mean in zip(imgs_train, means):
    character_bins[int(mean)].append(char)

このグラフから、このデータセットには、グレーレベルが低い（約90以下）画像は無いことがわかる。

元画像をリスケール

# 各ピクセルが文字に置き換えられるので、これに28x28が乗算される。
OUTPUT_RESOLUTION = (96, 75) 

# データセットには、グレーレベルが低い画像が無いため、各ピクセルを(120, 245)にリスケールする。
img_small = (resize(img, OUTPUT_RESOLUTION, preserve_range=True) / 2) + 120 

plt.hist(img_small.flatten(), bins=50, log=True)
plt.title('Gray level')
plt.show()
plt.imshow(img_small, cmap='gray')

新しい画像を作成

上記、まっちゃん画像の全てのピクセルをループして、くずし字画像から同じグレーレベルのものをランダムに選択し、新しい画像の同じ位置に配置していく。

# 新しい空の画像
new_img = np.zeros((img_small.shape[0]*28,
                    img_small.shape[1]*28),
                    dtype=np.unit8)

# ループ
ix = 0
iy = 0
for iy in range(img_small.shape[0]):
    for ix in range(img_small.shape[1]):
        level = int(img_small[iy, ix])
        charbin = character_bins[level]
        if len(charbin) == 0:
            charbin = character_bins[level + 1]
        if len(charbin) == 0:
            charbin = character_bins[level - 1]
        char = 255 - charbin[np.random.choice(np.arange(len(charbin)))]
        new_img[iy*28:(iy+1)*28, ix*28:(ix+1)*28] = char

# カレントディレクトリに画像の保存
imsave('kuzushiji_matchan.jpg', new_img)

くずし字まっちゃん

上記、設定だと解像度も高いので、拡大するとくずし字がはっきりわかる。

はじめに

前回、WebSocketで受信した画像をブラウザで表示する仕組みを調べたので、RaspberryPiのカメラモジュールと繋げてみました。

あと、USB Audioデバイスを買ったのでWebSocketでデータを流して、ブラウザで再生する処理も入れてみました。

簡易的な監視カメラができたので、記事としてまとめておきます。

ハードウェア

• Raspberry Pi 3 Model B+

• カメラモジュール

• USB audio

  秋月で400円くらい。lsusbで認識された情報だとIntel製。ボリュームが小さくでちょっと不満。もっと高いのにすればよかった。

• クライアント

  chromeで動作確認

仕様

1. Imageサーバーは、ソケット接続されたらカメラの画像を送信し続ける
2. Audioサーバーは、ソケット接続されたらAudio INから取得したデータを送信し続ける
3. ブラウザで画像データを受信して、canvasに描画する
4. ブラウザで音声データを受信して、db値をcanvasに描画する
5. ボタンをクリックすると、WebAudioで音声を再生する

音声再生中はタブにスピーカーのアイコンが表示されます。

クライアント側

ブラウザで表示するためのhtmlとjsを用意します。

HTML

音声データ表示用のcanvasと再生ボタン、画像用のcanvasを用意します。

WebAudioはユーザー操作のイベントで開始する必要があるので、ボタンを用意する必要があります。

index.html

<html>
  <head>
    <script src="./client.js"></script>
  </head>
  <body onload="on_load();">
    <div>
      <canvas id="canvas_audio" width="500" height="40"></canvas>
    </div>
    <input type="button" value="play audio" onclick="on_button_play_audio();">
    <div>
      <canvas id="canvas_image" width="640" height="480"></canvas>
    </div>
  </body>
</html>

javascript

画像データ受信ハンドラでcanvasに描画、音声データ受信ハンドラでcanvasにグラフを表示する＆音声再生します。

• 画像データ

前回のサンプルのままだと大きい画像のbase64文字列の生成でエラーになりました。調査時はシンプルなPNGにしたので圧縮率が高かったけど、写真のjpegになったらサイズが小さくならなかったと推測。かっこ悪いですがループで文字列を結合してbase64変換しています。

• 音声データ

WebAudioを使用して音声を再生します。受信データがfloat32なのでそのまま流せば再生できます。

ユーザー操作しないと音声再生できないので、クリックのイベントを用意します。

データが受信できているかを確認できるようにdb値をcanvasに表示します。db値の計算はネットで調べてて適当に実装したから合ってるか自信ないです。

client.js

var image_socket = null;

var audio_socket = null;
var audio_ctx = null;
var scheduled_time = 0;
var delay_sec = 1;

function on_load(){
  // ここではaudioの再生に関する処理は許可されないのでWebSock処理のみ行う

  // 画像通信用WebSocket接続
  img_url = "ws://" + location.hostname + ":60002"
  image_socket = new WebSocket(img_url);
  image_socket.binaryType = 'arraybuffer';
  image_socket.onmessage = on_image_message;

  // 音声通信用WebSocket接続
  audio_url = "ws://" + location.hostname + ":60003"
  audio_socket = new WebSocket(audio_url);
  audio_socket.binaryType = 'arraybuffer';
  audio_socket.onmessage = on_audio_message;

}

function on_button_play_audio(){
  // ユーザー操作イベントでAudioの再生操作を行う

  if(audio_ctx == null){
    audio_ctx = new (window.AudioContext||window.webkitAudioContext)
  }
}

function on_image_message(recv_data){
  // 受信したデータをbase64文字列に変換
  var recv_image_data = new Uint8Array(recv_data.data);
  var base64_data = ""
  for (var i=0; i < recv_image_data.length; i++) {
      base64_data += String.fromCharCode(recv_image_data[i]);
  }

  // 画像をcanvasに描画
  var canvas_image = document.getElementById('canvas_image');
  var ctx = canvas_image.getContext('2d');
  var image = new Image();
  image.onload = function() {
    ctx.drawImage(image, 0, 0);
  }
  image.src = 'data:image/jpeg;base64,' + window.btoa(base64_data);
}

function on_audio_message(recv_data){
  audio_f32 = new Float32Array(recv_data.data);
  if(audio_ctx != null){
    play_audio(audio_f32);
  }
  draw_audio_graph(audio_f32);
}

function play_audio(data){
  var audio_buffer = audio_ctx.createBuffer(1, data.length, 44100);
  var buffer_source = audio_ctx.createBufferSource();
  var current_time = audio_ctx.currentTime;

  audio_buffer.getChannelData(0).set(data);
  buffer_source.buffer = audio_buffer;
  buffer_source.connect(audio_ctx.destination);

  if (current_time < scheduled_time) {
    buffer_source.start(scheduled_time);
    scheduled_time += audio_buffer.duration;
  } else {
    buffer_source.start(current_time);
    scheduled_time = current_time + audio_buffer.duration + delay_sec;
  }
}

function draw_audio_graph(data){
  var canvas_image = document.getElementById('canvas_audio');
  var ctx_2d = canvas_image.getContext('2d');

  // db値計算（自信ない）
  sum_data = data.reduce((a,b)=>Math.abs(a)+Math.abs(b));
  mean_data = sum_data / data.length;
  dB = 20 * Math.log10(mean_data);

  // 前回描画をクリア
  ctx_2d.fillStyle = '#ffffff';
  ctx_2d.fillRect(0,0,500,40);

  var rate = 2;
  var graph_x = Math.abs(dB) * rate;
  ctx_2d.fillStyle = '#000000';
  ctx_2d.fillRect(0,0,graph_x,40);

  // 値表示
  ctx_2d.fillStyle = '#ff0000';
  ctx_2d.font = "10px serif";
  ctx_2d.fillText("db:" + dB , 5 , 10 );
}

サーバー側

画像用と音声用で２つのWebSoket通信を行うので、２つWebSoketのサーバーを用意します。

httpのサーバーも必要になるので、まとめて起動する処理も用意します。

Imageサーバー

PiCameraで取得した画像をブラウザに送信します。

imageServer.py

import asyncio
import websockets
import io
from picamera import PiCamera

class ImageServer:

    def __init__(self, loop, address , port):
        self.loop = loop
        self.address = address
        self.port = port
        self.camera = PiCamera()

    async def _handler(self, websocket, path):
        with io.BytesIO() as stream:
            for _ in self.camera.capture_continuous(stream, format='jpeg', use_video_port=True, resize=(640,480)):
                stream.seek(0)

                try:
                    await websocket.send(stream.read())
                except:
                    print('image send Error.')
                    break

                stream.seek(0)
                stream.truncate()

    def run(self):
        self._server = websockets.serve(self._handler, self.address, self.port)
        self.loop.run_until_complete(self._server)
        self.loop.run_forever()

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    ws_is = ImageServer(loop, '0.0.0.0', 60002)
    ws_is.run()

Audioサーバー

pyaudioで取得した音声データをブラウザに送信します。クライアントであるWebAudioにfloat32で渡すのでpaFloat32を指定します。

同一スレッドで読み込みと送信を行ったらバッファ不足のエラーが出たので読み込みと送信は別スレッドで行うようにしています。

複数接続は考慮していない実装です。

AudioServer()クラスに、デバイス名を指定するので環境に合わせた文字列を設定してください。

AudioServer.py

import asyncio
import websockets
import pyaudio
import threading
import queue

class AudioServer:

    def __init__(self, loop, address, port, device_name):
        self.loop = loop
        self.address = address
        self.port = port

        self.chunk = 1024 * 4
        self.device_index = self._find_device_index(device_name)

        self.rec_loop = False
        self.q = queue.Queue()

    def _rec_thread(self):

        audio = pyaudio.PyAudio()
        stream = audio.open(
                format = pyaudio.paFloat32,
                channels = 1,
                rate = 44100,
                input = True,
                frames_per_buffer = self.chunk,
                input_device_index=self.device_index)

        while self.rec_loop:
            audio_data = stream.read(self.chunk)
            self.q.put(audio_data)

        stream.close()
        audio.terminate()


    async def _handler(self, websocket, path):
        if self.rec_loop:
            print("_rec_thread is exists.")
            return

        # Audio INから読み出すスレッドを起動
        self.rec_loop = True
        send_thread = threading.Thread(target=self._rec_thread)
        send_thread.start()

        # スレッドで読み込んだデータを送信する
        send_loop = True
        while send_loop:
            try:
                send_data = self.q.get(timeout=1)
                await websocket.send(send_data)
            except:
                print('audio send Error.')
                send_loop = False
                break

        self.rec_loop = False
        send_thread.join()

    def run(self):
        self._server = websockets.serve(self._handler, self.address, self.port)
        self.loop.run_until_complete(self._server)
        self.loop.run_forever()

    @staticmethod
    def get_devices():
        '''使用可能なデバイスを列挙'''
        device_name_list = []
        audio = pyaudio.PyAudio()
        for i in range(audio.get_device_count()):
            device = audio.get_device_info_by_index(i)
            device_name_list.append(device['name'])

        return device_name_list


    @staticmethod
    def _find_device_index(find_name):
        '''引数のデバイス名に対応するindexを返す'''
        device_index = -1
        audio = pyaudio.PyAudio()
        for i in range(audio.get_device_count()):
            device = audio.get_device_info_by_index(i)
            if device['name'] == find_name:
                device_index = i
                break

        return device_index

if __name__ == '__main__':
    device_name = None
    devices = AudioServer.get_devices()

    print("devices len = {}".format(len(devices)))
    if len(devices) > 0:
        device_name = devices[0]
        print("device_name = {}".format(device_name))

    loop = asyncio.get_event_loop()
    ws_as = AudioServer(loop, '0.0.0.0', 60003, device_name)
    ws_as.run()

httpサーバー

まとめて起動する仕組みも用意しましたが終了時のことは考慮していないので、ちゃんと実装する人は他の方法がいいと思います。

以下のスクリプトを実行して http://localhost:60001/ にアクセスすれば動作確認できます。

monitor_run.py

import threading
import http.server
import socketserver
import asyncio
from ImageServer import ImageServer
from AudioServer import AudioServer


def _http_thread():
    _handler = http.server.SimpleHTTPRequestHandler
    httpd = socketserver.TCPServer(("", 60001), _handler)
    httpd.serve_forever()


def _image_thread():
    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)

    ws_is = ImageServer(loop, '0.0.0.0', 60002)
    ws_is.run()


def _audio_thread():
    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)

    device_name = None
    devices = AudioServer.get_devices()

    print("devices len = {}".format(len(devices)))
    if len(devices) > 0:
        device_name = devices[0]
        print("device_name = {}".format(device_name))

    loop = asyncio.get_event_loop()
    ws_as = AudioServer(loop, '0.0.0.0', 60003, device_name)
    ws_as.run()


if __name__ == '__main__':
    imageThread = threading.Thread(target=_image_thread)
    imageThread.start()

    audioThread = threading.Thread(target=_audio_thread)
    audioThread.start()

    httpThread = threading.Thread(target=_http_thread)
    httpThread.start()


    imageThread.join()
    audioThread.join()
    httpThread.join()

おわりに

WebAudio＋pyaudioの組み合わせをやってる人がいなくて試行錯誤でした。

dB値の計算は昔やったことあるけど細かいこと忘れた。正しいdB値が欲しいわけじゃないから適当で。

激しく寝返りするようになった娘のベビーモニターとして利用するつもりですが、暗い部屋だと映らないので赤外線カメラに変更するか、USBライトの点灯制御するか悩むところ。
100均のUSBライトの点灯制御ができたら更新記事をアップしようと思います。

参考

• WebAudio系 https://gist.github.com/ykst/6e80e3566bd6b9d63d19

ニッチな内容だけど、JSONのvalueの中の入れ子なJSON形式を、「"」をアンエスケープさせつつ文字列として格納する方法のメモ。

jsonパッケージを使う。

import json

まず、入れ子構造になったJSON形式を、jsonパッケージで文字列にdumpすると下記の通り。

dict1 = {
    "key1" : {
        "key2" : {
            "key3" : "value"
        }
    }
}
s = json.dumps(dict1)
s
#出力結果
#'{"key1": {"key2": {"key3": "value"}}}'

という感じで、入れ子要素もすべて「"キー" : "値"」というフラットな構造の文字列となる。

これに対し、入れ子要素を文字列として保存し、さらにその入れ子も文字列として、、と保存する。
やり方は、単純に、段階的にjson.dumpsを呼べば良い。

dict1["key1"]["key2"] = json.dumps(dict1["key1"]["key2"]) #文字列 '{"key3": "value"}'
dict1['key1'] = json.dumps(dict1["key1"])  #文字列 '{"key2": "{\\"key3\\": \\"value\\"}"}'
s = json.dumps(dict1)
s
#出力結果
'{"key1": "{\\"key2\\": \\"{\\\\\\"key3\\\\\\": \\\\\\"value\\\\\\"}\\"}"}'

という感じでJSON文字列の入れ子を作れる。
なお、json.dumpsは「"」をアンエスケープしてくれる仕様のため、入れ子の深さの数だけ「"」がアンエスケープした形で保持される。

復号には、同じ回数のjson.loadsを呼べば良い。

key1_d = json.loads(s)
key1_d
#出力結果
{'key1': '{"key2": "{\\"key3\\": \\"value\\"}"}'}

key2_d = json.loads(key1_d["key1"])
key2_d
#出力結果
{'key2': '{"key3": "value"}'}

key3_d = json.loads(key2_d["key2"])
key3_d
#出力結果
{'key3': 'value'}

呼び出しのたびにエスケープされつつ、文字列が復元されるのがわかる。

ちなみに、文字列に日本語（UTF8)が含まれる場合、json.dumpsは、バイト列に変換するためアンエスケープがさらに激しいことになるが、驚かないようにされたい。

dict1 = {
    "key1" : {
        "key2" : {
            "key3" : "こんにちは"
        }
    }
}

dict1["key1"]["key2"] = json.dumps(dict1["key1"]["key2"]) 
dict1['key1'] = json.dumps(dict1["key1"]) 
s = json.dumps(dict1)
s
#出力結果
'{"key1": "{\\"key2\\": \\"{\\\\\\"key3\\\\\\": \\\\\\"\\\\\\\\u3053\\\\\\\\u3093\\\\\\\\u306b\\\\\\\\u3061\\\\\\\\u306f\\\\\\"}\\"}"}'

と、なかなか読み難いものになる。

同様に復号も可能。

key1_d = json.loads(s)
key1_d
#出力結果
{'key1': '{"key2": "{\\"key3\\": \\"\\\\u3053\\\\u3093\\\\u306b\\\\u3061\\\\u306f\\"}"}'}

key2_d = json.loads(key1_d["key1"])
key2_d
#出力結果
{'key2': '{"key3": "\\u3053\\u3093\\u306b\\u3061\\u306f"}'}

key3_d = json.loads(key2_d["key2"])
key3_d
#出力結果
{'key3': 'こんにちは'}

以上。

前置き

• 商品管理をしているサーバに対する運用管理ツールにおいて、全商品のDL(.json)みたいな機能が存在
• いちいち要ログインの管理ツールにアクセスして、DLボタン押して保存して、作業ディレクトリに移動とか面倒
• 一連の流れを自動化する想定で、コマンドベースでローカルのディレクトリにjsonを保存したい
• 管理ツール的には https://xxxx.yyyy.zz/aaa/bbb/download のリンクでアクセスさえできればDL可能

結論

• wgetじゃ無理（ファイルの実体が指定できない）
• curlじゃ無理（ログインが必要な管理ツールなので、何か無理だった）
• スクレイピングで頑張る

詰まった点

• ログイン画面を突破しないと叩きたいURL https://xxxx.yyyy.zz/aaa/bbb/download にたどり着けない（404になる）
  • → ログインして、該当のURLを叩くようにする
• ログイン画面でid/passをpostする際のURLが分からん
  • → 調べ方があるのでそれで対応
• 詰まったではないが、逐次処理にしたらゲロ遅かった（約730[sec]）
  • → 並列処理にした
• 並列処理時に、パラメータを2つ以上渡すのがシンプルにできなかった
  • → 文字列の配列をルール決めて渡すようにした

対応方法

1. ログイン画面のpostするURLを調べる

1. chromeでデベロパーツール開く
2. デベロパーツール上で、Networkタブを選択
3. ログイン画面開く
4. いつも通りログインしてみる
5. ログイン時の内容が結果のとこに出るので、Nameらへんでpost時のURLがわかる

参考：Chrome デベロッパーツールの使い方まとめ

2. スクレイピングするスクリプトを頑張って書く

dl_json.py

import sys
import yaml
import json

from bs4 import BeautifulSoup
import requests

from concurrent import futures


# yamlにid/pass定義して、それをロードする形にした
with open('config.yaml') as file :
    config_yml = yaml.load(file, Loader=yaml.SafeLoader)

# 実際ログイン画面のid/passで定義されているhtmlタグの属性idの値にブッコムhashを作成
payload = {
    'login_id': config_yml['login']['id'],
    'password': config_yml['login']['pass'],
}

# 並列処理するために、1セッション1jsonDLできるように関数定義する
def dl_process(args) :
    """
    プロセス単位の各種DL処理
    Args:
        args : 以下の2データをstrのlistで
            id : 100 | 200
            category : normal | special
    """
    id = args[0]
    category = args[1]

    # authenticity_tokenの取得
    session = requests.Session()
    res = session.get('https://xxxx.yyyy.zz/')  # 管理ツールのtop画面URL
    soup = BeautifulSoup(res.text, 'html.parser')
    auth_token = soup.find(attrs={'name': 'authenticity_token'}).get('value')
    payload['authenticity_token'] = auth_token

    # login
    res = session.post('https://xxxx.yyyy.zz/login', data=payload) # 対応手順1で調べたpost時のURL
    res.raise_for_status()

    # DL
    'https://xxxx.yyyy.zz/aaa/bbb/' + id +'/' + category + '/download'
    res = session.get(url)

    # パスをテキトーに指定して保存
    path_w = category + '_' + id + '.json'
    file = open(path_w, 'w')
    file.write(res.text)


# 各種必要なjsonをDL＆saveを並列実行
with futures.ProcessPoolExecutor() as executor:
    f1 = executor.submit(dl_process, ['100', 'normal'])
    f2 = executor.submit(dl_process, ['100', 'special'])
    f3 = executor.submit(dl_process, ['200', 'normal'])
    f4 = executor.submit(dl_process, ['200', 'special'])
    f1.result()
    f2.result()
    f3.result()
    f4.result()

感想

• 並列処理にしたら約730[sec]から、約210[sec]まで縮んだ。（3倍以上）
• スクレイピングしないでもっと楽にできる方法が欲しい……
• ちょっと書き方が雑感n

参考

• RequestsでSessionモード
• Pythonでのウェブサイトへのログイン
• Chrome デベロッパーツールの使い方まとめ
• Pythonのconcurrent.futuresを試す

-

毎日試しては更新するように心がけます

この記事について

今回はRaspberryPのスターターキットを購入したので色々と遊んでみる
OSOYOO(オソヨー) Raspberry Pi... https://www.amazon.jp/dp/B01M6ZFNSS?ref=ppx_pop_mob_ap_share

まずは人感センサー
ラズパイに人感センサーを繋いで赤外線で人、物を検知する。
それをプログラム上に出力する。

ネットの記事を何個か見て試してみたが上手くいかず少しつまずいた

動作環境

• Raspberry Pi Model B+
• Python3.7.4

用意するもの

• Raspberry Pi Model B+
• 電源アダプター（5V/3000mA）
• 人感センサー(HC-SR501 PIR motion sensor)
• ジャンパワイヤ 3本

センサー

動作電圧	DC5V - 12V
出力	LOW - 0V , HIGH - 3.3V
遅延時間	調整可能 (0.3-18秒)
遮断時間	0.2秒
検出範囲	7m未満 120度未満
動作温度	-15 ~ 70度
トリガーモード	LOWは繰り返し×

トリガーモードがよく理解できなかった
自分なりの解釈は

遅延時間が5秒の場合
LOWは、検知し遅延時間中にさらに検知してもその検知はトリガーされない

HIGHの場合は検知し遅延時間中にさらに検知したら
直前に検知した遅延時間がトリガーされる

うまく説明できないので

要するにLOWは延長してくれないけどHIGHは延長してくれるっていう理解でいいのかな

はい、次

プログラムを書く

human_sensor.py

import RPi.GPIO as GPIO
import time

PIN = 14

GPIO.setmode(GPIO.BCM)
GPIO.setup(PIN, GPIO.IN)

try:
    print ('-----Start-----')
    n = 1
    while True:
        if GPIO.input(PIN) == GPIO.HIGH:
            print("{}".format(n) + "回目検知")
            n += 1
            time.sleep(2)
        else:
            print(GPIO.input(PIN))
            time.sleep(2)
except KeyboardInterrupt:
    print("Cancel")
finally:
    GPIO.cleanup()
    print("-----end-----")

感度、遅延時間の調節

少しいじってみた感じ感度調節の方はあまり差がわからなかった
けど手をかざせばほとんど反応するから精度は悪くないと思う。

問題は遅延時間

遅延時間の範囲は0.3秒-18秒。

試しに写真の位置に合わせて測ってみようと思い計測(だいたい5-7秒くらいかなーと予測)

結果…
56秒

あまり意味がわからなかったのでとりあえず左に回してもう一度計測(数値で言えば0の状態)

結果は遅延無し
これは思ったように動いた。

…
…

計測する

1回目	56秒
２回目	52秒
3回目	56秒
4回目	55秒
5回目	52秒
6回目	56秒
7回目	55秒
8回目	52秒
9回目	51秒
10回目	56秒

計測してもよくわかんないけど大体50秒-56秒遅延されてた。
ちなみに途中で計測は終了したが右にいっぱい(数値で言えば100の状態)回して止めた時点では2500秒(41分)だった。
もしかしたら途中で誤検知してしまったかもしれないがさっきの写真くらいの位置で平均して50秒だったら右いっぱい回したら永遠に検知状態かも。

＊なぜこうなるのかわかる方がいれば是非教えてください

動かしてみる

追加
ジャンパワイヤ +2本
ブレッドボード
抵抗 220Ω
LED 2V 10mA

わかりやすいように指を検知したらLED光らせてみる

＊LEDの光らせ方は前回の記事に書いてます。

human_led_sensor.py

import RPi.GPIO as GPIO
import time

PIN = 14
LED = 15 # 追加

GPIO.setmode(GPIO.BCM)
GPIO.setup(PIN, GPIO.IN)
GPIO.setup(LED, GPIO.OUT) # 追加

try:
    print ('-----Start-----')
    n = 1
    while True:
        if GPIO.input(PIN) == GPIO.HIGH:
            print("{}".format(n) + "回目検知")
            GPIO.output(LED, GPIO.HIGH) #　追加
            n += 1
            time.sleep(2)
            GPIO.output(LED, GPIO.LOW)　# 追加
        else:
            print(GPIO.input(PIN))
            time.sleep(2)
except KeyboardInterrupt:
    print("Cancel")
finally:
    GPIO.cleanup()
    print("-----end-----")

検知してから２秒後にLEDを消すようにした。

こんな感じ

まとめ

• 多少反応は悪いがある程度検知する
• 遅延時間が上手く動かなかったがそれ以外はある程度動いた
• 調べてる段階では難しくてできるかなーと思ってたけど実際に動かしてみたらつまずきはしたがやり切れた。

今度は監視カメラのように物体を検知した時にカメラを起動して写真をとるようにしたい。

参考記事

OSOYOO-HC-SR501 PIRモーションセンサー
OSOYOO-Raspberry Piで人体感知センサーモジュールを作動し、LEDを点灯する

-

毎日試しては更新するように心がけます

この記事について

今回はRaspberryPのスターターキットを購入したので色々と遊んでみる
OSOYOO(オソヨー) Raspberry Pi... https://www.amazon.jp/dp/B01M6ZFNSS?ref=ppx_pop_mob_ap_share

まずは人感センサー
ラズパイに人感センサーを繋いで赤外線で人、物を検知する。
それをプログラム上に出力する。

ネットの記事を何個か見て試してみたが上手くいかず少しつまずいた

動作環境

• Raspberry Pi Model B+
• Python3.7.4

用意するもの

• Raspberry Pi Model B+
• 電源アダプター（5V/3000mA）
• 人感センサー(HC-SR501 PIR motion sensor)
• ジャンパワイヤ 3本

センサー

動作電圧	DC5V - 12V
出力	LOW - 0V , HIGH - 3.3V
遅延時間	調整可能 (0.3-18秒)
遮断時間	0.2秒
検出範囲	7m未満 120度未満
動作温度	-15 ~ 70度
トリガーモード	LOWは繰り返し×

トリガーモードがよく理解できなかった
自分なりの解釈は

遅延時間が5秒の場合
LOWは、検知し遅延時間中にさらに検知してもその検知はトリガーされない

HIGHの場合は検知し遅延時間中にさらに検知したら
直前に検知した遅延時間がトリガーされる

うまく説明できないので

要するにLOWは延長してくれないけどHIGHは延長してくれるっていう理解でいいのかな

はい、次

プログラムを書く

human_sensor.py

import RPi.GPIO as GPIO
import time

PIN = 14

GPIO.setmode(GPIO.BCM)
GPIO.setup(PIN, GPIO.IN)

try:
    print ('-----Start-----')
    n = 1
    while True:
        if GPIO.input(PIN) == GPIO.HIGH:
            print("{}".format(n) + "回目検知")
            n += 1
            time.sleep(2)
        else:
            print(GPIO.input(PIN))
            time.sleep(2)
except KeyboardInterrupt:
    print("Cancel")
finally:
    GPIO.cleanup()
    print("-----end-----")

感度、遅延時間の調節

少しいじってみた感じ感度調節の方はあまり差がわからなかった
けど手をかざせばほとんど反応するから精度は悪くないと思う。

問題は遅延時間

遅延時間の範囲は0.3秒-18秒。

試しに写真の位置に合わせて測ってみようと思い計測(だいたい5-7秒くらいかなーと予測)

結果…
56秒

あまり意味がわからなかったのでとりあえず左に回してもう一度計測(数値で言えば0の状態)

結果は遅延無し
これは思ったように動いた。

…
…

計測する

1回目	56秒
２回目	52秒
3回目	56秒
4回目	55秒
5回目	52秒
6回目	56秒
7回目	55秒
8回目	52秒
9回目	51秒
10回目	56秒

計測してもよくわかんないけど大体50秒-56秒遅延されてた。
ちなみに途中で計測は終了したが右にいっぱい(数値で言えば100の状態)回して止めた時点では2500秒(41分)だった。
もしかしたら途中で誤検知してしまったかもしれないがさっきの写真くらいの位置で平均して50秒だったら右いっぱい回したら永遠に検知状態かも。

＊なぜこうなるのかわかる方がいれば是非教えてください

動かしてみる

追加
ジャンパワイヤ +2本
ブレッドボード
抵抗 220Ω
LED 2V 10mA

ピン	ポート
2	5V	5V(OUT)
6	GND	GND
8	14	制御(UCC)
10	15	制御(UCC)
14	GND	GND

わかりやすいように指を検知したらLED光らせてみる

＊LEDの光らせ方は前回の記事に書いてます。

human_led_sensor.py

import RPi.GPIO as GPIO
import time

PIN = 14
LED = 15 # 追加

GPIO.setmode(GPIO.BCM)
GPIO.setup(PIN, GPIO.IN)
GPIO.setup(LED, GPIO.OUT) # 追加

try:
    print ('-----Start-----')
    n = 1
    while True:
        if GPIO.input(PIN) == GPIO.HIGH:
            print("{}".format(n) + "回目検知")
            GPIO.output(LED, GPIO.HIGH) #　追加
            n += 1
            time.sleep(2)
            GPIO.output(LED, GPIO.LOW)　# 追加
        else:
            print(GPIO.input(PIN))
            time.sleep(2)
except KeyboardInterrupt:
    print("Cancel")
finally:
    GPIO.cleanup()
    print("-----end-----")

検知してから２秒後にLEDを消すようにした。

こんな感じ

まとめ

• 多少反応は悪いがある程度検知する
• 遅延時間が上手く動かなかったがそれ以外はある程度動いた
• 調べてる段階では難しくてできるかなーと思ってたけど実際に動かしてみたらつまずきはしたがやり切れた。

今度は監視カメラのように物体を検知した時にカメラを起動して写真をとるようにしたい。

参考記事

OSOYOO-HC-SR501 PIRモーションセンサー
OSOYOO-Raspberry Piで人体感知センサーモジュールを作動し、LEDを点灯する

はじめに

pythonでDBアクセスをする際によく使われるORマッパーとして、SQLAlchemyがあります。
基本的なselectやinsertといったDBの操作はいろいろなサイトに乗っていて簡単に使えるのですが
DB操作以外でちょっと調べたのでまとめます。

環境

• python3:3.6.5
• SQLAlchemy:1.3.7
• psycopg2:2.8.3

インストール

インストールは普通にpipでインストールします。

>pip install sqlalchemy
>pip install psycopg2

使用するクラスは次のクラスを使います。

from sqlalchemy import Column, Integer, String, DateTime
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

class Pets(Base):
    __tablename__ = 'pets'

    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)
    birthday = Column(DateTime)

    def __init__(self, name, age, birthday):
        self.name = name
        self.age = age
        self.birthday = birthday

    def __str__(self):
        return 'id:{}, name:{}, age:{}, birthday:{}'.format(self.id, self.name, self.age, self.birthday)

セッションの生成

大抵のプログラムでDBの操作をするときは、効率化のためにセッションを生成して、そのセッションを使いまわします。
SQLAlchemyも同様にグローバル変数にセッションを生成して、それを関数内で呼び出して使用すると使いまわしてくれます。
sql発行後に local_session.close() をしていますが、これはグローバル変数にセッションを戻しているだけなので生成したセッションは消えていません。
セッションを切断するためにはengine.dispose()をする必要がありますが基本セッションを使いまわすのであまり必要ないです。

ポイント

ENGINE = create_engine(接続文字列)
SESSION = sessionmaker(ENGINE)
local_session = SESSION()
取得結果 = local_session.query(ORマップ用クラス).all()
local_session.close()

実験

pyMod.py

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

DATABASE = 'postgresql'
USER = 'postgres'
PASSWORD = 'postgres'
HOST = 'localhost'
PORT = '5431'
DB_NAME = 'animal_db'

CONNECT_STR = '{}://{}:{}@{}:{}/{}'.format(DATABASE, USER, PASSWORD, HOST, PORT, DB_NAME)

ENGINE = None
SESSION = None

def read_data(name):
    local_session = SESSION()
    try:
        pets = local_session.query(Pets).filter(Pets.name=="pochi").all()

        for pet in pets:
            print(pet)

    finally:
        local_session.close()


if __name__ == "__main__":
    ENGINE = create_engine(CONNECT_STR)
    SESSION = sessionmaker(ENGINE)
    print('--------------- before select 1 ------------------------')
    print('  session:{}'.format(ENGINE.pool.status()))

    read_data('pochi')
    print('--------------- after select 1 ------------------------')
    print('  session:{}'.format(ENGINE.pool.status()))

    print('--------------- before select 2 ------------------------')
    print('  session:{}'.format(ENGINE.pool.status()))
    read_data('tama')

結果

# python3 pyMod.py
--------------- before select 1 ------------------------
  session:Pool size: 5  Connections in pool: 0 Current Overflow: -5 Current Checked out connections: 0
id:1, name:pochi, age:4, birthday:1990-02-12 00:00:00
--------------- after select 1 ------------------------
  session:Pool size: 5  Connections in pool: 1 Current Overflow: -4 Current Checked out connections: 0
--------------- before select 2 ------------------------
  session:Pool size: 5  Connections in pool: 1 Current Overflow: -4 Current Checked out connections: 0
id:2, name:tama, age:3, birthday:1992-08-06 20:02:21
--------------- after select 2 ------------------------
  session:Pool size: 5  Connections in pool: 1 Current Overflow: -4 Current Checked out connections: 0

結果を見るとbefore select1の時にはConnections in poolが0でselect実行後には、1になっています。
また、Current Overflowも-5から1つ生成して-4になっています。
select 2を見るとselect 1で使ったセッションを使いまわしているため、コネクションの数が変わっていません。

セッションの制限

DBの設定によってはセッション数を制限しておりセッションの生成を管理したい場合があります。
その際はengine作成時にパラメータを入れてあげるだけで制限できました。

ポイント

ENGINE = create_engine(CONNECT_STR, pool_size=コネクション数, max_overflow=制限を超えて生成できるコネクション数)

pool_sizeの実験

上のソースから変更部分のみ

pyMod.py

    ENGINE = create_engine(CONNECT_STR, pool_size=2, max_overflow=1)

結果

# python3 pyMod.py
--------------- before select 1 ------------------------
  session:Pool size: 2  Connections in pool: 0 Current Overflow: -2 Current Checked out connections: 0
id:1, name:pochi, age:4, birthday:1990-02-12 00:00:00
--------------- after select 1 ------------------------
  session:Pool size: 2  Connections in pool: 1 Current Overflow: -1 Current Checked out connections: 0
--------------- before select 2 ------------------------
  session:Pool size: 2  Connections in pool: 1 Current Overflow: -1 Current Checked out connections: 0
id:2, name:tama, age:3, birthday:1992-08-06 20:02:21
--------------- after select 2 ------------------------
  session:Pool size: 2  Connections in pool: 1 Current Overflow: -1 Current Checked out connections: 0
PS C:\Users\minkl\OneDrive\ドキュメント\program\python\sql_alchemy>

結果を見るとPool sizeが指定した2になっています。

max_overflowの実験

上のソースから変更部分のみ

pyMod.py

    ENGINE = create_engine(CONNECT_STR, pool_size=0, max_overflow=1)

結果

# python3 pyMod.py
--------------- before select 1 ------------------------
  session:Pool size: 0  Connections in pool: 0 Current Overflow: 0 Current Checked out connections: 0
id:1, name:pochi, age:4, birthday:1990-02-12 00:00:00
--------------- after select 1 ------------------------
  session:Pool size: 0  Connections in pool: 1 Current Overflow: 1 Current Checked out connections: 0
--------------- before select 2 ------------------------
  session:Pool size: 0  Connections in pool: 1 Current Overflow: 1 Current Checked out connections: 0
id:2, name:tama, age:3, birthday:1992-08-06 20:02:21
--------------- after select 2 ------------------------
  session:Pool size: 0  Connections in pool: 1 Current Overflow: 1 Current Checked out connections: 0

結果を見るとCurrent Overflowが1になっています。

オーバーしたときの実験

上のソースから変更部分のみ

pyMod.py

    ENGINE = create_engine(CONNECT_STR, pool_size=0, max_overflow=0)

結果

# python3 pyMod.py
--------------- before select 1 ------------------------
  session:Pool size: 0  Connections in pool: 0 Current Overflow: 0 Current Checked out connections: 0

結果のところから進まなくなりタイムアウトしました。設定値的にセッションを生成できないけど、機能的にはセッションの解放待ちになっています。

取得型の指定

基本はDBの値をクラスで取得しますが、queryに指定することでコレクション型で取得することができます。

pyMod.py

pets = local_session.query(Pets.name, Pets.age).all()
print(type(pets))
for pet in pets:
    print(type(pet))
    print(pet)

結果

# python3 pyMod.py
--------------- before select 1 ------------------------
  session:Pool size: 2  Connections in pool: 0 Current Overflow: -2 Current Checked out connections: 0
<class 'list'>
<class 'sqlalchemy.util._collections.result'>
('pochi', 4)
<class 'sqlalchemy.util._collections.result'>
('tama', 3)

オートインクリメントのタイミング

postgresqlにはserialという数字を自動的にインクリメント(+1)してくれる機能があります。
そのインクリメントのタイミングを調べました。

pyMod.py

def insert_date(name):
    local_session = SESSION()
    try:
        pet = Pets(name, 4, datetime(year=1990, month=2, day=12))
        print(pet.id)
        local_session.add(pet)
        print(pet.id)
        local_session.commit()
        print(pet.id)
    except:
        local_session.rollback()

    finally:
        local_session.close()

結果

None
None
4

結果を見るとコミットしたタイミングでインクリメントされました。

一括アップデート

アップデートはselectで取得したクラスの変数を書き換えてaddをしますが、性能的な問題で一括で更新したいことがあります。
その際は、直接更新できるようです。

pyMod.py

def update_data():
    local_session = SESSION()
    local_session.query(Pets).filter(Pets.age==4).update({Pets.name:'mink'})
    local_session.commit()    

    local_session.close()

結果

id:4, name:mink, age:4, birthday:1990-02-12 00:00:00
---- update -----
id:4, name:mink, age:4, birthday:1990-02-12 00:00:00
id:1, name:mink, age:4, birthday:1990-02-12 00:00:00
id:3, name:mink, age:4, birthday:1990-02-12 00:00:00

おわりに

SQLAlchemyでDBに接続してみました。カーソル等を使わなくて済むのでとても使いやすいですが、セッションあたりが混乱しやすいです。
未だにセッションを返却する関数がcloseなのか納得がいっていないので人に説明するときにすごく苦労しています。

目的

pythonをちょこちょこ調べらながら書いていて、今後も使用するであろうものをまとめる。
※初心者向け

dict(辞書)からキーがなくても落ちない方法

下記のようにdictから取得すると実行時にエラーが発生してしまう。

dict = {}
print(dict['test'])

実行結果

Traceback (most recent call last):
  File "sample.py", line 2, in <module>
    print(dict['test'])
KeyError: 'test'

dictのgetメソッドを使用することで、キーがなくてもエラーにならずにNoneが返却される。

dict = {}
print(dict.get('test'))

実行結果

None

数値のチェック

# 数値であるかチェックします。
# 半角数値、少数の場合Trueを返します。
def isNum(num):
    return re.compile('^([1-9]\\d*|0)(\\.\\d+)?$').match(num) is not None

正の整数のチェック

# 正の整数(0を除く)であるかチェックします。
# 正の整数(0を除く)である場合Trueを返します。
def isPlusInteger(num):
    return re.compile('^[1-9]\\d*$').match(num) is not None

少数第1位で切り捨て

from decimal import Decimal,ROUND_DOWN

def roundDown(val):
    return Decimal(val).quantize(Decimal('0.1'), rounding=ROUND_DOWN)

少数を整数に切り捨て

from decimal import Decimal

# 整数に切り捨てます。
def truncateNum(val):
    return str(math.floor(Decimal(val)))

日付のフォーマット

from datetime import datetime

# YYYYMMDDをYYYY/MM/DDの形式にフォーマットします。
def dayFormat(day):
    return datetime.strptime(day, '%Y%m%d').strftime('%Y/%m/%d')

AWSで日本時間で現在日時を取得します。

def getNowTime():
    # AWSの時刻は、UTCなのでJSTに変換
    return datetime.now(timezone(timedelta(hours=+9), 'JST'))

最後に

メソッド名のセンスのなさが悩み。

落ちる

　IDLEのシェルまたはエディタで IVS付きの文字を入力すると、何も言わずに実行を終了する。
　※ Windows10 の Python 3.7.3 (64bit) で確認。Windows 以外はわかりません。

　キーボードからIVSを入力するのは少々面倒なので、大抵はコピペした文字列にそういう文字が混じっていたというケースになります。そういったデータを扱う機会の多い人が IDLEで何かしようと企んだ時だけ起こりうる事故で、とてもびっくりします。
　※ たとえば次項「IVSとは」の本文を貼り付けると、落ちます。

IVSとは

　IVSは「異体字セレクタ」の一種で、フォントが内蔵する別字体をUnicodeで指定するための仕組み。

　例として、「進（U+9032）」を表示するとき。
「進」の左側は、戦後日本では一点のしんにょう（辶）とされているが、もし二点（辶）で表示したい場合には、文字コードの後にセレクタを付与して「進?（U+9032, U+E0101）」あるいは「進?（U+9032, U+E0103）」とすれば選択できる。
……と、UnicodeコンソーシアムのIVD（漢字異体字データベース）には登録されている。

　※ U+E0101 の方は「Adobe-Japan1」コレクション、U+E0103 の方は「Hanyo-Denshi（汎用電子情報交換環境整備プログラム）」コレクション、または「Moji_Joho（文字情報基盤整備事業）」のコレクション

　実際に表示されるかどうかはフォントの実装次第。なので、どれも「進」にしか見えない可能性もあるが、使用フォントが例えば Adobe-Japan1 に対応する「游ゴシック」か「游明朝」ならば、「進?（U+9032, U+E0101）」は二点（辶）になるだろう。

参考

• Wikipedia 『異体字セレクタ』 https://ja.wikipedia.org/wiki/%E7%95%B0%E4%BD%93%E5%AD%97%E3%82%BB%E3%83%AC%E3%82%AF%E3%82%BF
• Unicode Ideographic Variation Database https://unicode.org/ivd/

目的

python3でのログ出力をまとめる。

ソース

ログレベルERRORの例

logTest.py

import logging

# ログオブジェクト作成
def get_logger(workername, logLvel):
    # ログの出力名を設定
    logger = logging.getLogger(workername)
    # ログレベルの設定
    logger.setLevel(logLvel)

    return logger

def main():
    # ロガー
    logger = get_logger(__name__, logging.ERROR)
    logger.debug('デバッグログです')
    logger.info('インフォログです')
    logger.warning('ワーニングです')
    logger.error('エラーです')
    logger.critical('クリティカルです')

if __name__ == "__main__":
    main()

上記例のログレベルであるlogging.ERRORは、int型。
実際の値は下記。

ログレベル	値
DEBUG	10
INFO	20
WARNING	30
ERROR	40
CRITICAL	50

参考

python3のloggingのAPI
https://docs.python.org/ja/3/library/logging.html#levels

最後に

ログレベルは、外部ファイルや環境変数を読み込んで設定するのが普通なのかと思います。

pythonの基礎を備忘録として残しておく

summary

df = pd.read_csv('./data/stock_8308.tsv', sep='\t')  # タブ区切りは'\t'で
* macは、'option'+'¥'
zenba = df[df['session'] == 0]  # ' session'=0のデータフレーム
del zenba['session']  # 'session'項目を削除

dic = {}  # 辞書の箱作成
for i in zenba.columns[1:]:
    dic[i] = i + '_zenba'  # 辞書の追加
zenba = zenba.rename(columns=dic)  # 辞書を使って項目変更
# 辞書を利用した項目のrename

dic = {i:i+'_goba' for i in goba.columns[1:]}  # 辞書を利用したrename(内包表記)
df = zenba.merge(goba, on='date')  # 'zenba'と'goba'を'date'でマージ
df[df.isnull().any(axis=1)]  # 欠損値をデータフレームで確認
df = df.dropna()  # 欠損値を削除して表示

df['open'] = df['open_zenba']  # 対応
df['high'] = df[['high_zenba', 'high_goba']].max(axis=1)  # 大きい方
df['low'] = df[['low_zenba', 'low_goba']].min(axis=1)  # 小さい方
df['volume'] = df[['volume_zenba','volume_goba']].sum(axis=1)  # 合計1
df['value'] = df['value_zenba'] + df['value_goba'] # 合計2
# 項目の各種置換

col = [i for i in df.columns if 'zenba' not in i and  'goba' not in i]
df = df[col]
# 'zenba','goba'を含まない項目のみにする

plt.plot(df['close'])  # 'close'の折れ線グラフ

df = df[df["close"] < 50000]
df = df.reset_index(drop=True)  
# グラフの最大値を50000以下に制限する

(df['close'] - df['open'] > 0).astype(int)  # 大きければ1、そうでなければ0

x = df[['open', 'high', 'low', 'close', 'volume', 'value']]
y = df[['y']]
print(np.array(x.iloc[:threshold, :]))  # train_x
print(np.array(y.iloc[:threshold, :]).flatten())  # train_y
# x, yのデータフレームを作り、np.arrayでデータ作成

ライブラリーのインポート

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

CSVファイルの読み込み
* タブ区切りの場合はsep='\t'で読み込む。なお、Macで'\'の入力は、option+'¥'

df = pd.read_csv('./data/stock_8308.tsv', sep='\t')
print(df.head())

# 出力
         date  session      open     ...          close  volume        value
0  2007-01-04        0  323000.0     ...       325000.0   28930   9331985000
1  2007-01-04        1       NaN     ...            NaN       0            0
2  2007-01-05        0  324000.0     ...       321000.0   33418  10823882000
3  2007-01-05        1  321000.0     ...       321000.0   22827   7342975000
4  2007-01-09        0  320000.0     ...       329000.0   29230   9509112000``

前場（session = 0）のデータのみ表示

zenba = df[df['session'] == 0]
print(zenba.head())

# 出力
         date  session      open     ...          close  volume        value
0  2007-01-04        0  323000.0     ...       325000.0   28930   9331985000
2  2007-01-05        0  324000.0     ...       321000.0   33418  10823882000
4  2007-01-09        0  320000.0     ...       329000.0   29230   9509112000
6  2007-01-10        0  332000.0     ...       329000.0   32163  10618725000
8  2007-01-11        0  328000.0     ...       329000.0   18594   6115344000

後場(session = 1)のデータのみ表示

goba = df[df['session'] == 1]
print(goba.head())

# 出力
         date  session      open     ...          close  volume        value
1  2007-01-04        1       NaN     ...            NaN       0            0
3  2007-01-05        1  321000.0     ...       321000.0   22827   7342975000
5  2007-01-09        1  329000.0     ...       330000.0   31357  10375287000
7  2007-01-10        1  328000.0     ...       328000.0   20511   6729752000
9  2007-01-11        1  329000.0     ...       326000.0   16628   5437101000

前場、後場の項目が被らないようにリネームする。但し、'session'は削除、'date'はそのまま。
まず、前場をfor文で

del zenba['session']
print(zenba.columns)

dic = {}
for i in zenba.columns[1:]:
    dic[i] = i + '_zenba'
print(dic)

zenba = zenba.rename(columns=dic)
print(zenba.head())

# 出力
Index(['date', 'open', 'high', 'low', 'close', 'volume', 'value'], dtype='object')
{'open': 'open_zenba', 'high': 'high_zenba', 'low': 'low_zenba', 'close': 'close_zenba', 'volume': 'volume_zenba', 'value': 'value_zenba'}

         date  open_zenba     ...       volume_zenba  value_zenba
0  2007-01-04    323000.0     ...              28930   9331985000
2  2007-01-05    324000.0     ...              33418  10823882000
4  2007-01-09    320000.0     ...              29230   9509112000
6  2007-01-10    332000.0     ...              32163  10618725000
8  2007-01-11    328000.0     ...              18594   6115344000

後場を内包表記で

del goba['session']
print(goba.columns)

dic = {i:i+'_goba' for i in goba.columns[1:]}
print(dic)
print()

goba = goba.rename(columns=dic)
print(goba.head())

# 出力
Index(['date', 'open', 'high', 'low', 'close', 'volume', 'value'], dtype='object')
{'open': 'open_goba', 'high': 'high_goba', 'low': 'low_goba', 'close': 'close_goba', 'volume': 'volume_goba', 'value': 'value_goba'}

         date  open_goba     ...       volume_goba   value_goba
1  2007-01-04        NaN     ...                 0            0
3  2007-01-05   321000.0     ...             22827   7342975000
5  2007-01-09   329000.0     ...             31357  10375287000
7  2007-01-10   328000.0     ...             20511   6729752000
9  2007-01-11   329000.0     ...             16628   5437101000

zenba と goba を'date'でマージする

df = zenba.merge(goba, on='date')
print(df.head())

# 出力         
　　 　　　date  open_zenba     ...       volume_goba   value_goba
0  2007-01-04    323000.0     ...                 0            0
1  2007-01-05    324000.0     ...             22827   7342975000
2  2007-01-09    320000.0     ...             31357  10375287000
3  2007-01-10    332000.0     ...             20511   6729752000
4  2007-01-11    328000.0     ...             16628   5437101000

欠損値を確認する

tmp = df[df.isnull().any(axis=1)]
print(tmp)

# 出力           
           date  open_zenba     ...      volume_goba  value_goba
0    2007-01-04    323000.0     ...                0           0
244  2007-12-28    200000.0     ...                0           0
245  2008-01-04    191000.0     ...                0           0
414  2008-09-08         NaN     ...            13819  1433030300
486  2008-12-25         NaN     ...                0           0
487  2008-12-26         NaN     ...                0           0
488  2008-12-29         NaN     ...                0           0
489  2008-12-30         NaN     ...                0           0
490  2009-01-05      1450.0     ...                0           0

欠損値を除いて表示

df = df.dropna()
print(df.head())

# 出力         
         date  open_zenba     ...       volume_goba   value_goba
1  2007-01-05    324000.0     ...             22827   7342975000
2  2007-01-09    320000.0     ...             31357  10375287000
3  2007-01-10    332000.0     ...             20511   6729752000
4  2007-01-11    328000.0     ...             16628   5437101000
5  2007-01-12    329000.0     ...             49509  16530550000

以下の列を追加
open : session=0のopen
high : session=0とsession=1のhighの大きい方
low : session=0とsession=1のlowの小さい方
close : session=1のclose
volume: session=0とsession=1のvolumeの合計
value: session=0とsession=1のvalueの合計

df['open'] = df['open_zenba']
df['high'] = df[['high_zenba', 'high_goba']].max(axis=1)
df['low'] = df[['low_zenba', 'low_goba']].min(axis=1)
df['close'] = df['close_goba']
df['volume'] = df[['volume_zenba','volume_goba']].sum(axis=1)
df['value'] = df['value_zenba'] + df['value_goba'] # こちらの方が直感的かも
print(df.head())

# 出力         
         date  open_zenba     ...       volume        value
1  2007-01-05    324000.0     ...        56245  18166857000
2  2007-01-09    320000.0     ...        60587  19884399000
3  2007-01-10    332000.0     ...        52674  17348477000
4  2007-01-11    328000.0     ...        35222  11552445000
5  2007-01-12    329000.0     ...        77776  25854436000

zenba、goba が含まれていない項目のみ除いて表示

col = [i for i in df.columns if 'zenba' not in i and  'goba' not in i]
print(col)

df = df[col]
print(df.head())

# 出力         
         date      open      high     ...          close  volume        value
1  2007-01-05  324000.0  326000.0     ...       321000.0   56245  18166857000
2  2007-01-09  320000.0  333000.0     ...       330000.0   60587  19884399000
3  2007-01-10  332000.0  333000.0     ...       328000.0   52674  17348477000
4  2007-01-11  328000.0  331000.0     ...       326000.0   35222  11552445000
5  2007-01-12  329000.0  336000.0     ...       334000.0   77776  25854436000

'close'項目のグラフを作成する

plt.plot(df['close'])
plt.show()

closeの値が50000未満の範囲でグラフを表示

print(df.shape)
df = df[df["close"] < 50000]
df = df.reset_index(drop=True)
print(df.shape)

plt.plot(df["close"])
plt.show()

y項目を追加し、翌日の'open'が当日の'close'より高い場合は'1'低い場合は'0'とする

print((df['close'] - df['open']).head())
print()
print((df['close'] - df['open'] > 0).astype(int).head())

y = list((df['close'] - df['open'] > 0).astype(int))
y =  y[1:] + [np.nan]

df['y'] = y
print(df.tail())

# 出力
0    -6.0
1    21.0
2    12.0
3   -10.0
4   -21.0
dtype: float64

0    0
1    1
2    1
3    0
4    0
dtype: int64
            date   open   high    low  close    volume       value    y
2100  2017-07-31  568.0  574.6  566.5  568.4  15107800  8613256740  1.0
2101  2017-08-01  571.3  577.5  568.4  574.3  14936500  8552405910  0.0
2102  2017-08-02  578.4  579.6  569.1  573.8  10136000  5812332060  1.0
2103  2017-08-03  574.0  574.8  567.2  574.3   9567600  5468152880  0.0
2104  2017-08-04  573.0  574.8  570.4  572.8   8018300  4591509180  NaN

欠損値を除いて表示

print(df.shape)
df = df.dropna()
print(df.shape)
print(df.head())

# 出力
(2105, 8)
(2104, 8)
         date    open    high     low   close   volume       value    y
0  2009-01-06  1450.0  1454.0  1436.0  1444.0  3377400  4888187300  1.0
1  2009-01-07  1454.0  1482.0  1451.0  1475.0  3653000  5359326000  1.0
2  2009-01-08  1459.0  1482.0  1455.0  1471.0  3269100  4805717900  0.0
3  2009-01-09  1471.0  1486.0  1460.0  1461.0  4637100  6825123700  0.0
4  2009-01-13  1441.0  1442.0  1417.0  1420.0  3908100  5573985800  1.0

先頭9割の行と残り1割の行に分割し、さらに、y列とそれ以外の列（x列）に分割する
その際、４つデータフレームはnumpyのarray型に変換し、y列のarrayは1次元配列に変換する

print(len(df))
threshold = int(len(df) * 0.9)
print(threshold)

x = df[['open', 'high', 'low', 'close', 'volume', 'value']]
y = df[['y']]

print(np.array(x.iloc[:threshold, :]))  # train_x
print()
print(np.array(y.iloc[:threshold, :]).flatten())  # train_y
print()
print(np.array(x.iloc[threshold:, :]))  # test_x
print()
print(np.array(y.iloc[threshold:, :]).flatten())  # test_y

# 出力
2104
1893
[[1.45000000e+03 1.45400000e+03 1.43600000e+03 1.44400000e+03
  3.37740000e+06 4.88818730e+09]
 [1.45400000e+03 1.48200000e+03 1.45100000e+03 1.47500000e+03
  3.65300000e+06 5.35932600e+09]
 [1.45900000e+03 1.48200000e+03 1.45500000e+03 1.47100000e+03
  3.26910000e+06 4.80571790e+09]
 ...
 [4.35300000e+02 4.70000000e+02 4.24800000e+02 4.69100000e+02
  3.00463000e+07 1.36255238e+10]
 [4.65700000e+02 4.72500000e+02 4.59600000e+02 4.68100000e+02
  2.77592000e+07 1.29561912e+10]
 [4.67900000e+02 4.69800000e+02 4.60200000e+02 4.62000000e+02
  1.43791000e+07 6.67774531e+09]]

[1. 1. 0. ... 1. 0. 1.]

[[4.38100000e+02 4.53000000e+02 4.36700000e+02 4.49300000e+02
  2.40786000e+07 1.07343711e+10]
 [4.39500000e+02 4.42000000e+02 4.29400000e+02 4.32200000e+02
  1.48967000e+07 6.45213641e+09]
 [4.33000000e+02 4.35800000e+02 4.28600000e+02 4.30600000e+02
  1.74649000e+07 7.54749060e+09]
 ...
 [5.71300000e+02 5.77500000e+02 5.68400000e+02 5.74300000e+02
  1.49365000e+07 8.55240591e+09]
 [5.78400000e+02 5.79600000e+02 5.69100000e+02 5.73800000e+02
  1.01360000e+07 5.81233206e+09]
 [5.74000000e+02 5.74800000e+02 5.67200000e+02 5.74300000e+02
  9.56760000e+06 5.46815288e+09]]

[0. 0. 1. 0. 1. 1. 0. 0. 0. 0. 0. 1. 0. 1. 0. 1. 1. 0. 1. 1. 1. 1. 1. 0.
 0. 1. 0. 1. 0. 1. 1. 1. 1. 1. 1. 0. 1. 1. 0. 0. 1. 1. 0. 1. 1. 1. 1. 1.
 0. 1. 0. 1. 1. 1. 1. 0. 1. 0. 1. 1. 1. 1. 0. 1. 1. 1. 0. 0. 1. 0. 1. 0.
 0. 1. 0. 1. 1. 0. 0. 1. 1. 1. 1. 0. 0. 1. 0. 1. 1. 1. 1. 0. 0. 1. 1. 0.
 1. 0. 0. 0. 0. 0. 1. 1. 0. 1. 1. 0. 0. 1. 1. 1. 0. 1. 1. 0. 1. 0. 1. 1.
 0. 1. 0. 1. 0. 0. 0. 0. 0. 0. 1. 1. 0. 1. 1. 1. 0. 1. 1. 1. 0. 1. 1. 1.
 0. 1. 0. 1. 0. 0. 1. 0. 1. 0. 0. 1. 1. 0. 0. 0. 1. 0. 0. 0. 1. 1. 1. 0.
 1. 1. 1. 1. 0. 1. 1. 0. 0. 1. 0. 0. 0. 1. 0. 1. 1. 0. 1. 1. 0. 1. 0. 0.
 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 1. 1. 1. 0. 1. 0.]

pythonの基礎を備忘録として残しておく

summary

plt.plot(X, Y, marker='o', color='red', linestyle='--')  # 折れ線グラフ
plt.xlabel('time')  # xラベル
plt.ylabel('count')  # yラベル
plt.title('Shop A')  # タイトル
plt.grid()  # グリッド線
x= np.arange(-5, 5, 0.01)  # xデータの連続生成
plt.plot(x, food, label='food')  # 凡例'food'
plt.legend(loc='upper left')  # 凡例表示
plt.bar(x, y)  # 棒グラフ
plt.scatter(sugar_x, sugar_y, label='sugar')  # 散布図
plt.scatter(x, y, marker="o", color="green", alpha=0.5)  # 透明度
x = np.random.rand(1000)  # 0-1のランダムな数字１０００個生成
plt.hist(x, bins=20, rwidth=0.7)  # ヒストグラム
fig, (ax1, ax2) = plt.subplots(nrows=1, ncols=2)  # 複数グラフ(subplots)
ax1.plot(x, food)  # 1つ目のグラフ
ax1.set_title('food')  # 1つ目のタイトル
fig = plt.figure()  # 複数グラフ(add_subplot)
ax1 = fig.add_subplot(1, 2, 1)  # 1つ目のグラフ設定
ax1.plot(x, food)  # 1つ目のグラフ
ax1.set_title('food')  # 1つ目のタイトル
ax1.set_ylabel("food")  # 1つ目のグラフのyラベル
ymin, ymax = ax1.get_ylim()  # y軸の最小・最大の取得
ax2.set_ylim(ymin, ymax)  # y軸の最小・最大の設定

fig = plt.figure()
ax1 = fig.add_subplot(1, 1, 1)
ax1.bar(tick_label, sales, label="sales", color="b", alpha=0.5)
ax2 = ax1.twinx()  # ax1の２軸目にax2を
ax2.plot(temperature, label="temperature", color="r", marker="x")
# 棒と折れ線グラフの混在

handler1, label1 = ax1.get_legend_handles_labels()  # ax1のハンドルとラベルを取得
handler2, label2 = ax2.get_legend_handles_labels()  # ax2のハンドルとラベルを取得
plt.legend(handler1+handler2, label1+label2)  # ハンドルとラベルを合成して表示
# 棒と折れ線グラフの混在の場合の凡例表示

matplotlib のインポート

import matplotlib.pyplot as plt

yデータのみのグラフ

data = [1.0, 2.1, 2.8, 4.2, 6.1, 3.5]
plt.plot(data)
plt.show()

マーカー指定 marker='' 'o', 'x', 'v' ...
カラー指定 color='' 'red', 'green', 'blue' ...
x軸'time'、y軸'count'、タイトル'Shop A'、グリッド付きでグラフを描く

X = [1, 2, 3, 4 ,5, 6]
Y = [13, 23, 20, 19, 10, 11]
plt.plot(X, Y, marker='o', color='red', linestyle='--')
plt.xlabel('time')
plt.ylabel('count')
plt.title('Shop A')
plt.grid()
plt.show()

y = -x**2 + 1　　y = 0.5*x - 5
の２つのグラフをxが-5から+5の範囲で描く

import numpy as np
x= np.arange(-5, 5, 0.01)
y1 = - x ** 2 + 1
y2 = 0.5 * x  - 5
plt.plot(x, y1)
plt.plot(x, y2)
plt.show()

凡例labelの表示位置指定 plt.legend(loc = '')
* upper right(デフォルト）、upper left、lower right、lower left

x = [1, 2, 3, 4, 5]
food = [23, 21, 42, 32, 23]
drink = [33, 25, 41, 36, 16]
plt.plot(x, food, label='food')
plt.plot(x, drink, label='drink')
plt.legend(loc='upper left')
plt.show()

棒グラフ

x = ['A', 'B', 'C', 'D', 'E']  
y = [10, 13, 9, 6, 10]
plt.bar(x, y)
plt.show()

散布図

sugar_x = [1, 3, 2, 4, 6]
sugar_y = [29, 31, 22, 43, 26]
salt_x = [4, 1, 1, 3, 2]
salt_y = [22, 32, 12, 33, 36]
plt.scatter(sugar_x, sugar_y, label='sugar')
plt.scatter(salt_x, salt_y, label='salt')
plt.legend()
plt.show()

x, yともに0-1までの値をとるランダムな小数を100個散布図を作成
＊色は緑、マーカーは'o'、アルファ（透明度）=0.5

import numpy as np
x, y = np.random.rand(100), np.random.rand(100) 
plt.scatter(x, y, marker="o", color="green", alpha=0.5)
plt.show()

0-1までの値をとるランダムな小数を1000個ヒストグラムで表示
＊バーの数は20本、線の太さは0.7、y軸のラベルに「count」と表示

import numpy as np
x = np.random.rand(1000)  # 0-1のランダムな数字１０００個生成
plt.hist(x, bins=20, rwidth=0.7)
plt.ylabel("count")
plt.show()

subplots による複数グラフ表示

x = [1, 2, 3, 4, 5] 
food = [23, 21, 42, 32, 23]
drink = [33, 25, 41, 36, 16]

fig, (ax1, ax2) = plt.subplots(nrows=1, ncols=2)

ax1.plot(x, food)
ax1.set_title('food')

ax2.plot(x, drink)
ax2.set_title('drink')

plt.show()

add_subplot による折れ線グラフの複数表示

x = [1, 2, 3, 4, 5] 
food = [23, 21, 42, 32, 23]
drink = [33, 25, 41, 36, 16]

fig = plt.figure()

ax1 = fig.add_subplot(1, 2, 1)
ax1.plot(x, food)
ax1.set_title('food')

ax2 = fig.add_subplot(1, 2, 2)
ax2.plot(x, drink)
ax2.set_title('drink')

plt.show()

add_subplot による棒グラフの複数表示

x = ['A', 'B', 'C', 'D', 'E']
food = [23, 21, 42, 32, 23]
drink = [33, 25, 41, 36, 16]

fig = plt.figure()

ax1 = fig.add_subplot(2, 1, 1)
ax1.bar(x, food)
ax1.set_ylabel('food')

ax2 = fig.add_subplot(2, 1, 2)
ax2.bar(x, drink)
ax2.set_ylabel('drink')

plt.tight_layout()

plt.show()

add_subplot による折れ線グラフの複数表示
1行2列で、変数名をタイトルとし、y軸のレンジを統一して表示

x = [1, 2, 3, 4, 5] 
food = [23, 21, 42, 32, 23]
drink = [33, 25, 41, 36, 16]

fig = plt.figure()

ax1 = fig.add_subplot(1, 2, 1)
ax1.plot(x, food)
ax1.set_title('food')
ymin, ymax = ax1.get_ylim()  # y軸の最小、最大を取得

ax2 = fig.add_subplot(1, 2, 2)
ax2.plot(x, drink)
ax2.set_title('drink')
ax2.set_ylim(ymin, ymax)  # y軸の最小、最大を設定

plt.show()

２軸でグラフ表示し、変数名を凡例として表示する

x = ['week1', 'week2', 'week3', 'week4', 'week5']  
sales = [293, 221, 240, 145, 223] 
temperature = [33, 28, 30, 24, 28] 

fig = plt.figure()

ax1 = fig.add_subplot(1, 1, 1)
ax1.bar(x, sales, label="sales", color="b", alpha=0.5)

ax2 = ax1.twinx()  # 2軸目のグラフを設定
ax2.plot(temperature, label="temperature", color="r", marker="x")

handler1, label1 = ax1.get_legend_handles_labels()  # ハンドルとラベルを取得
handler2, label2 = ax2.get_legend_handles_labels()  # ハンドルとラベルを取得
plt.legend(handler1+handler2, label1+label2)   # 2つのハンドルとラベルを表示

plt.show()