モチベーション

• GANとかに使える顔画像を集めたい
• せっかくだから、自分の好きな声優や芸能人で学習させたい
• ラクしたい

サマリ

1. ライブラリ（icrawler）で、画像収集します。
   • Google、Bingから画像をガーっと集めます。しかし、関係ない画像（風景や別人）だったり、同じ画像（重複データ）も集まってきます．
2. ライブラリ（MTCNN）で、顔画像を抽出します。
   • 欲しいのは顔画像なので、集めた画像から顔画像をひと通り抽出します。ただし、別人や重複画像の情報は残っています。
3. 顔識別関係の学習済みモデル（Keras VGGFace）を利用し、分類します。
   • 学習済みモデルから得られる特徴量から類似度を利用し、上記の顔画像内でクラスタリング、人ごとのクラス形成を試みます。重複情報もここで削除します。
4. 最後に、自分の手で微調整（ここだけガンバル）

実行結果イメージ

クローリングで、こんな感じに集まってきたデータを、

分類して、まとめていきます。（対象人物でない人や、アニメキャラが分けられます）

一部、誤分類や重複が残るのでパラメータ調整や、手作業で修正します。

機械学習のために、機械学習（深層学習）の成果物を使うという、鶏と卵になってますが、、自分用だから・・・

今回作成したプログラムは、こちらで公開しています。

以下、簡易使用説明です。Readmeにある内容の転記です。

必須ライブラリのインストール

# GPUを利用しない場合は、tensorflow-gpu -> tensorflow に変更
pip3 install -r requirements.txt

クローリング

# 第一引数：出力先ディレクトリ
# それ以降：検索クエリ　この場合、「TrySail」「麻倉もも」「雨宮天」「夏川椎菜」をそれぞれ検索
# オプション： --flatten 最後に画像をひとつのディレクトリにまとめる
#            --src 検索先 google, bing, baidu が使える
#            --max_num 1クエリごとで、ダウンロードする最大数
python3 crawling.py resource TrySail 麻倉もも 雨宮天 夏川椎菜 --flatten --src google bing --max_num 100

顔画像抽出＆分類

# 第一引数：元データ格納ディレクトリ　直下にあるイメージのみ読込む
# 第二引数：作業用ディレクトリ　途中結果、最終結果の格納先
# オプション： -n プロセス数（最低 2）
#             --min_face 検知する顔画像の最小領域の一辺
python3 clustering.py resource/TrySail resource/work -n 4 --min_face 100

---

以下、利用ライブラリのサンプルや説明。

クローリング

icrawlerというライブラリを利用します。Build-inでGoogle、Bing、Baidu向けクローラーが完備されており、使いやすいです。

icrawler: https://github.com/hellock/icrawler

Google用クローラーのサンプルを以下に示します。ちなみに、1,000件超のダウンロードになる場合はライブラリ内部で止めているようです。

import pathlib
from datetime import datetime
from icrawler.builtin import GoogleImageCrawler

def example_google():
    keyword = 'TrySail'
    pathlib.Path('output/trysail').mkdir(parents=True, exist_ok=True)

    crawler = GoogleImageCrawler(
        feeder_threads=1, parser_threads=1,
        downloader_threads=2, storage={'root_dir': 'output/trysail'})
    filter_ = {
        'size': 'large',
        'date': ((2015, 5, 13), (datetime.today().year, datetime.today().month, datetime.today().day)),
    }
    crawler.crawl(keyword=keyword, max_num=500, offset=0, file_idx_offset=0,
                  min_size=(250, 250), max_size=None, filters=filter_)

• keywordが検索クエリになります。
• 個人的に、迷惑をあまりかけないように・・という意味で、downloader_threadsは低く設定しています。

顔検出

MTCNNというライブラリを利用します。FacenetのMTCNN実装としてTensorFlowで書かれたライブラリです。

MTCNN: https://github.com/ipazc/mtcnn

詳しい使い方は、GitHubにあります。https://github.com/ipazc/mtcnn#usage

MTCNNで顔検出

import cv2
import mtcnn.mtcnn as mtcnn

img = cv2.cvtColor(cv2.imread('path/to/your-image.png'), cv2.COLOR_BGR2RGB)
model = mtcnn.MTCNN(min_face_size=128)
faces = model.detect_faces(img)

• min_face_sizeを利用し、128x128以上の領域のみ顔と判定するように指定しています。
• 返り値は、boxが顔の領域（x, y, 幅, 高さ）、confidenceが顔である確率を示しています。

特徴量抽出

学習済みモデルから対象画像の特徴量を抽出し、コサイン類似度を利用して、イメージの類似度を測ることを試みます。

ライブラリは、Keras VGGFaceを利用します。このライブラリを導入することで、Kerasと同じ使用感で、VGGFaceで学習されたモデルを利用することができます。

Keras VGGFace: https://github.com/rcmalli/keras-vggface

Kerasで学習済みモデルを利用した特徴量抽出の方法は、公式にサンプルがあります。
https://keras.io/ja/applications/

Imagenetで学習済みVGG19を利用してコサイン類似度計算

from keras.preprocessing import image
from keras.applications.vgg19 import VGG19
from keras.applications.vgg19 import preprocess_input

def calc_sim_trained_model(path_a: str, path_b: str, size=(224, 224, 3)):
    model = VGG19(weights='imagenet', include_top=False, input_shape=size, pooling='avg')
    inputs = np.array([image.img_to_array(image.load_img(path, target_size=size[:2])) for path in (path_a, path_b)])
    feats = model.predict(preprocess_input(inputs))
    return np.dot(feats[0] / np.linalg.norm(feats[0]), feats[1] / np.linalg.norm(feats[1]))

• モデル生成時にpoolingを指定し、プーリング層を含めるようにしています。
  プーリング層によって特徴量をベクトルで抽出できるので、コサイン類似度を行いやすくなります。
• keras.preprocessingのimage.load_imgを利用すると、リサイズなど簡単に行えて便利です。
• inputsは、（サンプル数, Width, Height, チャンネル数(色)）の形状になる配列です。
  多数のイメージを対象にし、バッチで高速に処理したい場合は、inputsにサンプル数を追加ことで対応できます。
• 学習済みモデルを利用するので、preprocess_inputによる処理後に、predictを利用します。
• numpyにて、$[-1.0, 1.0]$になるように、正規化しつつ、コサイン類似度を計算します。

Keras VGGFaceの場合は、以下を参考に、model, preprocess_inputを入れ替えます。

from keras_vggface.vggface import VGGFace
from keras_vggface.utils import preprocess_input
model = VGGFace(model='senet50', input_shape=(224, 224, 3), include_top=False, pooling='avg')
...
model.predict(preprocess_input(inputs), version=2)

• 利用可能モデル：https://github.com/rcmalli/keras-vggface#example-usage
• 利用モデルによって、preprocess_inputにversion指定が必要なことに注意。https://github.com/rcmalli/keras-vggface#prediction

おまけ

別途利用できるライブラリのサンプルもついでに。

OpenCV: カスケード型分類器

OpenCVには顔検出に利用できる分類器がデフォルトで用意されています。

Haarカスケード分類器を利用した顔検出のサンプル

import cv2
import pathlib

def face_detect_cascade(path: str, cascade: cv2.CascadeClassifier, **kwargs):
    # https://docs.opencv.org/3.4.1/d7/d8b/tutorial_py_face_detection.html
    img_gs = cv2.imread(path, cv2.IMREAD_GRAYSCALE)
    return cascade.detectMultiScale(img_gs, **kwargs)

# インストール先のdataディレクトリに、デフォルトの分類器が用意されているので、
# 以下のようにパスを指定すればアクセスできます。
cascade = cv2.CascadeClassifier(str(
    pathlib.Path(cv2.__file__).parent / 'data/{}.xml'.format('haarcascade_frontalface_default')
))

face_detect_cascade('path/to/image.png', cascade, scaleFactor=1.1, minNeighbors=10, minSize=(32, 32))

OpenCV: ヒストグラム比較

N階級（下記だと200）のカラーヒストグラムを作成し、その類似度を指定メソッド（HISTCMP_CORRELなど）で計算して求めます。
https://docs.opencv.org/3.4/d6/dc7/group__imgproc__hist.html で利用できるメソッド名が確認できます。

import numpy as np
import cv2

def calc_sim_hist(path_a: str, path_b: str, method='HISTCMP_CORREL'):
    # https://docs.opencv.org/3.4/d6/dc7/group__imgproc__hist.html
    def make_vec(img):
        hists = np.array([cv2.calcHist([img], [ch], None, histSize=[200], ranges=[0, 256]) for ch in range(3)])
        return np.reshape(hists, (hists.shape[0] * hists.shape[1], 1))

    img_a, img_b = cv2.imread(path_a), cv2.imread(path_b)
    hist_a, hist_b = make_vec(img_a), make_vec(img_b)
    return cv2.compareHist(hist_a, hist_b, getattr(cv2, method))

ImageHash

画像の類似度判定に、
ImageHash: https://github.com/JohannesBuchner/imagehash
を利用できます。画像からハッシュ値を算出し、そのハミング距離から類似度を判断します。

import imagehash
from PIL import Image

def calc_sim_imagehash(path_a: str, path_b: str):
    img_a, img_b = Image.open(path_a), Image.open(path_b)
    hash_a, hash_b = imagehash.average_hash(img_a), imagehash.average_hash(img_b)
    return hash_a - hash_b

AtCoder Beginner Contest 141 参戦記

A - Weather Prediction

3分半で突破. ボーッとしてて開始に気づかなく、40秒くらい損している. もったいない. 書くだけ.

S = input()
if S == 'Sunny':
  print('Cloudy')
elif S == 'Cloudy':
  print('Rainy')
else:
  print('Sunny')

B - Tap Dance

3分で突破. 0-indexed と 1-indexed で偶奇がひっくり返ることだけ気にした.

S = input()
if all(c in 'RUD' for c in S[::2]) and all(c in 'LUD' for c in S[1::2]):
  print('Yes')
else:
  print('No')

C - Attack Survival

10分半で突破. 制約を見るに、素直に N - 1 人のスコアを -1 して回ると TLE になるのは明々白々なので、正解者を +1 点する方向性で書いたらあっさり通りました.

N, K, Q = map(int, input().split())
score = [K - Q] * (N + 1)
for _ in range(Q):
  score[int(input())] += 1
for i in range(1, N + 1):
  if score[i] > 0:
    print('Yes')
  else:
    print('No')

D - Powerful Discount Tickets

13分半で突破. ABC137D からそんなに経ってないのにまた優先度付きキューですかーと思いながら実装. Dだから素直にM回一番大きいやつを割るのではなく、まとめ割がいるかなあと思ったけどそんなことはなかった.

from heapq import heapify, heappop, heappush
N, M = map(int, input().split())
a = [-int(a) for a in input().split()]
heapify(a)
for _ in range(M):
  heappush(a, heappop(a) / 2)
print(-sum(int(x) for x in a))

先日あるプロジェクトで、python 3.7を利用したクリーンアーキテクチャの設計を行いました。

その時に得た知見を紹介したいと思います。

基本的に、この記事ではDDDに関しての説明はこの連載を参考していきます。

Domainモデル

ValueObject

参考記事によるとValueObjectでは、次の６つの要素を持つものである、と定義されています。

No	値オブジェクトの特徴	説明
1	計測／定量化／説明	ドメイン内の何かを計測したり定量化したり説明したりする
2	不変性	状態を不変に保つことができる
3	概念的な統一体	関連する属性を不可欠な単位として組み合わせることで、概念的な統一体を形成する
4	交換可能性	計測値や説明が変わったときには、全体を完全に置き換えられる
5	等価性	値が等しいかどうかを、他と比較できる
6	副作用のない振る舞い	協力関係にあるその他の概念に「副作用のない振る舞い」を提供する

python 3.7からはValue Objectを作成する際にdataclassを利用するのが最もシンプルに記載できます。

from dataclasses import dataclass

@dataclass(frozen=True)
class MonetaryValue():
    amount: Decimal
    currency: str

dataclassを利用することで、先程の特性の2. 編成、4. 交換可能性、5. 透過性、6. 副作用のない振る舞いを手に入れることができます。 1. の計測／定量化／説明及び3. の概念的な統一体は設計に依存する箇所であるため、これでValueObjectを記述することができました。

注意事項

1. 個人情報に該当する箇所はreprで出力されないようにマスクする
   
   例えば次のようなクラスがあった場合に、何かの拍子にパスワードがログに書かれて、更に何かの拍子に流出する、という事がないように、ハッシュ化前のパスワード等の重要なものはログに出力されないようにしましょう。

   from dataclasses import dataclass, field
   
   @dataclass(frozen=True)
   class UserPassword():
       name: str
       password: str = field(repr=False)
   
   user = UserPassword(name="foo", password="bar")
   print(user)
   
   >>> UserPassword(name='foo')
   

2. 例えばテナントIDのような、単一の値を持つValueObjectを作成する場合は、継承と委譲と２種類の実装があります。
   
   継承の場合:

   class TenantId(str):
       @classmethod
       def __new__(cls, value):
           # do some validation
           return cls(value)
   

   委譲の場合:

   class TenantId():
       def __init__(self, value):
           super().__init__()
           this.__value = value
   
       # 他に必要なメソッドをvalueからdelegateする(色々)
       def __eq__(self, value):
           ...
   

   委譲のほうが設計としては良いのですが、記述は継承のほうがシンプルです

Entity

Entityも基本的には同じで設計可能ですが、dataclassでは特定のフィールドだけ書き換え不可能、という書き方ができません。
そのため、idの不変性を持つためのEntity classを作成し、それを継承してEntityを作るようにします。

from dataclasses import dataclass, field

@dataclass
class Entity():
    id: str = field(compare=True)

    def __setattr__(self, name, value):
        if (name == 'id' and hasattr(self, name) ):
            raise SystemError()

        super().__setattr__(name, value)


@dataclass
class User(Entity):
    name: str = field(compare=False)


jon = User(id='foo', name='jon')
pochi = User(id='foo', name='pochi')

jon == pochi

>>> True

これにより、idに初期値を代入後再代入することが不可能となるため、idの不変性を得ることができました。

と、楽したいためにここまでdataclassを利用して来ましたが、特にエンティティのValidationがうまくできないため、dataclassを利用しない実装も検討の余地がありそうです。

Dependency Injection

pythonは静的型付け言語ではないため、DIコンテナの利用は必須では無いです。しかし、クラスのインスタンス化の手間を考えると、DIコンテナを利用して依存性の解決を行う方が良いと思います。

Dependency Injectionのおすすめライブラリはinjectorです。シンプルな記述で必要最低限の機能を持つため、簡単にDIコンテナによる依存性注入を実現できます。

from injector import inject, singleton, Injector, Module
from abc import ABC, abstractmethod

class IARepo(ABC):
    @abstractmethod
    def get_user(self):
        raise NotImprementedError('not impremented')

@singleton
class ARepo(IARepo):
    def get_user(self):
        return User(id='aaa', name='bbb')

@singleton
class Usecase():
    @inject
    def __init__(self, repo: IARepo):
        super().__init__()
        self.__repo = repo

    def get_user(self):
        return self.__repo.get_user()

class InjectConfig(Module):
    def configure(self, binder):
        binder.bind(IARepo, to=ARepo, scope=singleton)

inj = Injector(InjectConfig())

usecase = inj.get(Usecase)
usecase.get_user()

DIを利用した単体テスト

また、DIコンテナを利用することで、例えばユースケース等、十分なテストを行いたいモジュールの単体テストも簡単にできるようになります。

from unittest.mock import create_autospec

def test_run():
    repo_mock = create_autospec(IARepo)
    usecase = Usecase(repo=repo_mock)

    user = User(id='baz', name='hoge')
    repo_mock.get_user.return_value = user

    result = usecase.get_user()
    assert result == user

test_run()

正規表現を使った偶数、奇数番目の文字判定

pythonで文字列の奇数番目、偶数番目文字を判定した方法を共有します。

例えば

RDULULDURURLRDULRLR

このような文字列で奇数番目の文字にLが入っていないことを、また偶数番目の文字にRが入っていないことを確認したいです。

そこで今回は正規表現を使いました。

import re

string = input()
pattern = re.compile(r'^([^L][^R])*[^L]?$')
if pattern.match(string):
    print('Yes')
else:
    print('No')

re.compileとしておくと繰り返しそのパターンを探していく場合に高速になります。

上記の正規表現の意味は以下の通りです。

r:文字列の先頭に書いておくとバックスラッシュ等がエスケープされます

^:行の先頭を表す

:0回以上の繰り返し　　　例:ab 合致パターン: a,ab,abb,abbb,...

$:行の末尾

お詫び

半年くらい全く更新がありませんでしたが飽きたわけではなくて
あるイベントのロボット製作が忙しく更新できていませんでした。

VAEとかもほったらかしですし単眼カメラのSLAMとかもやりたいなぁ・・・
・・・
・・・・・・（過労死）

はじめに

先日PythonでD435を動かすラッパーのビルド方法とかとりあえず表示する方法をアップしたので
この記事からの方は上記もご参照いただきたく・・・

「とりあえず表示編」のスクリプトでIR,RGB,Depthの画像を得ることが出来ましたが
実はRGBとDepthの画角がずれているという問題がありますので、その辺を解決したいと思います

環境

windows10
python：3.6.6とか3.6.7とか3.6.8
OpenCV：3.4.2
pyrealsense2:2.19.0
numpy：1.15.1

RGB＋Depthを表示するスクリプト

まずどのくらいずれているのかを見てみたいと思います

いちいち作るのも面倒かと思いますのでRGBとDepthのカラーマップを並べて表示する
スクリプトを下記に示します

import pyrealsense2 as rs
import numpy as np
import cv2

# ストリーム(Color/Depth)の設定
config = rs.config()

config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)

# ストリーミング開始
pipeline = rs.pipeline()
profile = pipeline.start(config)

try:
    while True:
        # フレーム待ち
        frames = pipeline.wait_for_frames()

        #RGB
        RGB_frame = frames.get_color_frame()
        RGB_image = np.asanyarray(RGB_frame.get_data())

        #depyh
        depth_frame = frames.get_depth_frame()
        depth_image = np.asanyarray(depth_frame.get_data())
        depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.08), cv2.COLORMAP_JET)


        # 表示
        images = np.hstack((RGB_image, depth_colormap))
        cv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)
        cv2.imshow('RealSense', images)
        if cv2.waitKey(1) & 0xff == 27:#ESCで終了
            cv2.destroyAllWindows()
            break

finally:
    # ストリーミング停止
    pipeline.stop()

結果

見ての通りDepthの方が明らかに広角で画角が合っていません
このままのDepthを使用してRGB側にマスクをかけるとずれたり
単眼SLAMの学習データに出来ないという問題が・・・

対策

と書きましたが、私が何かを作ったわけでもなく普通にライブラリにコマンドがありますｗ
とりあえず動かしてみましょう

import pyrealsense2 as rs
import numpy as np
import cv2

# ストリーム(Depth/Color)の設定
config = rs.config()
#config.enable_stream(rs.stream.color, 1280, 720, rs.format.bgr8, 30)
#config.enable_stream(rs.stream.depth, 1280, 720, rs.format.z16, 30)
#
config.enable_stream(rs.stream.color, 640, 360, rs.format.bgr8, 30)
#
config.enable_stream(rs.stream.depth, 640, 360, rs.format.z16, 30)

# ストリーミング開始
pipeline = rs.pipeline()
profile = pipeline.start(config)

# Alignオブジェクト生成
align_to = rs.stream.color
align = rs.align(align_to)

try:
    while True:

        # フレーム待ち(Color & Depth)
        frames = pipeline.wait_for_frames()

        aligned_frames = align.process(frames)
        color_frame = aligned_frames.get_color_frame()
        depth_frame = aligned_frames.get_depth_frame()
        if not depth_frame or not color_frame:
            continue

        #imageをnumpy arrayに
        color_image = np.asanyarray(color_frame.get_data())
        depth_image = np.asanyarray(depth_frame.get_data())


        #depth imageをカラーマップに変換
        depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.08), cv2.COLORMAP_JET)

        #画像表示
        color_image_s = cv2.resize(color_image, (640, 360))
        depth_colormap_s = cv2.resize(depth_colormap, (640, 360))
        images = np.hstack((color_image_s, depth_colormap_s))
        cv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)
        cv2.imshow('RealSense', images)

        if cv2.waitKey(1) & 0xff == 27:#ESCで終了
            cv2.destroyAllWindows()
            break

finally:

    #ストリーミング停止
    pipeline.stop()

無事に画角が揃いました！！
おわり・・・解説したいと思います

解説

ストリーミングを開始した後に下記の2行を追記し画角を合わせます

# Alignオブジェクト生成
align_to = rs.stream.color
align = rs.align(align_to)

今まではカメラに格納されていたデータを取りに行っていましたが
alignを行ったので処理後のデータを下記のように取得します

 aligned_frames = align.process(frames)
 color_frame = aligned_frames.get_color_frame()
 depth_frame = aligned_frames.get_depth_frame()

正直「標準でこの状態で出力してくれ」と思いますが何か不都合があるんでしょうか？

兎にも角にも、これでRGB+Dデータを正しく取得できることが出来ました。
次回は深度情報を使った簡単な事例を・・・紹介できるといいなぁ・・・

いつも忘れてしまう、バージョンの確認方法

$ python --version
Python 3.7.4

$ python -V
Python 3.7.4

記事の見てくれとか何も気にせず他の人の書いたコードをもとにして自分なりに書いたのをここに保存。

a = list(map(int,input().split()))
n = a[0]
m = a[1]

print("n=",n,"m=",m)

field=[]
for i in range(n):
field.append(list(input()))
def dfs(x,y):
#print("x=",x,"y=",y)
field[x][y] = '.'
for dx in [-1,0,1]:
for dy in [-1,0,1]:
nx = x + dx
ny = y + dy
#print("nx=",nx,"ny=",ny)
if(0<=nx and nx<n and 0<=ny and ny<m and field[nx][ny] == 'W'):
dfs(nx,ny)
res = 0
for j in range(n):
for k in range(m):
print("j=",j,"k=",k,"field[",j,"][",k,"]=",field[j][k])
if(field[j][k]=='W'):
#print("so dfs starts!!")
dfs(j,k)
res +=1

モチベーション

パッケージ管理ツールというとJavaScriptならnpm,¹ Rustならcage, Rubyならgems, ElixirならHexというのがあります. ではPythonにはとpipというのがあります. それぞれ"管理"という言葉にこめられた意味が違っているのですが, pipの場合は公式にはパッケージ・インストーラとありプロジェクトの作成などは含んでいないようです.

pip is the package installer for Python²

そのほかにも様々なツールがあってブログやら記事やらの日付を見て古いやつだと後で気付いたりして混乱している次第です.³ そもそもの原因は個々のツールの目的を曖昧にしたまま, とりあえず動かせているから理解した気になっていることが原因なのです. 特にpipenvというのが便利そうなんですが他のツールとの使い分け・共存などで混乱したことが大きなきっかけです.

簡単な用語の整理

　Pythonのモジュール・システムを解説するわけではないのでかなり適当ですが何を対象にしているのかが分かるようにモジュールとパッケージについて説明します.

モジュール

　Pythonファイルを定義するとそれはそのままモジュールという単位になる.

greet.py

def sayHello():
   print("Hello, World")

　つまりこのファイルを他のファイルから読み込めるということだ.

sample.py

import greet

一方このファイルをスクリプトとして実行することもできる.

python greet.py

この場合ブートストラップとしてコードを呼び出す場所が必要になる.

sample.py

if __name__ == "__main__":
    sample();

　スクリプトとして実行した場合はmainという文字列が設定されてとしてとトップレベルのモジュールとして実行される. 一方モジュールとして読み込まれた場合はモジュール名が格納されている.⁴

モジュールとパッケージの違い

　公式ドキュメントにはパッケージとモジュールは以下のように定義されている. ⁵

A Python module which can contain submodules or recursively, subpackages. Technically, a package is a Python module with an __path__ attribute.

An object that serves as an organizational unit of Python code. Modules have a namespace containing arbitrary Python objects. Modules are loaded into Python by the process of importing.

　パッケージもモジュールの一つですが, __path__という属性があるようです. 大雑把にいうとPythonファイルを定義すればモジュールで, それが入ったフォルダがパッケージです.

パッケージ管理に関する基本的な問題点

Q. パッケージの取得

　パッケージを取得できないとまずは意味がありません. Batteries-includedと言えど, Pythonをメインストリームに押し上げた科学技術計算用のパッケージとかは欠かせないはずです.

A. pip

すでに説明しましたがパッケージのインストール・ツールです. pip installでパッケージを取得します. パッケージはsite-packagesというフォルダにインストールされます.

Q. 依存性の管理

　pipでパッケージをインストールできました. しかし他のパッケージの機能をインポートして利用するパッケージというのもあります. この他所から機能を提供してくれるパッケージを依存性(依存パッケージ)と言います.依存性は単にパッケージの名前を知っていれば良いというわけではなくて, バージョンに関する情報も必要になります. つまりAという依存パッケージが存在してもバージョン1.0と1.1に互換性が無いという状況が想定されまう. したがってパッケージの名前とバージョンという二つの情報を管理する必要があります. もしこの情報が何らかの形で定義されていないとコードの中から依存性となるパッケージを抽出するという作業が出てきます.

A. setuptools

パッケージの配布とビルドのためのパッケージです. pipを通じてパッケージを配布したいときにこのツールを使ってsetup.pyやsetup.cfgなどを書く必要があります. setuptooslのオプションにinstall_requiresがあってここに必要な依存性を記述することになります. 問題は手動なことです.
　

Q. 開発環境の再現

　もう1つの注意点は開発環境が変わるような場合です. マシンが古くなってきたので新しいのに変えるという時に問題が生じます. 依存性が解決されても環境が再現されないと問題になる場合もあるのです. これも間接的な依存性と言えます.

A. 環境のダンプ

　開発するときはpipでパッケージをインストールしています. pipはインストール済みのパッケージ一覧を表示してくれます. これを保存しておけばとりあえずは同じ環境が再構築できます. 一般にrequirements.textと呼ばれるファイル名が使われます.

# Save dependencies
pip freeze > requirements.txt

# Retrieve dependencies
pip install -r requirements.txt

　install_requiresと形式は同じなのでrequirements.txtをそのまま指定することもできます.

ここまでのまとめ

　パッケージの取得に関してはおおよそpipでオッケーです.

requirements.txtの問題点

　requirements.txtを用いた環境のダンプには二つの問題がありそうです.

• 依存パッケージのバージョンが微妙に違う場合
• 依存性のレベルをコントロールできない

Q. 依存パッケージのバージョンが微妙に違う場合

　全て最新のバージョンにしておけば良いと言えそうですが, 依存パッケージが何百とあってアップデートのたびにその全ての変更に対応しないといけないのは煩雑に過ぎるわけです. バージョンを固定したいわけですが, 新しいプロジェクトでは新しいバージョンを使い始めるなんてこともありそうです. このように管理するプロジェクトが増えていくとrequirements.txtのような依存性の列挙では解決できないケースが出てきます.

A. venv/virtualenv

　仮想環境は仮想Pythonを作ってその中で開発を行います. Python自体はインストールされたインタプリタを使いますが, site-packagesなどが環境ごとに違ってきます. よって依存パッケージのバージョンが違おうが種類が違おうが関係なく開発を行えます.

Q. 依存性のレベルをコントロールできない

　依存性と一口に言っても, 直接依存しているのか依存パッケージがさらに依存しているのかということがrequirements.txtでは区別がつきません. 依存性の解決なのか開発時の環境の再現なのかが分かりにくいのです. これはそのそもpipでインストールしたパッケージをダンプしているだけだからです. 他にもdev-dependenciesのよな開発時にのみ必要なツールなどが分けられません.

A. Pipenv

　Pipenvはpipとvirtualenvを組み合わせたツールです. このツールを使うとpipで導入する依存パッケージをPipfileというtoml形式のファイルで管理できます. 基本的にプロジェクトが直接依存するパッケージだけが記述されます. またdev-dependenciesの管理もできます.

Pipenvの問題点

　Pipenvは便利なツールに見えますが内部はpipです. つまりsetuptoolsを使った依存関係の定義が背後にはあります. このため他の言語のツールとは違いアプリケーション用途では使えても基本的なパッケージ管理はpipの形式で記述する必要があるわけです. これはpipenvの問題点というよりはpip自体の問題点ともなのですが, 開発対象ごとにツールが二重になってしまいます.

またpipenvは仮想環境を使いますが, 今度は複数の環境の切り替えが問題になります. プロジェクト間を移動するたびに環境を切り替える作業を忘れずにできるでしょうか?

更に仮想環境を作る際のpythonインタプリタのインストールは誰もしてくれません. 仮想環境の元になる本体は別途調達する必要があります.

Q. 環境の切り替え & 複数のPythonインタプリタの管理

　プロジェクトごとに環境が設定できて, 指定したPythonがなければインストールしてくれれば助かります.

A. direnv & pyenv

　direnvは環境の切り替えをしてくれます. pyenvは両方してくれます. 言い換えるとプロジェクトごとに環境が設定できるわけです.

結局pipの問題点

　pipは便利ツールでした. それをうまく利用したpipenvでアプリ開発に関する準備が簡素化されたと言えます. ただ他の言語と比べると少し物足りない感じはします.

Q. パッケージ管理はインストールだけじゃない

　pipはパッケージ・インストーラーでした. 実際の多くのことはsetuptoolsが行ってくれたわけです. ただ, あまり便利なツールとは言えません.⁶

　ぶっちゃけcagoとかnpmみたいのが欲しいです.⁷

A. Poetry & Pyenv?

Rustとの比較

用途	Rust	Python
パッケージ管理	Cargo	poetry
ツールチェインの管理	rustup	pyenv?

　rustupの部分的な機能はpyenvで代替できそうな気もします.

まとめ(新しいモチベーション)

Poetryとpyenvをやってみる.

---

1. 正確にはNode.jsですが. npm is the package manager for Node.js. ↩

2. The Python Package Installer ↩

3. 公式にもLegacyの記事があったりして, 後で気付くわけです. ↩

4. greetという文字列になる. ↩

5. Glossary ↩

6. 勉強不足とも言えそうですが・・・ ↩

7. 個人感想が漏れてしまいました
    ↩

モチベーション

パッケージ管理ツールというとJavaScriptならnpm,¹ Rustならcage, Rubyならgems, ElixirならHexというのがあります. ではPythonにはとpipというのがあります. それぞれ"管理"という言葉にこめられた意味が違っているのですが, pipの場合は公式にはパッケージ・インストーラとありプロジェクトの作成などは含んでいないようです.

pip is the package installer for Python²

そのほかにも様々なツールがあってブログやら記事やらの日付を見て古いやつだと後で気付いたりして混乱している次第です.³ そもそもの原因は個々のツールの目的を曖昧にしたまま, とりあえず動かせているから理解した気になっていることが原因なのです. 特にpipenvというのが便利そうなんですが他のツールとの使い分け・共存などで混乱したことが大きなきっかけです.

簡単な用語の整理

　Pythonのモジュール・システムを解説するわけではないのでかなり適当ですが何を対象にしているのかが分かるようにモジュールとパッケージについて説明します.

モジュール

　Pythonファイルを定義するとそれはそのままモジュールという単位になる.

greet.py

def sayHello():
   print("Hello, World")

　つまりこのファイルを他のファイルから読み込めるということだ.

sample.py

import greet

一方このファイルをスクリプトとして実行することもできる.

python greet.py

この場合ブートストラップとしてコードを呼び出す場所が必要になる.

sample.py

if __name__ == "__main__":
    sample();

　スクリプトとして実行した場合はmainという文字列が設定されてとしてとトップレベルのモジュールとして実行される. 一方モジュールとして読み込まれた場合はモジュール名が格納されている.⁴

モジュールとパッケージの違い

　公式ドキュメントにはパッケージとモジュールは以下のように定義されている. ⁵

A Python module which can contain submodules or recursively, subpackages. Technically, a package is a Python module with an __path__ attribute.

An object that serves as an organizational unit of Python code. Modules have a namespace containing arbitrary Python objects. Modules are loaded into Python by the process of importing.

　パッケージもモジュールの一つですが, __path__という属性があるようです. 大雑把にいうとPythonファイルを定義すればモジュールで, それが入ったフォルダがパッケージです.

パッケージ管理に関する基本的な問題点

Q. パッケージの取得

　パッケージを取得できないとまずは意味がありません. Batteries-includedと言えど, Pythonをメインストリームに押し上げた科学技術計算用のパッケージとかは欠かせないはずです.

A. pip

すでに説明しましたがパッケージのインストール・ツールです. pip installでパッケージを取得します. パッケージはsite-packagesというフォルダにインストールされます.

Q. 依存性の管理

　pipでパッケージをインストールできました. しかし他のパッケージの機能をインポートして利用するパッケージというのもあります. この他所から機能を提供してくれるパッケージを依存性(依存パッケージ)と言います.依存性は単にパッケージの名前を知っていれば良いというわけではなくて, バージョンに関する情報も必要になります. つまりAという依存パッケージが存在してもバージョン1.0と1.1に互換性が無いという状況が想定されまう. したがってパッケージの名前とバージョンという二つの情報を管理する必要があります. もしこの情報が何らかの形で定義されていないとコードの中から依存性となるパッケージを抽出するという作業が出てきます.

A. setuptools

パッケージの配布とビルドのためのパッケージです. pipを通じてパッケージを配布したいときにこのツールを使ってsetup.pyやsetup.cfgなどを書く必要があります. setuptooslのオプションにinstall_requiresがあってここに必要な依存性を記述することになります. 問題は手動なことです.
　

Q. 開発環境の再現

　もう1つの注意点は開発環境が変わるような場合です. マシンが古くなってきたので新しいのに変えるという時に問題が生じます. 依存性が解決されても環境が再現されないと問題になる場合もあるのです. これも間接的な依存性と言えます.

A. 環境のダンプ

　開発するときはpipでパッケージをインストールしています. pipはインストール済みのパッケージ一覧を表示してくれます. これを保存しておけばとりあえずは同じ環境が再構築できます. 一般にrequirements.textと呼ばれるファイル名が使われます.

# Save dependencies
pip freeze > requirements.txt

# Retrieve dependencies
pip install -r requirements.txt

　install_requiresと形式は同じなのでrequirements.txtをそのまま指定することもできます.

ここまでのまとめ

　パッケージの取得に関してはおおよそpipでオッケーです.

requirements.txtの問題点

　requirements.txtを用いた環境のダンプには二つの問題がありそうです.

• 依存パッケージのバージョンが微妙に違う場合
• 依存性のレベルをコントロールできない

Q. 依存パッケージのバージョンが微妙に違う場合

　全て最新のバージョンにしておけば良いと言えそうですが, 依存パッケージが何百とあってアップデートのたびにその全ての変更に対応しないといけないのは煩雑に過ぎるわけです. バージョンを固定したいわけですが, 新しいプロジェクトでは新しいバージョンを使い始めるなんてこともありそうです. このように管理するプロジェクトが増えていくとrequirements.txtのような依存性の列挙では解決できないケースが出てきます.

A. venv/virtualenv

　仮想環境は仮想Pythonを作ってその中で開発を行います. Python自体はインストールされたインタプリタを使いますが, site-packagesなどが環境ごとに違ってきます. よって依存パッケージのバージョンが違おうが種類が違おうが関係なく開発を行えます.

Q. 依存性のレベルをコントロールできない

　依存性と一口に言っても, 直接依存しているのか依存パッケージがさらに依存しているのかということがrequirements.txtでは区別がつきません. 依存性の解決なのか開発時の環境の再現なのかが分かりにくいのです. これはそのそもpipでインストールしたパッケージをダンプしているだけだからです. 他にもdev-dependenciesのよな開発時にのみ必要なツールなどが分けられません.

A. Pipenv

　Pipenvはpipとvirtualenvを組み合わせたツールです. このツールを使うとpipで導入する依存パッケージをPipfileというtoml形式のファイルで管理できます. 基本的にプロジェクトが直接依存するパッケージだけが記述されます. またdev-dependenciesの管理もできます.

Pipenvの問題点

　Pipenvは便利なツールに見えますが内部はpipです. つまりsetuptoolsを使った依存関係の定義が背後にはあります. このため他の言語のツールとは違いアプリケーション用途では使えても基本的なパッケージ管理はpipの形式で記述する必要があるわけです. これはpipenvの問題点というよりはpip自体の問題点ともなのですが, 開発対象ごとにツールが二重になってしまいます.

またpipenvは仮想環境を使いますが, 今度は複数の環境の切り替えが問題になります. プロジェクト間を移動するたびに環境を切り替える作業を忘れずにできるでしょうか?

更に仮想環境を作る際のpythonインタプリタのインストールは誰もしてくれません. 仮想環境の元になる本体は別途調達する必要があります.

Q. 環境の切り替え & 複数のPythonインタプリタの管理

　プロジェクトごとに環境が設定できて, 指定したPythonがなければインストールしてくれれば助かります.

A. direnv & pyenv

　direnvは環境の切り替えをしてくれます. pyenvは両方してくれます. 言い換えるとプロジェクトごとに環境が設定できるわけです.

結局pipの問題点

　pipは便利ツールでした. それをうまく利用したpipenvでアプリ開発に関する準備が簡素化されたと言えます. ただ他の言語と比べると少し物足りない感じはします.

Q. パッケージ管理はインストールだけじゃない

　pipはパッケージ・インストーラーでした. 実際の多くのことはsetuptoolsが行ってくれたわけです. ただ, あまり便利なツールとは言えません.⁶

　ぶっちゃけcagoとかnpmみたいのが欲しいです.⁷

A. Poetry & Pyenv?

Rustとの比較

用途	Rust	Python
パッケージ管理	Cargo	Poetry
ツールチェインの管理	rustup	pyenv?

　rustupの部分的な機能はpyenvで代替できそうな気もします.

まとめ(新しいモチベーション)

Poetryとpyenvをやってみる.

---

1. 正確にはNode.jsですが. npm is the package manager for Node.js. ↩

2. The Python Package Installer ↩

3. 公式にもLegacyの記事があったりして, 後で気付くわけです. ↩

4. greetという文字列になる. ↩

5. Glossary ↩

6. 勉強不足とも言えそうですが・・・ ↩

7. 個人感想が漏れてしまいました
    ↩

はじめに

TL;DR

C++向けにCUDAを使ったライブラリを開発している中で、pybind11を使えばpythonからでも比較的簡単に使えることに気が付いたまでは良かったのですが、いざsetup.pyを作ろうとしたら苦労したので、備忘録として記載しております。殆ど自分用のメモなので需要はあまりないと思いますが、もし同じようなことをされる方の参考になれば幸いです。
なお、私は普段はC++メインでpythonは初心者なのでもっと良いやり方があるのかもしれません。

やりたいこと

下記に対応できるsetup.pyを作るのが目標です。

• Windows と Linxu(ubuntu) に対応したい
• nvccのインストールされていない環境ではCPU版がビルドされるようにしたい

ということで、状況に応じて4パターンに対応できれば良いということになります。

参考にしたもの

結局いろいろ見ましたが、下記のソースコードを読むのが一番理解に繋がりました。

• distutils.ccompiler
• distutils.unixccompiler
• distutils.msvccompiler

unixccompiler と msvccompiler は共に ccompiler を継承したクラスで、それぞれunix(gcc)用とwindows(cl.exe)用となっているようです。

また、探した限りこちらの記事や、CuPyのソースコードも参考になりました。
ただし、前者はWindowsに未対応で、後者はやや大掛かりでした。今回は自分の必要な部分だけなるべくシンプルに動くように作成を試みて、PyPIに登録するところまで試すことができました。

事前準備

まず始めに nvcc が動く状態になっていることは前提とします。
また、Pythonは Python3 を前提として、windows環境には64bit版がインストールされているものとします。

Windows においては、msvc (Microsoft Visual C++) の cl.exe の 64bit 版がコマンドラインから使えるようになっている必要があります。

これは例えばコマンドラインから

"C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build\vcvarsall.bat" x64

のように実行することで設定できます(実際のインストール先は環境によって異なると思いますので読み替えてください)。
このとき x64 オプションを忘れないことが重要です。
windowsの場合、pip を使ってインストールする場合であっても、バイナリではなくソースコード(sdist)からのインストールとなる場合は事前設定しておかないといけないので注意が必要です。

setup.py の作成

結果的に私が作成したのは、このソースコードとなります。
hook_compilerメソッドの箇所が今回のメインの箇所となります。
(プロジェクト特有の無関係の処理や、解析過程のprintなどが残っていますがご容赦ください)

方針

基本的に ccompiler クラスのメソッドをオーバーライドしてフックすることで、'.cu' ファイルが来たときのみ処理を切り替えることで対応しました。

pybind11のsetup.pyサンプルがここにあるので、これをC++コードのコンパイルの基本形として対応を行っていきました。

unix と msvc の切り分け

ccompiler クラスの compiler_type メンバ変数を見れば、派生クラスで 'unix' や 'msvc' と設定されるようなのでここで判定が出来ます。

compile処理

次にコンパイル時のフックなのですが、unixccompiler では compileメソッド -> compileメソッド の順で処理されます。compileメソッドでpython用に必要なincludeパスやライブラリパスが追加されて、compileメソッドが呼ばれるので、_compileメソッドをフックするのが簡単なようです。

一方で、msvccompiler では、_compileメソッドは呼ばれず compileメソッド の中で完結しています。
もともと cl 用のオプションが得られても、nvcc の形式に変換するのが逆に大変なので、msvc 時はcompileメソッドをフックして、代替処理を作成することを考えます。

このとき、親クラスである ccompiler の _setup_compile メソッドを活用することで楽が出来ます。 _setup_compile メソッドを呼び出すとその中でpythonに必要な項目を追加して出力先のディレクトリの作成などをしてくれるようです。

あとは、cl.exe 用であれば /D"(マクロ定義)" や /I"(インクルードパス)" のように、nvccやgccであれば -D(マクロ定義) や -I(インクルードパス) のようにの加工を行っていけばよい事になります。
Windowsでは空白のパス名の対策で "(ダブルクォーテーション)で囲う必要があるので注意ください。

link処理

リンクに関しては _linkメソッドのようなものはなく、メタデータの解釈が必要になりそうです。
linkはオリジナルのまま使うことも考えたのですが、nvcc を使う場合、CUDA関連のライブラリ関連の設定を考えるとリンクにも nvcc を使う方が楽そうです。
私の場合は cuBLAS や OpenMP を使っていたのですが、-lcublas オプションを nvcc に、-fopenmp は -Xcompiler オプションを使って、gcc に投げるようにしたことで、それぞれに適切なライブラリをリンクしてもらえました。

link に関しても同様に、親クラスの ccompiler の _fix_lib_args メソッドを使うことで楽が出来るようです。

その他

今回基本的に4パターンに応じたオプションを手動で用意しておくことでいろいろと簡略化しています。

コンパイラクラス自体を複数生成させるわけではないので、先人に習って extra_compile_args に、辞書として両方入れておき、フック先で切り替えています。

また、今回は nvcc を探すのにもいろいろコードを入れていますが、結果的に nvcc 経由で呼び出せば不要な情報もあり、もっと省略できそうにも思います。

おわりに

今後、setuptoolsなどが進化した場合に同じ手法が使えるかどうかわかりませんが、このあたりを活用したい人の参考になれば幸いです。

nvcc自体は unix 用とwindows用で使い方は近いのですが、unixccompiler と msvccompiler とで、意外に共通項が少なく思っていたより苦労しました。

Pygameでゲームを色々作れるらしかったので今回はテトリスを作りました。

プログラム本体

import pygame
from pygame.locals import *
import sys
import random
import copy

# 定数    
MAX_ROW = 20
MAX_COL = 10

class Block:
    def __init__(self, block_type):
        self.shapes = [[], [], # empty block and wall
                  [[0, -1], [0, 0], [0, 1], [0, 2]], # I block
                  [[-1, -1], [0, -1], [0, 0], [0, 1]], # J block
                  [[0, -1], [0, 0], [0, 1], [-1, 1]], # L block
                  [[0, -1], [0, 0], [-1, 0], [-1, 1]], # S blosk
                  [[-1, -1], [-1, 0], [0, 0], [0, 1]], # Z block
                  [[0, -1], [0, 0], [-1, 0], [0, 1]], # T block
                  [[0, 0], [-1, 0], [0, 1], [-1, 1]]] # square

        self.block_type = block_type
        self.shape = copy.deepcopy(self.shapes[block_type])
        self.row = 1 # initial position
        self.col = 5
        self.level = 0
        self.drop_rate = [60, 50, 45, 42, 39, 36, 35, 34, 33, 32, 31, 
                          30, 29, 28, 27, 26, 25, 24, 23, 22, 21, 
                          20, 19, 18, 17, 16, 15, 14, 13, 12, 11, 
                          10,  9,  8,  7,  6,  5,  4,  3,  2,  1, 0]
        self.count = 60
        self.hold_flag = True

    # key command movement
    def move(self, board, direction): # direction down:0 left:1 right:2 bottom:3
        if direction == 0 and self.moveable(board, [1, 0]):
            self.row += 1
        elif direction == 1 and self.moveable(board, [0, -1]):
            self.col -= 1
        elif direction == 2 and self.moveable(board, [0, 1]):
            self.col +=1
        elif direction == 3:
            self.row += self.bottom(board)
            self.count = 60

    def bottom(self, board): #
        direction = [1, 0]
        while self.moveable(board, direction):
            direction[0] += 1
        return direction[0]-1

    def rotate(self, board, direction): # clockwise:0 anticloskwise:1
        # long bar rotates differently
        if self.block_type == 2:
            if direction == 0:
                for dx in self.shape:
                    dx[0], dx[1] = dx[1], 1-dx[0]
            elif direction == 1:
                for dx in self.shape:
                    dx[0], dx[1] = 1-dx[1], dx[0]


        # square doesn`t rotate
        elif self.block_type == 8:
            pass

        # other blocks
        elif direction == 0:
            for dx in self.shape:
                dx[0], dx[1] = dx[1], -dx[0]
        elif direction == 1:
            for dx in self.shape:
                dx[0], dx[1] = -dx[1], dx[0]

        self.rotate_correction(board)

    # moving downward due to time
    def drop(self, screen, board):
        if self.count < self.drop_rate[self.level]:
            self.count += 1
            return 0
        elif self.moveable(board, [1, 0]):
            self.count = 0
            self.row += 1
            return 0
        else:
            return 1 # make new block

    def moveable(self, board, direction):
        drow, dcol = direction

        for dx in self.shape:
            row = self.row + dx[0] + drow
            col = self.col + dx[1] + dcol
            if 0 <= row < MAX_ROW + 3 and 0 <= col < MAX_COL + 2 and board[row][col] != 0:
                return False

        return True

    def rotate_correction(self, board):
        move_priority = [[0, 0], [0, -1], [0, 1], [-1, 0], [1, 0], [2, 0], [-1, 1], [1, 1]]
        for direction in move_priority:
            if self.moveable(board, direction):
                self.row += direction[0]
                self.col += direction[1]
                return

        direction = [0, 2]
        while not self.moveable(board, direction):
            direction[1] += 1
        self.row += direction[0]
        self.col += direction[1]

    def draw(self, screen, block_color, board):
        # prediction when dropped
        drow = self.bottom(board)
        for row, col in self.shape:
            row += self.row + drow
            col += self.col
            if row > 1:
                pygame.draw.rect(screen, block_color[self.block_type], Rect(30+35*col, 30+35*(row-2), 35, 35))
                pygame.draw.rect(screen, block_color[10], Rect(32+35*col, 32+35*(row-2), 31, 31))

        for row, col in self.shape:
            row += self.row
            col += self.col
            if row > 1:
                pygame.draw.rect(screen, (0, 0, 0), Rect(30+35*col, 30+35*(row-2), 35, 35))
                pygame.draw.rect(screen, block_color[self.block_type], Rect(32+35*col, 32+35*(row-2), 31, 31))

    def place(self, screen, board, record):
        for dx in self.shape:
            row = self.row + dx[0]
            col = self.col + dx[1]
            if not (2 <= row < MAX_ROW+2 and 1 <= col < MAX_COL+1): # placed block outside screen
                gameover(screen, record)
                return 1

            board[row][col] = self.block_type
        return 0

class Record:
    def __init__(self):
        self.cleared_row = 0
        self.score = 0
        self.level = 0
        self.score_table = [0, 80, 100, 300, 1200]
        self.level_up = [2, 5, 8, 12, 16, 20, 25, 30, 35, 40, # level 0 to 9
                         46, 52, 58, 64, 70, 77, 84, 91, 98, 105, # level 10 to 19
                         112, 120, 128, 136, 144, 152, 160, 168, 177, 186, # level 20 to 29
                         195, 204, 213, 222, 231, 240, 255, 270, 285, 300, 1000] # 30 to 40

    def update(self, count):
        self.score += self.score_table[count]*(self.level+1)
        self.cleared_row += count

        if self.level < 40 and self.level_up[self.level] <= self.cleared_row: # level 40 is max
            self.level += 1

    def show(self, screen):
        font = pygame.font.Font(None, 50)
        text1 = font.render("LEVEL:", True, (255, 255, 255))
        level = font.render("{}".format(self.level), True, (255, 255, 255))
        screen.blit(text1, [500, 300])
        screen.blit(level, [700, 300])

        text2 = font.render("CLEARED ROW:", True, (255, 255, 255))
        cleared_row = font.render("{}".format(self.cleared_row), True, (255, 255, 255))
        screen.blit(text2, [500, 360])
        screen.blit(cleared_row, [900, 360])

        text3 = font.render("SCORE", True, (255, 255, 255))
        score = font.render("{0:012d}".format(self.score), True, (255, 255, 255))
        screen.blit(text3, [500, 420])
        screen.blit(score, [600, 480])

def start(screen):
    font1 = pygame.font.Font(None, 150)
    title = font1.render("TETRIS", True, (255, 255, 255))
    font2 = pygame.font.Font(None, 50)
    text = font2.render("Press ENTER to start", True, (255, 255, 255))

    screen.blit(title, [100, 100])
    screen.blit(text, [100, 300])

    pygame.draw.rect(screen, (255, 255, 255), Rect(510, 300, 390, 400), 3)
    pygame.draw.rect(screen, (0, 0, 0), Rect(550, 290, 310, 40))

    font1 = pygame.font.Font(None, 80)
    text1 = font1.render("COMMAND", True, (255, 255, 255))
    screen.blit(text1, [550, 275])
    font3 = pygame.font.Font(None, 40)
    text2 = font3.render("Arrow DOWN: Move down", True, (255, 255, 255))
    screen.blit(text2, [540, 350])
    text2 = font3.render("Arrow LEFT: Move left", True, (255, 255, 255))
    screen.blit(text2, [540, 390])
    text2 = font3.render("Arrow RIGHT: Move right", True, (255, 255, 255))
    screen.blit(text2, [540, 430])
    text2 = font3.render("Arrow UP: Move bottom", True, (255, 255, 255))
    screen.blit(text2, [540, 470])
    text2 = font3.render("A:  Rotate anticlockwise", True, (255, 255, 255))
    screen.blit(text2, [540, 510])
    text2 = font3.render("S:  Rotate clockwise", True, (255, 255, 255))
    screen.blit(text2, [540, 550])
    text2 = font3.render("D:  Hold", True, (255, 255, 255))
    screen.blit(text2, [540, 590])
    text2 = font3.render("P:  Pause", True, (255, 255, 255))
    screen.blit(text2, [540, 630])

    pygame.display.update()

    while(1):
        pygame.time.wait(50)
        for event in pygame.event.get():
            if event.type == QUIT:
                pygame.quit()
                sys.exit()

            if event.type == KEYDOWN:
                if event.key == K_ESCAPE:
                    pygame.quit()
                    sys.exit()
                if event.key == K_RETURN:
                    return

# ブロック、次ブロック、ボード、記録の初期化
def initialize_game():
    board = [[0 for i in range(MAX_COL+2)] for j in range(MAX_ROW+3)]
    for col in range(MAX_COL+2):
        board[-1][col] = 1
    for row in range(MAX_ROW+3):
        board[row][0] = 1
        board[row][-1] = 1

    record = Record()

    block_type = random.randint(2, 8)
    block = Block(block_type)
    block.level = record.level
    block_type = random.randint(2, 8)
    next_block = Block(block_type)

    hold_block = None

    return board, record, block, next_block, hold_block

# 入力　ボード
# 出力　消える行数、消える行の番号
def find_deleting_row(board):
    count = 0
    row_numbers = []
    for row in range(2, MAX_ROW+2):
        flag = True
        for col in range(1, MAX_COL+1):
            if board[row][col] == 0:
                flag = False
                break

        # row filled
        if flag:
            count += 1
            row_numbers.append(row)

    return count, row_numbers

# 行削除
# 入力　スクリーン、ボード、消す行番号
# 出力　なし
def delete_row(screen, board, row_number, block_color):
    n_col = 4
    for row in row_number:
        for col in range(1, MAX_COL+1):
            board[row][col] = 0
    for i in range(n_col+MAX_COL):
        for row in row_number:
            for col in reversed(range(1, MAX_COL+1)):
                board[row][col] = board[row][col-1]
            if i < n_col:
                board[row][1] = 9
        pygame.time.wait(8)
        draw_board(screen, board, block_color)
        pygame.display.update()

    for deleting_row in row_number:
        for row in reversed(range(2, deleting_row+1)):
            for col in range(1, MAX_COL+1):
                board[row][col] = board[row-1][col]
# ゲームオーバー処理
def gameover(screen, record):
    screen.fill((0, 0, 0))
    font1 = pygame.font.Font(None, 200)
    gameover_text = font1.render("GAMEOVER", True, (255, 0, 0))
    screen.blit(gameover_text, [100, 100])

    font2 = pygame.font.Font(None, 80)
    result_text = font2.render("RESULT", True, (255, 255, 255))
    screen.blit(result_text, [200, 300])

    font = pygame.font.Font(None, 50)
    text1 = font.render("LEVEL:", True, (255, 255, 255))
    level = font.render("{}".format(record.level), True, (255, 255, 255))
    screen.blit(text1, [250, 370])
    screen.blit(level, [600, 370])

    text2 = font.render("CLEARED ROW:", True, (255, 255, 255))
    cleared_row = font.render("{}".format(record.cleared_row), True, (255, 255, 255))
    screen.blit(text2, [250, 430])
    screen.blit(cleared_row, [600, 430])

    text3 = font.render("SCORE", True, (255, 255, 255))
    score = font2.render("{0:012d}".format(record.score), True, (255, 255, 255))
    screen.blit(text3, [250, 490])
    screen.blit(score, [300, 550])

    restart_text = font.render("Press R to restart", True, (255, 255, 255))
    screen.blit(restart_text, [350, 650])

    pygame.display.update()

    while(1):
        pygame.time.wait(50)
        for event in pygame.event.get():
            if event.type == QUIT:
                pygame.quit()
                sys.exit()
            if event.type == KEYDOWN:
                if event.key == K_ESCAPE:
                    pygame.quit()
                    sys.exit()

                if event.key == K_r:
                    return

def pause(screen, board, block_color):
    pygame.draw.rect(screen, (50, 50, 50), Rect(65, 32, 35*MAX_COL, 35*MAX_ROW))
    font1 = pygame.font.Font(None, 100)
    text1 = font1.render("PAUSE", True, (255, 255, 255))
    font2 = pygame.font.Font(None, 30)
    text2 = font2.render("Press P to resume", True, (255, 255, 255))
    text3 = font2.render("Press Q to start new game", True, (255, 255, 255))
    screen.blit(text1, [120, 200])
    screen.blit(text2, [120, 300])
    screen.blit(text3, [120, 350])
    pygame.display.update()

    while(1):
        pygame.time.wait(50)
        for event in pygame.event.get():
            if event.type == QUIT:
                pygame.quit()
                sys.exit()
            if event.type == KEYDOWN:
                if event.key == K_ESCAPE:
                    pygame.quit()
                    sys.exit()

                if event.key == K_p:
                    draw_board(screen, board, block_color)
                    pygame.display.update()
                    return 0

                # restart
                if event.key == K_r:
                    return 1

def hold(block, next_block, hold_block, record):
    # no block in hold
    if hold_block == None:
        block_type = random.randint(2, 8)
        new_block = Block(block_type)
        block, next_block, hold_block = next_block, new_block, block
        hold_block.hold_flag = False
        block.row = 1
        block.col = 5
        hold_block.shape = hold_block.shapes[hold_block.block_type]

    # first hold
    elif block.hold_flag:
        block, hold_block = hold_block, block
        hold_block.hold_flag = False
        block.row = 1
        block.col = 5
        hold_block.shape = hold_block.shapes[hold_block.block_type]

    block.level = record.level

    return block, next_block, hold_block

def draw_hold(screen, hold_block, block_color):
    pygame.draw.rect(screen, (255, 255, 255), Rect(700, 30, 150, 150))
    pygame.draw.rect(screen, (0, 0, 0), Rect(705, 35, 140, 140))
    pygame.draw.rect(screen, (0, 0, 0), Rect(720, 30, 70, 10))
    font = pygame.font.Font(None, 30)
    text = font.render("HOLD", True, (255, 255, 255))
    screen.blit(text, [730, 20])
    if hold_block != None:
        for dx in hold_block.shape:
            if hold_block.block_type == 2 or hold_block.block_type == 8:
                pygame.draw.rect(screen, (20, 20, 20), Rect(750+25*dx[1], 105+25*dx[0], 25, 25))
                pygame.draw.rect(screen, block_color[hold_block.block_type], Rect(752+25*dx[1], 107+25*dx[0], 21, 21))
            else:
                pygame.draw.rect(screen, (20, 20, 20), Rect(762+25*dx[1], 105+25*dx[0], 25, 25))
                pygame.draw.rect(screen, block_color[hold_block.block_type], Rect(764+25*dx[1], 107+25*dx[0], 21, 21))

def draw_next(screen, block, block_color):
    pygame.draw.rect(screen, (255, 255, 255), Rect(500, 30, 150, 150))
    pygame.draw.rect(screen, (0, 0, 0), Rect(505, 35, 140, 140))
    pygame.draw.rect(screen, (0, 0, 0), Rect(520, 30, 70, 10))
    font = pygame.font.Font(None, 30)
    text = font.render("NEXT", True, (255, 255, 255))
    screen.blit(text, [530, 20])
    for dx in block.shape:
        if block.block_type == 2 or block.block_type == 8:
            pygame.draw.rect(screen, (20, 20, 20), Rect(550+25*dx[1], 105+25*dx[0], 25, 25))
            pygame.draw.rect(screen, block_color[block.block_type], Rect(552+25*dx[1], 107+25*dx[0], 21, 21))
        else:
            pygame.draw.rect(screen, (20, 20, 20), Rect(562+25*dx[1], 105+25*dx[0], 25, 25))
            pygame.draw.rect(screen, block_color[block.block_type], Rect(564+25*dx[1], 107+25*dx[0], 21, 21))

# ゲームボードの描画
# 入力　スクリーン、ゲームボード、ブロックの色
# 出力　なし
def draw_board(screen, board, block_color):
    for row in range(2, MAX_ROW+3):
        for col in range(MAX_COL+2):
            pygame.draw.rect(screen, (0, 0, 0), Rect(30+35*col, 30+35*(row-2), 35, 35))
            if board[row][col] < 2:
                pygame.draw.rect(screen, block_color[board[row][col]], Rect(31+35*col, 31+35*(row-2), 34, 34)) 
            else:
                pygame.draw.rect(screen, block_color[board[row][col]], Rect(32+35*col, 32+35*(row-2), 31, 31))

def main():
    pygame.init()
    screen = pygame.display.set_mode((1000, 800))
    pygame.display.set_caption("Tetris") # title bar

    block_color = [(50, 50, 50), (150, 150, 150), (255, 0, 0), (0, 0, 255), (255, 165, 0),
                   (255, 0, 255), (0, 255, 0), (0, 255, 255), (255, 255, 0), (200, 200, 200), (100, 100, 100)]

    board, record, block, next_block, hold_block = initialize_game()

    start(screen)

    while(1):
        pygame.time.wait(10)

        screen.fill((0, 0, 0)) # fill with black R:0 G:0 B:0

        draw_board(screen, board, block_color)

        # move command
        pressed_key = pygame.key.get_pressed()
        if pressed_key[K_k]:
            block.move(board, 0)
        if pressed_key[K_j]:
            block.move(board, 1)
        if pressed_key[K_l]:
            block.move(board, 2)

        bottom_flag = block.drop(screen, board)
        block.draw(screen, block_color, board)
        record.show(screen)
        draw_next(screen, next_block, block_color)
        draw_hold(screen, hold_block, block_color)
        pygame.display.update()

        if bottom_flag == 1:
            gameover_flag = block.place(screen, board, record)
            if gameover_flag == 1:
                board, record, block, next_block, hold_block = initialize_game()

            else:   
                count, row_numbers = find_deleting_row(board)
                if count > 0:
                    delete_row(screen, board, row_numbers, block_color)
                    record.update(count)

                block_type = random.randint(2, 8)
                while block_type == block.block_type and block_type == next_block.block_type:
                    block_type = random.randint(2, 8)

                block = next_block
                block.level = record.level
                if not block.moveable(board, [0, 0]): # new block unplaceable
                    gameover(screen, record)
                    board, record, block, next_block, hold_block = initialize_game() # if resume was selected

                next_block = Block(block_type)

        for event in pygame.event.get():
            # close button
            if event.type == QUIT:
                pygame.quit()
                sys.exit()
            if event.type == KEYDOWN:
                # escape key pressed
                if event.key == K_ESCAPE:
                    pygame.quit()
                    sys.exit()

                # block rotetion
                if event.key == K_a or event.key == K_SPACE: # anti-clockwise
                    block.rotate(board, 1)                    
                if event.key == K_s: # clockwise
                    block.rotate(board, 0)

                # block movement
                if event.key == K_DOWN:
                    block.move(board, 0)
                if event.key == K_LEFT:
                    block.move(board, 1)
                if event.key == K_RIGHT:
                    block.move(board, 2)

                if event.key == K_UP: # move to bottom
                    block.move(board, 3)

                # pause
                if event.key == K_p:
                    restart_flag = pause(screen, board, block_color) 
                    if restart_flag == 1:
                        board, record, block, next_block, hold_block = initialize_game()

                # hold
                if event.key == K_d or event.key == K_h:
                    block, next_block, hold_block = hold(block, next_block, hold_block, record)

if __name__ == "__main__":
    main()

おわりに

長めのコードになってしまいました。ネットで調べたら１時間ほどでテトリスを実装している動画なんかがあってかてへんってなりました。

経緯

Pythonコードを書いていたときのこと．

数字の8を入力しようとしたら，間違えてF8キーを押してしまった．

そしたら・・・

右上に「静的コード分析」が現れたではないか！！

静的コード解析

C言語の場合，ポインタを扱う以上どんな人でもバッファオーバーフローの危険性をはらんでいるため，自分が作ったプログラムを他人に配布する際には必ず静的コード解析をかけていた．

Polyspace Bug Finder(学生ライセンス)で．

Pythonはインタプリタとして実行するため，構文エラーに対しては例外処理が働くこともあり，静的解析によるバグの削減の重要性はそこまでないと思っているが，この静的解析の嬉しいところは，PEP 8に準拠した記法のアドバイスもしてくれる点である．

エラーや警告については静的解析であれば出さないといけないが，記法についてここまで出してくれるものはそうない．

また，記法について10点満点で点数をつけてくれる．記法を勉強するPython初学者には嬉しい機能だ．

ちなみに，Spyder内で動いている静的解析ツールはPylintを参照のこと．

まとめ

他にもSpyderは嬉しい機能がたくさんある．他に見つけることができたらどんどん報告していきい．

機械学習といえばPython

• Pythonには機械学習に関するライブラリが豊富にそろっていて、初心者でも簡単に使い始められることが理由の１つ

• 使用するパッケージ

  • tensorflow：機械学習に関連するもの

  • Flask：Webアプリ化するためのもの

    pip install tensorflow==1.12.0 keras matplotlib
    pip install Flask flask-cors
    

Jupyter Notebookで機械学習（Google Colaboratoryを使用）

ノートブック場で機械学習を動かして、数字画像を認識させてみる。
ipython.notebookがどうもうまく動作しない。。。
ので、結局CentOS7に jupyter notebookをインストールして検証

処理１

# (1) 学習済みモデルの読み込み
from keras.models import load_model
model = load_model('/content/drive/My Drive/Colab Notebooks/cnn.h5')

# (2) MNISTテスト画像の読み込み
from keras.datasets import mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
test_images = test_images.astype('float32') / 255

# (3) 予測する画像を表示
%matplotlib inline
import matplotlib.pyplot as plt
plt.imshow(test_images[0], cmap='gray_r')

# (4) 機械学習モデルによる予測
import numpy as np
pred = model.predict(test_images[0].reshape(1, 28, 28, 1))
print(pred)
#=> [[6.83331218e-11 9.19927301e-10 5.45313406e-10 3.99958111e-09 1.16873996e-14
#     2.17858523e-10 2.98024704e-16 1.00000000e+00 2.00886807e-10 4.71085215e-09]]
print(np.argmax(pred)) #=> 7

処理２

# (1) Canvasを表示する HTML
html = '''
<canvas width="280" style="border:solid"></canvas>
<script type="text/javascript">
    var pixels = [];
    for (var i = 0; i < 28 * 28; i++) pixels[i] = 0;
    var canvas = document.querySelector("canvas");
    var drawing = false;

    canvas.addEventListener("mousedown", function() {
      drawing = true;
    });

    canvas.addEventListener("mouseup", function() {
      drawing = false;
      IPython.notebook.kernel.execute("image = [" + pixels + "]");  # <<-- Google Colab
ではここがどうしても動かない
    });

    canvas.addEventListener("mousemove", function(e) {
      if (drawing) {
        var x = Math.floor(e.offsetX / 10);
        var y = Math.floor(e.offsetY / 10);
        if (0 <= x && x <= 27 && 0 <= y && y <= 27) {
          canvas.getContext("2d").fillRect(x*10, y*10, 10, 10);
          pixels[x+y*28] = 1;
        }
      }
    });
</script>
'''

# (2) HTMLの実行
from IPython.display import HTML
HTML(html)

処理３

# 機械学習モデルによる予測
img = np.array(image, dtype=np.float32)  <<-- 処理２で書いた文字を認識できない
pred = model.predict(img.reshape(1, 28, 28, 1))
print(np.argmax(pred)) #=> 9

Jupyter Notebook使用できるまで

anaconda3をダウンロード

[root@centos7 ~]# curl https://repo.continuum.io/archive/Anaconda3-4.3.1-Linux-x86_64.sh -O
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  474M  100  474M    0     0  9855k      0  0:00:49  0:00:49 --:--:-- 11.0M

[root@centos7 ~]# bash ./Anaconda3-4.3.1-Linux-x86_64.sh

jupyter notebookの設定

[root@centos7 ~]# mkdir -p /root/.jupyter
[root@centos7 ~]# touch ~/.jupyter/jupyter_notebook_config.py
[root@centos7 ~]# vi ~/.jupyter/jupyter_notebook_config.py

[root@centos7 ~]# cat ~/.jupyter/jupyter_notebook_config.py
c = get_config()

c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = false
c.NotebookApp.port = 8888
c.NotebookApp.password = u'sha1:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'  <--あとで
[root@centos7 ~]#

firewallの設定

[root@centos7 ~]# firewall-cmd --state
Traceback (most recent call last):
  File "/usr/bin/firewall-cmd", line 24, in <module>
    from gi.repository import GObject

[root@centos7 ~]# ll /usr/bin/python
lrwxrwxrwx. 1 root root 16  9月  1 16:11 /usr/bin/python -> /usr/bin/python3

[root@centos7 ~]# ln -nfs /usr/bin/python2 /usr/bin/python
[root@centos7 ~]# ll /usr/bin/python
lrwxrwxrwx. 1 root root 16  9月 15 14:41 /usr/bin/python -> /usr/bin/python2

[root@centos7 ~]# firewall-cmd --state
running

[root@centos7 ~]# firewall-cmd --list-all --zone=public
public (active)
  target: default
  icmp-block-inversion: no
  interfaces: ens999
  sources:
  services: ssh
  ports:
  protocols:
  masquerade: no
  forward-ports:
  source-ports:
  icmp-blocks:
  rich rules:

[root@centos7 ~]# firewall-cmd --add-port=8888/tcp --zone=public --permanent
success
[root@centos7 ~]# firewall-cmd --add-service=http --zone=public --permanent
success
[root@centos7 ~]# firewall-cmd --reload
success
[root@centos7 ~]#
[root@centos7 ~]# firewall-cmd --list-all --zone=public
public (active)
  target: default
  icmp-block-inversion: no
  interfaces: ens999
  sources:
  services: ssh http
  ports: 8888/tcp
  protocols:
  masquerade: no
  forward-ports:
  source-ports:
  icmp-blocks:
  rich rules:

[root@centos7 ~]# ipython
Python 3.6.8 (default, May  2 2019, 20:40:44)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.8.0 -- An enhanced Interactive Python. Type '?' for help.

c = get_config()
In [1]: from notebook.auth import passwd

In [2]: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'

In [4]: exit
[root@centos7 ~]# vi ~/.jupyter/jupyter_notebook_config.py

[root@centos7 ~]# jupyter notebook --allow-root
[E 14:54:57.290 NotebookApp] Exception while loading config file /root/.jupyter/jupyter_notebook_config.py
    Traceback (most recent call last):
      File "/usr/lib/python3.6/site-packages/traitlets/config/application.py", line 562, in _load_config_files
        config = loader.load_config()
      File "/usr/lib/python3.6/site-packages/traitlets/config/loader.py", line 457, in load_config
        self._read_file_as_dict()
      File "/usr/lib/python3.6/site-packages/traitlets/config/loader.py", line 489, in _read_file_as_dict
        py3compat.execfile(conf_filename, namespace)
      File "/usr/lib/python3.6/site-packages/ipython_genutils/py3compat.py", line 198, in execfile
        exec(compiler(f.read(), fname, 'exec'), glob, loc)
      File "/root/.jupyter/jupyter_notebook_config.py", line 4, in <module>
        c.NotebookApp.open_browser = false
    NameError: name 'false' is not defined
[I 14:54:57.498 NotebookApp] Serving notebooks from local directory: /root
[I 14:54:57.498 NotebookApp] The Jupyter Notebook is running at:
[I 14:54:57.499 NotebookApp] http://localhost:8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
[I 14:54:57.499 NotebookApp]  or http://127.0.0.1:8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
[I 14:54:57.499 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:54:57.553 NotebookApp] No web browser found: could not locate runnable browser.
[C 14:54:57.553 NotebookApp]

    To access the notebook, open this file in a browser:
        file:///root/.local/share/jupyter/runtime/nbserver-21530-open.html
    Or copy and paste one of these URLs:
        http://localhost:8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
     or http://127.0.0.1:8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

はじめに

筆者は、仕事の都合もあって独学でPythonを勉強してきた。
自分の復習も兼ねつつ、「Pythonくらい使えるようになりたいんだよね」みたいな同僚もチラホラいるので、布教活動しやすくするために入門書替わりの記事を書いてみる。

タイトルに【コラム】とついているセクションは、動作や書式に直接の関係はありません。
なので、ちゃっちゃと動かしてみたい人は読み飛ばしても問題ありません。
もちろん、せっかく書いたので読んでもらえたほうが嬉しいです。

対象

• Pythonの初歩中の初歩を学習したい人

執筆時の環境

• OS: Windows10
• Python: 3.7.3
• エディタ：VSCode

本文中の用語

用語	概略
ターミナル	コマンドでコンピュータに命令を出すインターフェース Windowsだと"コマンドプロンプト"や"PowerShell"が標準
Pythonインタプリタ	Pythonのソースコードの解釈と実行を行うアプリケーション 詳しくはコラムを参照
ソースファイル	アプリケーションの元となる、プログラム言語の決まった書式で書かれたファイル
パス	ファイルやディレクトリ(フォルダ)のコンピュータ上の場所を表す文字列
テキストエディタ	テキストファイルを編集するアプリケーション

Pythonを導入する

そもそもPythonの環境すら持ってない人は、まずインストールとセットアップをする。
拙著だが、筆者が書いた記事もあるので、参考にセットアップする。

Pythonを実行する

対話モードで実行

対話モードは、ユーザがターミナルにて直接命令を入力し、その応答をユーザが確認しながら処理を進めていくモード。

Pythonをインストールしたときに、Add Python3.x to PATH(xはバージョン番号)にチェックしていればパスが通っているはずなので、Windowsキー+rで"ファイル名を指定して実行"を開いて、pythonと入力してEnterで起動する。

もし、起動しなかったらパスの設定が誤っている可能性がある。手で修正するか、よくわからないようであれば、一度アンインストールしてAdd Python3.x to PATHのチェックを入れて再インストールするといい。(今後ゴリゴリと使っていくようなら、PATHの設定くらいは覚えておいたほうがいいかも…) また、ターミナルからpythonと実行しても起動できる。
この方法の場合は、別ウィンドウは立ち上がらず、ターミナルの画面がそのままPythonインタプリタへのインターフェースになる。

簡易的な実行ではあるが、日常業務でちょっと計算するときに"高機能な電卓として"使えて便利だったり、"ソースコードを書いていて書式や仕様をど忘れしたときに、実際に入力して確認してみる"という使い方ができるので、割と重宝する。

ソースファイルから実行

命令をソースコードとして記述したファイルを用意して、ファイルの内容を一括で実行するモード。
プログラミング自体の実務としてはこのモードでの使用がメイン。

Pythonのソースファイルは.pyの拡張子で表され、デフォルトではPythonインタプリタに紐づいているので、ファイルのダブルクリックでも起動する。 ただし、ダブルクリックで起動すると、ソース内に明示的に停止処理を書いていない限り、スクリプトの実行が終わると画面ごと終了するので、軽い処理だと画面表示が確認できない。(よく見ると、一瞬だけウィンドウが立ち上がっているのが見えるはず）

そのため、次のようにターミナルから起動することで、Pythonインタプリタが終了しても画面は終了しないようにして実行することが多い。

.pyファイルの実行アプリを変更している(エディタに紐づけてるなど)場合は、python ファイル名.pyとして実行する。

【コラム】インタプリタ型言語

読む

Pythonは"インタプリタ"型言語といわれる部類の言語で、"インタプリタ"とは

インタプリタとは、人間に分かりやすい高水準プログラミング言語（高級言語）で書かれたコンピュータプログラムを、コンピュータが解釈・実行できる形式に変換しながら同時に少しずつ実行していくソフトウェア。英語の原義は「通訳者」

出典：インタプリタとは - IT用語辞典 e-Words

とされている。

対義語？としては"コンパイラ"があり、どちらもプログラムを解釈するのは同じだが、"コンパイラ"は実行を伴わない。

"インタプリタ"は解釈と同時に実行されるため、プログラムが未完成だったりエラーがあっても途中までの実行結果が確認できる反面、冗長なコードも解釈した時点で実行されるために実行速度が遅い。

"コンパイラ"は実行を伴わないおかげで、全体を解釈した内容を"処理速度優先"や"省メモリ優先"などの目的に合わせて最適化したうえで実行できる反面、未完成やエラーがある状態のプログラムは途中まででも実行結果が確認できない。

このように、"インタプリタ"と"コンパイラ"はメリットとデメリットが相反関係にあり、「どちらが優れている」ということでもない。
作りたいアプリケーションの特性に合わせて、開発言語を選べるようになるのが一番いい。

動かしながら書き方を覚えよう

ソースファイルを作る

まずは、Pythonのソースファイルを作ろう。
といっても、ただのテキストファイルなので、ソースファイルを置きたいところで右クリック -> 新規作成 -> テキストドキュメント -> 任意のファイル名.pyで作るだけ。

ただ、ファイル拡張子の表示がOFFになっていると、拡張子を.pyにできないので、ファイルエクスプローラー上で表示 -> ファイル名拡張子のチェックを入れる。

もちろん、各種エディタの新規作成やコマンドラインから作ってもいい。

なお、ソースファイル自体や保存先のパスに日本語を含んでいるとトラブることもあるので、ソースファイルへのパスに日本語を含まないように作るのが無難。

文字コードを設定する

これは少し面倒なのだが、プログラム上で日本語を使う場合、そのソースファイルが書かれている文字コードを意識しないといけない。
英語が堪能でない限り、コメントなどに日本語を使うことは避けられないと思うので、覚えておく必要がある。

確認と設定方法

文字コードによってコンピュータ側の認識が異なる(詳しくはコラム参照)ので、Pythonインタプリタに対しても「このファイルの文字コードは○○ですよ」と教えてあげないと、ソースファイルを正しく解読できずにエラーになってしまう。

ファイルの文字コードは、テキストエディタで開くと確認できる。
Windows標準でついてくるメモ帳ですら右下に表示される。

もちろん、プログラミング向けのリッチなエディタでも確認可能で、筆者がメインで使っている"VSCode"では右下に表示されている。

ちなみに、一応他のインストールしているエディタも見てみたがどれも表示箇所は右下だった。

確認して表示された文字コードが意図していない設定だったら、エディタで文字コードを変換しておく。なんの文字コードがいいのかわからない場合は、とりあえずutf-8にするのをオススメする。

参考までに、VSCodeでは次のように右下の文字コードをクリック -> エンコード付きで保存 -> "utf"と入力 -> utf-8を選択 -> 上書き保存で変更できる。

次にPythonへの設定方法だが、ソースファイルの先頭行に次のように記述する。

.py

# coding: 文字コード

又は、

.py

# -*- coding: 文字コード -*-

2つ目の書き方は、公式ドキュメントに準拠した形だが、-*-はなくても問題ない。

先頭行にシバン(起動バージョン自動判定用のコメント)を書いている場合は2行目に書く。

.py

#!/usr/bin/env python3
# coding: 文字コード

又は、

.py

#!/usr/bin/env python3
# -*- coding: 文字コード -*-

文字コードの部分にファイルの文字コードを記述する。

基本的にはutf-8を指定して、エディタ側でファイルの文字コードをutf-8にしてしまうのがいいと思うが、Windows標準(コラムの通り、Windowsもutf-8に移行してきているので標準というかは微妙だが)を使いたければcp932と指定する。

一応、デフォルトはutf-8で認識されるので、ソースファイルをutf-8で書くなら省略しても問題はないが、"エディタの設定で別のコードとして開いてしまい、手動で正規のコードで開きなおす"際に、人が視認できるというメリットもあるので、utf-8でも書く癖をつけておいたほうがいい。

【コラム】文字コードとは？

読む

コンピュータ上では、さまざまな文字は対応表に基づく数値として解釈されていて、A to Zのアルファベット(小文字も)や数字と一部の符号に関しては普遍的な対応表(Asciiコード)があるのだが、日本語のようなアルファベットの組み合わせで表現できない言語は別途文字と数値の対応表が整備されている。

この対応表にあたるのが文字コードで、Asciiコードに含まれない文字は割り当てが異なる複数の対応表が存在している。
Windowsはcp932という文字コードが標準だったが、最近はutf-8という文字コードが世界標準になりつつあって(もうなっているといってもいいのか？)、これは日本語含む様々な文字に対応しているため、Windows系も徐々に移行が進んでいる¹が、過去互換性などの都合か完全移行はできていない。

ターミナルへの出力

ここまでの準備が終わったら、ようやくソースコードを書いて動かしてみる。
とりあえず、ターミナルに任意の表示ができないと始まらないので、ターミナルへの出力方法を覚えよう。

文字列を出力してみよう

ターミナルへ文字列を出力するには、

書式

print(出力したい文字列)

と記述する。
Pythonでは"または'で囲った範囲を文字列と認識する。
文字列についての詳細は別記事にまとめたので気になる人はどうぞ。

例題

実行したら、画面にこんにちはを表示するソースコードを作ってみよう。

実行画面

> python .\hellow.py
こんにちは

回答例

hellow.py

print("こんにちは")

次の例はVSCodeでの操作例だが、参考にして自分の環境でも試してみるといいかも。

数値を出力してみよう

ターミナルへ数値を出力するには、

書式

print(出力したい数値)

と記述する。
文字列の出力の出力したい文字列を出力したい数値に変えるだけでいい。

数値についても詳細は別記事にまとめたので気になる人はどうぞ。

例題

実行したら、画面に10と1.25を表示するソースコードを作ってみよう。

実行画面

> python .\numbers.py
10
1.25

回答例

numbers.py

print(10)
print(1.25)

print関数は他にもオプションや機能があるが、それらは追々紹介する(たぶん)。

次回

今回はプログラム自体よりも、Pythonの実行方法やソースファイルの作り方がメインになったが、次回以降は徐々にプログラム書いてみるセクションが増えるはず。

動かしながら学ぶPython入門~その２：変数操作と画面入力~に続く…

---

1. 「メモ帳」に多数の改善、BOMなしUTF-8がデフォルト保存形式に ～「Windows 10 19H1」 ↩