pythonで文字列を書く時はいつも%書式を使ってたのですが、python3.6からはf-stringという新しい表記があります。

f-stringについてこの記事を参考に https://qiita.com/shirakiya/items/2767b30fd4f9c05d930b

で、二ヶ月前にこの記事を書いた時にhttps://qiita.com/phyblas/items/9a087ad1f73aca5dcbe5
@shiracamusさんに指示してもらったのはきっかけで、f-stringを興味を持ち始めたのですが、今でも時々python2.7を使う必要がまだあるので、互換性のことを考慮するとやはり今はまだf-stringに乗り換える時ではないと思ってました。

しかし、先日この記事を見つけました。https://qiita.com/Nakamurus/items/9171a37014d9b25eece0
記事ではf-stringが高速だと説明したのです。

とても早ければ乗り換えるメリットがあるし、いいかもしれないと思ったので、結局自分も実験してみたのです。

今回は3つの方法の速度を測って比べることにしました。

• %書式
• format
• f-string

色々試してみたのですが、結果は意外でした。ここでその結果を発表します。

%書式からf-stringに乗り換えるべきかどうか迷っている人に参考になれたらと思います

比較対象

データの種類によって結果は随分違います。

今回で実験してみたのは

• 文字列をそのまま出力する（%s、{}）
• intを文字列に変換する（%d、{}）
• intを指定の桁数で0埋めて文字列に変換する（%010d、{:010}）
• floatを指数形式で小数部の桁数を指定しずに文字列に変換する（%e、{:e}）
• floatを指数形式で指定の小数部の桁数で文字列に変換する（%.10e、{:.10e}）
• floatをfで小数部の桁数を指定しずに文字列に変換する（%f、{:f}）
• floatをfで指定の小数部の桁数で文字列に変換する（%.10f、{:.10f}）
• floatを形式を指定しずに文字列に変換する（%s、{}）
• Noneを文字列に変換する（%s、{}）
• listを文字列に変換する（%s、{}）

小数（float）の場合は色々違う形で変換できるのです。

コード

3つの方法で10つの場合毎に五回実行して平均値と標準偏差を求めて棒グラフを書いてみす。

import time
import numpy as np
import matplotlib.pyplot as plt

tt =[]
n = 100000



t = [[],[],[]]
for j in range(5):
    a = 'あい'
    b = 'まい'

    t0 = time.time()
    for i in range(n):
        '%s%s'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{}{}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a}{b}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 10
    b = 200

    t0 = time.time()
    for i in range(n):
        '%d%d'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{}{}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a}{b}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 10
    b = 200

    t0 = time.time()
    for i in range(n):
        '%010d%010d'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{:010}{:010}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a:010}{b:010}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 1.522555
    b = 3.125

    t0 = time.time()
    for i in range(n):
        '%e%e'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{:e}{:e}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a:e}{b:e}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 1.522555
    b = 3.125

    t0 = time.time()
    for i in range(n):
        '%.10e%.10e'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{:.10e}{:.10e}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a:.10e}{b:.10e}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 1.522555
    b = 3.125

    t0 = time.time()
    for i in range(n):
        '%f%f'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{:f}{:f}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a:f}{b:f}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 1.522555
    b = 3.125

    t0 = time.time()
    for i in range(n):
        '%.10f%.10f'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{:.10f}{:.10f}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a:.10f}{b:.10f}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = 1.522555
    b = 3.125

    t0 = time.time()
    for i in range(n):
        '%s%s'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{}{}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a}{b}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = None
    b = None

    t0 = time.time()
    for i in range(n):
        '%s%s'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{}{}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a}{b}'
    t[2].append(time.time()-t0)

tt.append(t)



t = [[],[],[]]
for j in range(5):
    a = list(range(1,6))
    b = list(range(11,16))

    t0 = time.time()
    for i in range(n):
        '%s%s'%(a, b)
    t[0].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        '{}{}'.format(a, b)
    t[1].append(time.time()-t0)

    t0 = time.time()
    for i in range(n):
        f'{a}{b}'
    t[2].append(time.time()-t0)

tt.append(t)



tt = np.array(tt)/n*1000000
plt.figure(figsize=[7,6])

plt.subplot(211)
for i,c in enumerate(['#ffaaaa','#aaffaa','#aaaaff']):
    plt.bar(np.arange(10)+(i-1)/4.,tt[:,i].mean(1),width=0.25,yerr=tt[:,i].std(1),capsize=5,color=c,ecolor='#332211')

plt.legend(['%書式','format','f-string'],prop={'family':'AppleGothic'})
plt.ylabel('時間($\mu s$)',family='AppleGothic')
plt.xticks([])


plt.subplot(212)
for i,c in enumerate(['#ffaaaa','#aaffaa','#aaaaff']):
    plt.bar(np.arange(10)+(i-1)/4.,(tt[:,i]/tt[:,0]).mean(1),width=0.25,yerr=(tt[:,i]/tt[:,0]).std(1),capsize=5,color=c,ecolor='#332211')

plt.ylabel('書式の倍數',family='AppleGothic')
plt.xticks(np.arange(10),['s','d','010d','e','.10e','f','.10f','f>>s','None','list'])

plt.tight_layout()
plt.show()

結果

結果は以上です。上図はマイクロ秒単位の一回毎の過ごす時間で、下図は%書式の場合と比べる倍数です。

ちなみに、macでpython 3.7.1で実行したのですが、環境によって違う可能性があるかもしれません。

まとめ

結果から見ると、殆どの場合は%書式の方が早いです。

直接文字列をそのまま出力する場合ははf-stringの方が早いですが、それ以外は勝つことがありません。

formatについてですが、この記事を読んだことがあります。https://qiita.com/amedama/items/8635aff8729a248bad16

記事によると、formatの方が推奨さられていたようですが、結果から見ると、どんな場合でも%書式より遅いようですし書く時も一番冗長だから、そもそもformatを使う理由はあるのでしょうか？と不思議に思っています。

文字列をそのまま出力する時はf-stringはとても高速ですし、短く書けるから便利です。

整数やリストを形式を指定しないで文字列に変換する場合もあまり変わらないようです。

ただ、形式指定で整数と小数を変換することはf-stringは向いていないようです。どんな場合でもformatよりも遅いです。

書き方もこの場合では%書式と同じくらいの長さになります。

というわけで、速度のことにこだわるのなら使い分けしたらいいかもしれません。

とは言っても、速度の違いはそんなに大きいっていうわけではないから、好きなように選ぶといいと思います。

Pythonとは？

Pythonとはプログラミング言語の1つです。
分かりやすい文法が特徴で、最近では、AI（人工知能）と呼ばれる分野でPythonが利用されることで注目を浴びています。

なぜPythonなのか？

Pythonはライブラリと呼ばれるモジュール群が豊富に準備されています。
モジュールとは一連の関連した関数を埋め込んだPythonプログラムのことです。
ライブラリを使うことで、身の丈以上の機能を実装することが可能になります。

Anacondaとは？

私はPythonプログラミングの開発環境として「Anaconda」（アナコンダ）をインストールしています。
AnacondaはPython本体だけでなく、NumPy等の定番ライブラリや便利なツールをパッケージとして配布している便利なディストリビューションです。

Anacondaのインストール

AnacondaのWebサイトからDownloadをクリック。

Pythonには2系と3系がありますが、2系と3系は互換性がありません。
はじめてプログラミングを学ぶ初心者の人は、最新版のPython3系を選んでおくと無難だといわれていますので、Python3系をインストールしたいと思います。

私はWindows環境なので、WindowsのPython3系をDownloadします。

ダウンロードしたインストーラ（Anaconda3-2019.03-Windows-x86_64.exe）をクリックし、インストールを開始します。

インスールパスに日本語が含まれているとモジュールによっては不具合が起きる恐れもあると聞いたことがあるので、インストールフォルダはC:\Anaconda3にしましたが、それ以外は全てデフォルト設定でインストール。

後はインストールが完了するのをお待ち下さい。

インストールの確認

インストールが完了すると、スタートメニューにAnaconda3のフォルダが登録されますので、
Anaconda Pronptを選択します。
Anaconda Pronptのウィンドウが開いたら、python --versionでPythonのバージョンを確認してみましょう。
Pythonのバージョンが表示されたら、インストールが無事に完了しています。

$ python --version
Python 3.7.3

Pythonインタプリタに入力する

次に、Pythonインタプリタでコードを入力してみます。
Anaconda Pronptにpythonと入力するとpythonインタプリタが起動します。
（左側が「>>>」に変わります。）

$ python
Python 3.7.3 (default, Mar 27 2019, 17:13:21) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

「>>>」の後ろにprint("Hello World!")と入力します。

>>> print("Hello World!")
Hello World!
>>>

今、入力したのは、print関数です。
print関数はプログラミング言語を習得する際に最初に覚える関数の一つですので、覚えておきましょう。

print("出力したい文字列")

Pythonインタプリタの終了

Pythonインタプリタを終了させるときは、exit()+[Enter]を入力します。

>>> exit()

以上、Anacondaのインストールでした。

どもども、今日髪を切りに行ったら切られすぎてしまったとある学生です。
というわけで、2問目書いていきます。
まぁまぁ今回も簡単ですかね。

Problem_2.py

#フィボナッチ数列の項は前の2つの項の和である. 
#最初の2項を 1, 2 とすれば, 最初#の10項は以下の通りである.
#1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ...
#数列の項の値が400万以下の, 偶数値の項の総和を求めよ.
a=0
b=1
c=a+b
d=0
MAX=4000000
while c<=MAX:
    c=(a+b)
    a=b
    b=c
    if c>MAX:
        break
    elif c % 2 ==0:
        d+=c
print(d)

解　4613732
はい、私はこう書きました。

解き方の解説をしていきます。

グローバル関数のa,bが数列の最初の数ですね。cがそれらを足したやつ。
dは、数値を入れておくための箱です。
後は、whileでa,bを足し続け、2で割って余りが0だったら、dに足していき、最後にcが4百万になったら止めるって感じです。

こんな感じですかね？もしわからないやアドバイス等あればコメントしていただければと思います（答えるとは言っていない）
というわけで気が向いたら次のも見てってください。よろしくお願いします。

anaconda (Jupyter Notebook)
https://www.anaconda.com/distribution/#download-section

visualstudio code
https://code.visualstudio.com/

pycharm free for student
https://www.jetbrains.com/pycharm/

はじめに

PythonでPDFを扱う方法を目的別にまとめます。
シンプルなファイル読み書き、画像への変換やパスワードロック解除等について記載します。

PDFファイル読み書き

基本的な読み書きについてはPyPDF2というライブラリを使う事で実装可能です。

pip install PyPDF2

以下は、複数のPDFファイルをひとつのPDFに結合する関数の参考例です。

def integratePdf(fileList):
    merger = PyPDF2.PdfFileMerger()
    for file in fileList:
        merger.append(file)
    OUTPUT_DIR = os.path.dirname(fileList[0])
    merger.write(OUTPUT_DIR + '/output.pdf')
    merger.close()

mergerでPyPDF2のPdfFileMergerクラスのインスタンスを生成し、そこにPDFファイルのパスを渡しています。
merger.write()関数により結合後のPDFファイルを出力します。
もし特定のページを追加したいのであれば以下のとおり書けば良いです。

merger.append(file, pages=(0,2))

この場合、1ページ目から3ページ目までを、mergerに追加しています。

PDF同士の結合のパターンを紹介しましたが、シンプルなRead&Writeにも対応しています。
しかしながら、PDFをPDFのまま扱う場合の処理というのは、結合・分割にほぼ限られるのかな、と思います。

画像への変換

pdf2imageというライブラリで非常にシンプルに書けます。
※pillowとpopplerというライブラリに依存

pip install pdf2image
pip install pillow
pip install poppler

これでインストールして

from pdf2image import convert_from_path

でライブラリをインポートし

imgs = convert_from_path(pdf_filepath)
for img in imgs:
    img.save('output.png','png')

例えばこんな感じで、pngファイルとして保存する事ができます。非常にかんたん。

パスワードロックの解除

pikepdfというライブラリを使います。
GitHub/pikepdf

pip install pikepdf

from pikepdf import Pdf

でPdfクラスをインポート

以下は「（パスワードの文字列）.pdf」を読み込んで、パスワードロックを解除した別ファイル「decrypted.pdf」として保存する関数の参考例です。

def unlockPdf(filepath):
    PSWD = os.path.basename(filepath)[0:-4]
    pdffile = Pdf.open(filepath, password=PSWD)
    newPdf = Pdf.new()
    newPdf.pages.extend(pdffile.pages)
    OUTPUT_DIR = os.path.dirname(filepath)
    newPdf.save(OUTPUT_DIR + '/decrypted.pdf')

パスワードは既知である必要があります（パスワードのわからないPDFファイルのロックを解除するものではない）。

pdffile = Pdf.open(filepath, password=PSWD)

この行で、パスワードが必要なPDFを、そのパスワードを用いて読み込んでいます。
そして以下の行で新たなPDFファイルとして出力しています。
とてもシンプルに書けますね。

ちなみに、Windows32bit環境で動作する実行ファイルを作ってあります。
GitHub - Kanahiro/PdfUnlocker

終わりに

以上、実装したい処理別にライブラリを紹介しました。
他には、PDFファイルからのデータマイニング（OCR機能を用いてPDFファイルからテキストデータへの変換）なんかも需要があるようです。
今後紹介できればと考えています。
さて本記事は結局、PDFを○○したいときにはどのライブラリを使うべきか、という記事になっております。
先人が、「こういう機能があれば便利」と思って書いてくれたライブラリ、活用しない手はありません。
でもいつかはそういったライブラリを提供する側に回りたいなと思うこの頃です。

動機

.envにAWSのCredentialsを記述してs3からファイルをダウンロードしたい。

前提

pipenvをつかってpython環境を構築する。

手順

準備

.envを作成してアクセストークンなどを入力する。

AWS_ACCESS_KEY_ID=xxx
AWS_SECRET_ACCESS_KEY=yyy

読み込み

.envを作成したら仮想環境を作成、立ち上げる。

$ pipenv install boto3
$ pipenv shell

仮想環境を立ち上げると.envを自動で読み込み環境変数に設定できる。
スクリプト中ではosモジュールから環境変数にアクセスする。

# REPLを立ち上げ
>>> import os
>>> os.environ['AWS_ACCESS_KEY_ID']
'xxx'

ファイルダウンロード

client = boto3.client(
    's3',
    aws_access_key_id=os.environ['AWS_ACCESS_KEY_ID'],
    aws_secret_access_key=os.environ['AWS_SECRET_ACCESS_KEY']
)

client.download_file(AWS_S3_BUCKET_NAME, s3_key, file_path)

管理

.envはgitで管理せずに.gitignoreに追加する。
かわりに値を空白にした.env.sampleをgitで管理しておく。

エアコン操作を自動化して室温を一定に

上限温度に達すればオン
下限ならオフ
これをひたすら繰り返します笑

対象

ターミナル接続でLinuxを触ったことのある人向け。

用意するもの

ラズパイzero: 電源まで付いたスターターキットがオススメ。
リモコンアドバンス：パワフルで操作簡単なリモコンモジュール。
BME280：温度湿度気圧センサー。要ハンダ付け。
ブレッドボードケーブル（メス－メス）２０ｃｍぐらい。
USBケーブル：リモコンアドバンス(miniB) - ラズパイzero(microB)

ラズパイのセットアップに必要なもの

電源
microSD
おすすめキーボード・マウス（あったほうが楽）
HDMIケーブル

ラズパイzeroの注意点

ラズパイzeroは小ささや消費電力の点で魅力的なのですが反面USBやHDMIの規格が小さくなってます。
黄丸にはブレッドボードケーブルでBME280をつなぎます。
赤の左からミニHDMI、USB-microB、USB-microB
赤真ん中にリモコンアドバンス、赤右に電源をつなぎます。

ラズパイzeroをセットアップして下さい。

OSインストール
パスワードの変更
wifi設定
SSH Enable
I2C Enable
起動時にCUIで立ち上げる設定
できればipアドレスの固定化

までできれば大丈夫です。
先人の偉い方々の記事がたくさんありますので参考にして下さい。
この後はリモートで作業しましょう。

ここではPiユーザーで設定しますが任意のユーザーを作成したほうがいいと思います。
センサーやリモコンアドバンスの接続時は念の為電源を切っておいてください。

BME280とラズパイzero

ピンがハンダ付けされてない場合はハンダ付けしてください。

BME280.VCC -> ラズパイ.1ピン
BME280.GND -> ラズパイ.6ピン
BME280.SCL -> ラズパイ.5ピン
BME280.SDA -> ラズパイ.3ピン
BME280.SDO -> ラズパイ.9ピン

SCLとSDAがI2C通信をするピン。

こんな感じでブレッドボードケーブルで指して繋げばOK。

BME280の設定

hawk777さんの記事が参考になります。ありがとうございます。
ラズパイ+BME280でIoT環境センサー構築(その1)
4．サンプルコードの実行はこちらと読み替えて下さい。

sudo apt install -y python-smbus

cd /home/pi/ダウンロード
wget https://github.com/SWITCHSCIENCE/BME280/archive/master.zip
unzip master.zip
sudo pip install smbus2

python BME280-master/Python27/bme280_sample.py

無事スイッチサイエンスさんのサンプルが動いたら次へ行きましょう。

リモコンアドバンスの設定

参考にさせていただきました。ありがとうございます。
エアコンを外出先から遠隔操作(by MQTT)
6. 赤外線リモコン信号送信まででOKです。

作業フォルダ

/home/pi/aircon
以下の作業は先程作成したairconフォルダ内でやります。

リモコン信号の記憶

#受信開始
$ bto_advanced_USBIR_cmd -r
#受信終了
$ bto_advanced_USBIR_cmd -s
#ファイル書き出し
$ bto_advanced_USBIR_cmd -g | tee aircon_XX.txt

22度設定でon -> aircon_22.txt
25度設定でon -> aircon_25.txt
オフ -> aircon_off.txt
上を参考に３種類のリモコン信号をファイル化してください。
書き出しのところでエラーがでたときはもう一度試すと成功することがあります。

BME280のライブラリをダウンロード

Raspberry PiとBME280モジュールで自動で温度・湿度・気圧を測定してグラフ化する
からあげさんの記事を参考に改変させていただきました。

git clone https://github.com/fell-procir2/bme280.git
cp ./bme280/bme280_sensor.py ./

フラグファイルの作成

off.aircon
というファイル名で空ファイルを作成して下さい。

auto_pirot.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import time, datetime
import bme280_sensor
import sys
import os

#温度設定
upper = 27.8
under = 26.4
on_files = ['aircon_25.txt']
strong_files = ['aircon_22.txt']
off_files = ['aircon_off.txt']

def ir_cmd(code_files):
        for code_file in code_files:
            _cmd = "bto_advanced_USBIR_cmd -d `cat " + code_file + "`"
            while not 0 == os.system(_cmd):
                    time.sleep(1)
            print(_cmd + ' -> ' + str('done'))
            time.sleep(1)

#湿度による微調整
def clearance(hu):
        clr = 0
        if 60 <= hu:
                clr = -0.5
        elif 58 <= hu and hu < 60:
                clr = -0.3
        elif 50 <= hu and hu < 58:
                clr = 0
        elif hu < 50:
                clr = 0.2
        return clr

#初期設定 -> エアコン状態off -> フラグoff
ir_cmd(off_files)
if os.path.isfile('on.aircon'):
        os.rename('on.aircon', 'off.aircon')
before_temp = 35

while True:
        (temp, humi, press) = bme280_sensor.get_value()

        temp_is_over = upper + clearance(humi) < temp and os.path.isfile('off.aircon')
        temp_is_under = temp < under + clearance(humi) and os.path.isfile('on.aircon')
        #冷房中に温度があがったか？
        temp_is_back = before_temp < temp and os.path.isfile('on.aircon')

        #冷えにくくなったらstrong_file送信
        if temp_is_back:
                ir_cmd(strong_files)

        if temp_is_over:
                ir_cmd(on_files)
                os.rename('off.aircon', 'on.aircon')

        if temp_is_under:
                ir_cmd(off_files)
                os.rename('on.aircon', 'off.aircon')

        now = datetime.datetime.fromtimestamp(time.time())

        log = now.strftime("%H:%M") + ": Temp: " + str(round(temp, 2)) + "C Humi: " + str(round(humi, 2)) + "% Press: " + str(round(press, 2)) + "hPa: "
        print(log)
        before_temp = temp
        time.sleep(60)

テスト起動

全てのファイルが作業フォルダ上にあることを確認して下さい。
auto_pirot.py
off.aircon
aircon_22.txt
aircon_25.txt
aircon_off.txt
bme280_sensor.py

python auto_pirot.py

１分おきに気温・湿度・気圧が表示されauto_pirot.pyの設定温度になるとリモコン信号が照射されます。
ctrl-cで中断できます。

リモコン設定温度等、色々調整してみて下さい。
湿度によっても微調整するようにしています。

自動起動

aircon_auto_pirot.sh を作成して作業フォルダに保存します。

vi aircon_auto_pirot.sh

#!/bin/sh
cd /home/pi/aircon/
python auto_pirot.py

rc.configを編集。

sudo vi /etc/rc.config

・・・
sh /home/pi/aircon/aircon_auto_pirot.sh
exit 0

これで再起動すると自動起動でエアコン操作が始まります。
プロセスが動いているかは下記コマンドで確認できます。

pgrep -l python 

ケースに入れてみました

センサーが外でブラブラしてるのはラズパイの温度の影響を受けないためです笑
このぐらいの半透明でもこのリモコンはよく効きますね。

とりあえず２日ほどつけっぱなしでいますが特に不具合もなく動いています。

概要

ABC133をA~Dまで、pythonでの正解例を見ながら解いていった。

目標

1. まずは自分でどういう方針で行けばいいのかを考えてから、コードを読む（こういうことをしたいけど、どう描くんだろうと思ったときは、それを明示的に意識する）
2. コードを読んだ時に、こういう考え方をしたら、自分もこんなコードが書けるな。みたいな学びを書くようにする

実践

ABC133
自分でA~Dまでは友達と一緒にといたので、答え合わせの気持ちで読む。
A　min(n*a,b)を出力する。
自分のコードと同じ
B
ポイント　自分が悩んだ点

• ２重配列をどう受け取るか
  • リストのリストで処理。（固定長で挿入、欠失がないので、配列の方が良さそうだけど、全体の計算時間には英kyほうがないからかな。）
  • p = [list(map(int,input().split())) for _ in range(n)]
• 整数かどうかの判定はどうする？
  • 僕はint(n) - n == 0 で判定した
  • math内のceil (切り上げ）、floor(切り捨て）で判断する。
  • ceil(n)==floor(n)

C [l,r]内の２つの整数の掛け算で2019 の剰余が最小になるものをさがす。

• 単純に全てでループを回すとTLE(計算時間制限）に引っかかる
• 僕の方針
  • r-lが2019以上なら必ず[r,l]に2019の倍数があるので積の余りの最小値は0になる。
  • 2019未満の時には、ループを回す。4*10^6なので大丈夫そう。
  • ループの境界条件などで色々と時間がかかった。
• 方針は同じ
  • ループを回して、最小値を更新していく。
• tips: 2019は素数でないので、3*673 r-lが673以上なら必ず積が割切れる事は証明できる。計算量が1/9倍になる。

D n(n=奇数)の連立方程式を解く問題

• 僕の方針
  • 考えつくまでだいぶ時間がかかった。
  • なぜ偶数ではダメなんだろう？　
  • 偶数だと奇数番目、偶数番目のダムに入る総和が等しくなるという制約条件があるので、nこの変数にn-1個の式になり、式が１つ足りな苦なり、数学的に解けない。
  • `Ans[i]=sum[a]-2*(sum[a[j] if i-j %2 == 0 )で良い気がしていた。
  • が、それだと、i以外の全ての要素を消せてないことに気づいた。
  • また、計算量も毎回のnのloopを回るので間に合わない。o(n^2)
  • １つを求めたら、あとは、連立法廷sきから連鎖的に求められる。o(1)*n
• 方針は最後の僕のものと同じ。」
  • 配列をspace 区切りで出力するときに、print(*Ans)で可能なのはすごい。

感想

100分ぐらいかかったので、想定より時間がかかった。
主な原因はD問題で問題で問われていないことを考えたり、そもそも方針が思いつかなかって悩んでいたこと。
10分経って進捗が（新たな方針が立つ気配がなかったら）解説を見るべき。

あとは、以外に、解説を見ながらならd問題でも難しくは思わなかった。
今回が簡単だったのもあるかもだけど、考察力に比べて実装力が圧倒的に足りていないのが推測できる。

概要

ABC133をA~Dまで、pythonでの正解例を見ながら解いていった。

目標

1. まずは自分でどういう方針で行けばいいのかを考えてから、コードを読む（こういうことをしたいけど、どう描くんだろうと思ったときは、それを明示的に意識する）
2. コードを読んだ時に、こういう考え方をしたら、自分もこんなコードが書けるな。みたいな学びを書くようにする

実践

ABC133
自分でA~Dまでは友達と一緒にといたので、答え合わせの気持ちで読む。
A　min(n*a,b)を出力する。
自分のコードと同じ
B
ポイント　自分が悩んだ点

• ２重配列をどう受け取るか
  • リストのリストで処理。（固定長で挿入、欠失がないので、配列の方が良さそうだけど、全体の計算時間には英kyほうがないからかな。）
  • p = [list(map(int,input().split())) for _ in range(n)]
• 整数かどうかの判定はどうする？
  • 僕はint(n) - n == 0 で判定した
  • math内のceil (切り上げ）、floor(切り捨て）で判断する。
  • ceil(n)==floor(n)

C [l,r]内の２つの整数の掛け算で2019 の剰余が最小になるものをさがす。

• 単純に全てでループを回すとTLE(計算時間制限）に引っかかる
• 僕の方針
  • r-lが2019以上なら必ず[r,l]に2019の倍数があるので積の余りの最小値は0になる。
  • 2019未満の時には、ループを回す。4*10^6なので大丈夫そう。
  • ループの境界条件などで色々と時間がかかった。
• 方針は同じ
  • ループを回して、最小値を更新していく。
• tips: 2019は素数でないので、3*673 r-lが673以上なら必ず積が割切れる事は証明できる。計算量が1/9倍になる。

D n(n=奇数)の連立方程式を解く問題

• 僕の方針
  • 考えつくまでだいぶ時間がかかった。
  • なぜ偶数ではダメなんだろう？　
  • 偶数だと奇数番目、偶数番目のダムに入る総和が等しくなるという制約条件があるので、nこの変数にn-1個の式になり、式が１つ足りな苦なり、数学的に解けない。
  • `Ans[i]=sum[a]-2*(sum[a[j] if i-j %2 == 0 )で良い気がしていた。
  • が、それだと、i以外の全ての要素を消せてないことに気づいた。
  • また、計算量も毎回のnのloopを回るので間に合わない。o(n^2)
  • １つを求めたら、あとは、連立法廷sきから連鎖的に求められる。o(1)*n
• 方針は最後の僕のものと同じ。」
  • 配列をspace 区切りで出力するときに、print(*Ans)で可能なのはすごい。

感想

100分ぐらいかかったので、想定より時間がかかった。
主な原因はD問題で問題で問われていないことを考えたり、そもそも方針が思いつかなかって悩んでいたこと。
10分経って進捗が（新たな方針が立つ気配がなかったら）解説を見るべき。

あとは、以外に、解説を見ながらならd問題でも難しくは思わなかった。
今回が簡単だったのもあるかもだけど、考察力に比べて実装力が圧倒的に足りていないのが推測できる。

数値計算をしていると、次のような操作をしたいときがあります。

• ある配列を複製して、複製元の配列を変えずに複製した配列の成分の値のみを変えたい。
• 全ての成分が同じ値(例えば0)である配列を作って、その配列のとある成分の値のみを変えたい。

pythonで数値計算をしていたところ、listやarrayを複製したり、各成分の値を書き換えたりする際に少しつまずいたので、list、arrayのその辺りの性質についてまとめます。listやarrayの詳しい仕様については触れていません。

本記事中で使っているarrayは、numpyのndarrayです。

結論

ある配列を複製する際、複製した配列の成分の値を変えても元の配列の値が変わらない複製方法を「配列の複製」にまとめました。また、とある成分の値を変えても他の成分の値が変わらない0埋めされた配列の作製方法は「0埋めされた配列の作製」にまとめてあります。

配列の複製

配列aを複製した配列copy_aを作り、aの各成分の値を変えずにcopy_aの各成分の値のみを変えるには、

• aが1次元listの場合は次の方法(2)〜(5)でcopy_aを作りましょう。

copy_a = a[:] # (2)
copy_a = a.copy() # (3)
copy_a = list(a) # (4)
copy_a = [elem for elem in a] # (5)

• aが2次元listの場合は次の方法(5.2)〜(5.5)が有効です。

copy_a = [elem[:] for elem in a] # (5.2)
copy_a = [elem.copy() for elem in a] # (5.3)
copy_a = [list(elem) for elem in a] # (5.4)
copy_a = [[_elem for _elem in elem] for elem in a] # (5.5)

• 一方で、aがarrayの場合は、aが1次元、2次元であるかを問わず次の方法(3)〜(5)で複製元aの値を変えずに各成分の値を変えられるcopy_aを作ることが出来ます。

copy_a = a.copy() # (3)
copy_a = np.array(a) # (4)
copy_a = np.array([elem for elem in a]) # (5)

0埋めされた配列の作製

ある成分の値を変えても他の成分の値が変わらない0埋めされた配列を作るには、

• 1次元listの場合、次の方法(1)、(2)が有効です。

# Kは自然数
a = [0 for _ in range(K)] # (1)
a = [0]*K # (2)

• 2次元listの場合は方法(1.1)、(1.2)を使いましょう。

a = [[0 for _ in range(K)] for _ in range(K)] # (1.1)
a = [[0]*K for _ in range(K)] # (1.2)
# a = [[0]*K]*K # (2.2)

方法(2.2)が使えないことには注意して下さい。

• 1次元arrayの場合は、次の方法が有効です。

a = np.zeros(K, int)
a = [0 for _ in range(K)] # (1)
a = [0]*K # (2)

• 2次元arrayの場合は次の方法が使えます。

a = np.zeros((K, K), int)
a = np.array([[0 for _ in range(K)] for _ in range(K)]) # (1.1)
a = np.array([[0]*K for _ in range(K)]) # (1.2)
a = np.array([[0]*K]*K) # (2.2)

2次元listの場合は、方法(2.2)は有効でありませんでしたが、作った2次元listをarrayに変換すると、とある成分の値を変えても他の成分の値が変わらない0埋めされた配列になります。

実験1

実験1では、1次元list・array及び2次元list・arrayの様々な複製方法を試しました。

1次元listの複製

1次元list aを複製したlist copy_aを作って、copy_aの第0成分の値を変える場合、

>>> a = [0, 1]
>>> copy_a = a # (1)
>>> id(copy_a) == id(a)
True
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = [0, 1]
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = list(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = [elem for elem in a] # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

上述のように、(1)以外の方法ならば、copy_aの成分の値を変えてもaの成分の値は変わりません。

1次元arrayの複製

一方で、aが1次元arrayの場合は以下のような結果になります。

>>> a = np.array([0, 1])
>>> copy_a = a # (1)
>>> id(copy_a) == id(a)
True
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = np.array(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = np.array([elem for elem in a]) # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

aがlistだった場合と異なる点は、

• (2)の方法で複製した場合にcopy_aの成分の値を変えると、aの成分の値も変わる。
• (3)〜(5)の方法では、copy_aの成分の値を変えてもaの成分の値は変わらないが、変えた成分のidは等しい。

の2点です。

2次元listの複製

2次元list aを複製したlist copy_aを作り、aの値を変えずに、copy_aの(0,0)成分の値のみを変えたいとします。1次元listの場合に試した方法の内、効果のあった(2)〜(5)の方法を使いましょう。

>>> a = [[1, 0],[0, 1]]
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = list(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem for elem in a] # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

このように、list aが1次元の場合に有効だった(2)〜(5)の方法では、copy_aの(0,0)成分の値のみを変えることは出来ませんでした。更に以下の方法を試してみます。

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem[:] for elem in a] # (5.2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem.copy() for elem in a] # (5.3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [list(elem) for elem in a] # (5.4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [[_elem for _elem in elem] for elem in a] # (5.5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

上の結果から、(5)の方法でlistであるaの要素を呼び出し、その要素に対して(2)〜(4)の方法を用いると無事aの値を変えずにcopy_aの(0,0)成分の値のみを変えられることが分かりました。

2次元arrayの複製

2次元listの場合と同様に、2次元array a対しても1次元arrayの場合に効果のあった(3)〜(5)の方法で、copy_aの(0,0)成分の値のみを変えられるか試してみます。

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array([elem for elem in a]) # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

2次元listの場合には有効でなかった(3)〜(5)の方法ですが、2次元arrayの場合には、aの値を変えずにcopy_aの(0,0)成分の値のみを変えることが出来ました。

実験2

実験2では、0埋めされた配列を作製する幾つかの方法を試しました。

0埋めされたlistの作製

0埋めされた1次元listを作り、第0成分の値を1にする場合、

>>> a = [0 for _ in range(2)] # (1)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
[1, 0]
>>> id(a[0]) == id(a[1])
False

>>> a = [0]*2 # (2)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
[1, 0]
>>> id(a[0]) == id(a[1])
False

上のように、方法(1)、(2)のどちらで0埋めされたlist aの第0成分の値のみを1にすることが出来ました。

一方で、0埋めされた2次元listの場合は、

>>> a = [[0 for _ in range(2)] for _ in range(2)] # (1.1)
>>> id(a[0]) == id(a[1])
False
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [0, 0]]
>>> id(a[0][0]) == id(a[1][0])
False

>>> a = [[0]*2 for _ in range(2)] # (1.2)
>>> id(a[0]) == id(a[1])
False
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [0, 0]]
>>> id(a[0][0]) == id(a[1][0])
False

>>> a = [[0]*2]*2 # (2.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [1, 0]]
>>> id(a[0][0]) == id(a[1][0])
True

のように演算子*を2回用いて0埋めされた2次元listを作ると、(0,0)成分の値のみを1にすることが出来ません。

0埋めされたarrayの作製

0埋めされた1次元arrayを作り、第0成分の値のみを1に変えるには、方法(1)、(2)で0埋めされた1次元listを作ってarrayに変換する以外に、np.zeros()を利用する方法があります。

>>> a = np.zeros(2, int)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
array([1, 0])
>>> id(a[0]) == id(a[1])
True

0埋めされた2次元arrayを作る場合も、同様にnp.zeros()を使うことで、(0,0)成分の値のみを1にすることが出来ます。0埋めされた2次元listを作った場合と異なる点は、方法(2.2)を用いても(0,0)成分の値のみを1にすることが出来る点です。

>>> a = np.zeros((2, 2), int)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0 for _ in range(2)] for _ in range(2)]) # (1.1)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0]*2 for _ in range(2)]) # (1.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0]*2]*2) # (2.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

考察

listの複製に関しては、1次元、2次元のいずれにせよ、数値型の値を格納しているlistのidが異なれば複製元の配列の成分の値を変えずに複製した配列の成分を変えることが出来ます。一方でarrayの場合は、複製した配列のidが複製元の配列のidと異なっているだけで、複製した配列の各成分の値のみを変えられるようです。実験1の2次元arrayの実験では、copy_aに格納された数値型の値1つを変える操作をしましたが、例えば、次のように配列を渡してaの各成分の値を変えずに、copy_aの各成分の値のみを変えることが出来ます。

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = [0, 1]
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = np.array([0, 1])
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = 0, 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

実験2で0埋めされたarray配列を作った際にも見られましたが、idが等しいのに数値が異なるというarrayの仕様を理解するには、より詳しく調べる必要があります。

実験2の0埋めされたlistを作る実験からは、listに演算子*を作用させることは、次の操作と等しいという直感が得られるでしょう。

# Kは自然数
>>> temp = 0
>>> a = [temp for _ in range(K)]
# a = [0]*K

>>> temp = [0]*K
>>> b = [temp for _ in range(K)]
# b = [[0]*K]*K

リンク

• 同じ値で埋めた配列(リスト)を作成するには (fill)
• Pythonのリスト（配列）を任意の値・要素数で初期化 | note.nkmk.me
• Python のリストの扱いで注意すること-Qiita
• リストのコピーでハマった話-Qiita

数値計算をしていると、次のような操作をしたいときがあります。

• ある配列を複製して、複製元の配列を変えずに複製した配列の成分の値のみを変えたい。
• 全ての成分が同じ値(例えば0)である配列を作って、その配列のとある成分の値のみを変えたい。

pythonで数値計算をしていたところ、listやarrayを複製したり、各成分の値を書き換えたりする際に少しつまずいたので、list、arrayのその辺りの性質についてまとめます。listやarrayの詳しい仕様については触れていません。

本記事中で使っているarrayは、numpyのndarrayです。

結論

ある配列を複製する際、複製した配列の成分の値を変えても元の配列の値が変わらない複製方法を「配列の複製」にまとめました。また、とある成分の値を変えても他の成分の値が変わらない0埋めされた配列の作製方法は「0埋めされた配列の作製」にまとめてあります。

配列の複製

配列aを複製した配列copy_aを作り、aの各成分の値を変えずにcopy_aの各成分の値のみを変えるには、

• aが1次元listの場合は次の方法(2)〜(5)でcopy_aを作りましょう。

copy_a = a[:] # (2)
copy_a = a.copy() # (3)
copy_a = list(a) # (4)
copy_a = [elem for elem in a] # (5)

• aが2次元listの場合は次の方法(5.2)〜(5.5)が有効です。

copy_a = [elem[:] for elem in a] # (5.2)
copy_a = [elem.copy() for elem in a] # (5.3)
copy_a = [list(elem) for elem in a] # (5.4)
copy_a = [[_elem for _elem in elem] for elem in a] # (5.5)

今回は扱いませんでしたが、copyモジュールのdeepcopyを使うことでも複製元の各成分の値を変えずに複製したlistの各成分の値のみを変えることが出来るようです(リンクを参照)。

• 一方で、aがarrayの場合は、aが1次元、2次元であるかを問わず次の方法(3)〜(5)で複製元aの値を変えずに各成分の値を変えられるcopy_aを作ることが出来ます。

copy_a = a.copy() # (3)
copy_a = np.array(a) # (4)
copy_a = np.array([elem for elem in a]) # (5)

0埋めされた配列の作製

ある成分の値を変えても他の成分の値が変わらない0埋めされた配列を作るには、

• 1次元listの場合、次の方法(1)、(2)が有効です。

# Kは自然数
a = [0 for _ in range(K)] # (1)
a = [0]*K # (2)

• 2次元listの場合は方法(1.1)、(1.2)を使いましょう。

a = [[0 for _ in range(K)] for _ in range(K)] # (1.1)
a = [[0]*K for _ in range(K)] # (1.2)
# a = [[0]*K]*K # (2.2)

方法(2.2)が使えないことには注意して下さい。

• 1次元arrayの場合は、次の方法が有効です。

a = np.zeros(K, int)
a = [0 for _ in range(K)] # (1)
a = [0]*K # (2)

• 2次元arrayの場合は次の方法が使えます。

a = np.zeros((K, K), int)
a = np.array([[0 for _ in range(K)] for _ in range(K)]) # (1.1)
a = np.array([[0]*K for _ in range(K)]) # (1.2)
a = np.array([[0]*K]*K) # (2.2)

2次元listの場合は、方法(2.2)は有効でありませんでしたが、作った2次元listをarrayに変換すると、とある成分の値を変えても他の成分の値が変わらない0埋めされた配列になります。

実験1

実験1では、1次元list・array及び2次元list・arrayの様々な複製方法を試しました。

1次元listの複製

1次元list aを複製したlist copy_aを作って、copy_aの第0成分の値を変える場合、

>>> a = [0, 1]
>>> copy_a = a # (1)
>>> id(copy_a) == id(a)
True
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = [0, 1]
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = list(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

>>> a = [0, 1]
>>> copy_a = [elem for elem in a] # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0, 1]
copy_a = [1, 1]
>>> id(copy_a[0]) == id(a[0])
False

上述のように、(1)以外の方法ならば、copy_aの成分の値を変えてもaの成分の値は変わりません。

1次元arrayの複製

一方で、aが1次元arrayの場合は以下のような結果になります。

>>> a = np.array([0, 1])
>>> copy_a = a # (1)
>>> id(copy_a) == id(a)
True
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [1 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = np.array(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

>>> a = np.array([0, 1])
>>> copy_a = np.array([elem for elem in a]) # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> copy_a[0] = 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [0 1]
copy_a = [1 1]
>>> id(copy_a[0]) == id(a[0])
True

aがlistだった場合と異なる点は、

• (2)の方法で複製した場合にcopy_aの成分の値を変えると、aの成分の値も変わる。
• (3)〜(5)の方法では、copy_aの成分の値を変えてもaの成分の値は変わらないが、変えた成分のidは等しい。

の2点です。

2次元listの複製

2次元list aを複製したlist copy_aを作り、aの値を変えずに、copy_aの(0,0)成分の値のみを変えたいとします。1次元listの場合に試した方法の内、効果のあった(2)〜(5)の方法を使いましょう。

>>> a = [[1, 0],[0, 1]]
>>> copy_a = a[:] # (2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = list(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem for elem in a] # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[0, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

このように、list aが1次元の場合に有効だった(2)〜(5)の方法では、copy_aの(0,0)成分の値のみを変えることは出来ませんでした。更に以下の方法を試してみます。

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem[:] for elem in a] # (5.2)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [elem.copy() for elem in a] # (5.3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [list(elem) for elem in a] # (5.4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

>>> a = [[1, 0],[0, 1]]
>>> copy_a = [[_elem for _elem in elem] for elem in a] # (5.5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
False
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1, 0], [0, 1]]
copy_a = [[0, 0], [0, 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
False

上の結果から、(5)の方法でlistであるaの要素を呼び出し、その要素に対して(2)〜(4)の方法を用いると無事aの値を変えずにcopy_aの(0,0)成分の値のみを変えられることが分かりました。

2次元arrayの複製

2次元listの場合と同様に、2次元array a対しても1次元arrayの場合に効果のあった(3)〜(5)の方法で、copy_aの(0,0)成分の値のみを変えられるか試してみます。

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = a.copy() # (3)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a) # (4)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array([elem for elem in a]) # (5)
>>> id(copy_a) == id(a)
False
>>> id(copy_a[0]) == id(a[0])
True
>>> id(copy_a[0][0]) == id(a[0][0])
True
>>> copy_a[0][0] = 0
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 0]
 [0 1]]
>>> id(copy_a[0][0]) == id(a[0][0])
True

2次元listの場合には有効でなかった(3)〜(5)の方法ですが、2次元arrayの場合には、aの値を変えずにcopy_aの(0,0)成分の値のみを変えることが出来ました。

実験2

実験2では、0埋めされた配列を作製する幾つかの方法を試しました。

0埋めされたlistの作製

0埋めされた1次元listを作り、第0成分の値を1にする場合、

>>> a = [0 for _ in range(2)] # (1)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
[1, 0]
>>> id(a[0]) == id(a[1])
False

>>> a = [0]*2 # (2)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
[1, 0]
>>> id(a[0]) == id(a[1])
False

上のように、方法(1)、(2)のどちらで0埋めされたlist aの第0成分の値のみを1にすることが出来ました。

一方で、0埋めされた2次元listの場合は、

>>> a = [[0 for _ in range(2)] for _ in range(2)] # (1.1)
>>> id(a[0]) == id(a[1])
False
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [0, 0]]
>>> id(a[0][0]) == id(a[1][0])
False

>>> a = [[0]*2 for _ in range(2)] # (1.2)
>>> id(a[0]) == id(a[1])
False
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [0, 0]]
>>> id(a[0][0]) == id(a[1][0])
False

>>> a = [[0]*2]*2 # (2.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
[[1, 0], [1, 0]]
>>> id(a[0][0]) == id(a[1][0])
True

のように演算子*を2回用いて0埋めされた2次元listを作ると、(0,0)成分の値のみを1にすることが出来ません。

0埋めされたarrayの作製

0埋めされた1次元arrayを作り、第0成分の値のみを1に変えるには、方法(1)、(2)で0埋めされた1次元listを作ってarrayに変換する以外に、np.zeros()を利用する方法があります。

>>> a = np.zeros(2, int)
>>> id(a[0]) == id(a[1])
True
>>> a[0] = 1
>>> a
array([1, 0])
>>> id(a[0]) == id(a[1])
True

0埋めされた2次元arrayを作る場合も、同様にnp.zeros()を使うことで、(0,0)成分の値のみを1にすることが出来ます。0埋めされた2次元listを作った場合と異なる点は、方法(2.2)を用いても(0,0)成分の値のみを1にすることが出来る点です。

>>> a = np.zeros((2, 2), int)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0 for _ in range(2)] for _ in range(2)]) # (1.1)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0]*2 for _ in range(2)]) # (1.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

>>> a = np.array([[0]*2]*2) # (2.2)
>>> id(a[0]) == id(a[1])
True
>>> id(a[0][0]) == id(a[1][0])
True
>>> a[0][0] = 1
>>> a
array([[1, 0],
       [0, 0]])
>>> id(a[0][0]) == id(a[1][0])
True

考察

listの複製に関しては、1次元、2次元のいずれにせよ、数値型の値を格納しているlistのidが異なれば複製元の配列の成分の値を変えずに複製した配列の成分を変えることが出来ます。一方でarrayの場合は、複製した配列のidが複製元の配列のidと異なっているだけで、複製した配列の各成分の値のみを変えられるようです。実験1の2次元arrayの実験では、copy_aに格納された数値型の値1つを変える操作をしましたが、例えば、次のように配列を渡してaの各成分の値を変えずに、copy_aの各成分の値のみを変えることが出来ます。

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = [0, 1]
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = np.array([0, 1])
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

>>> a = np.array([[1, 0],[0, 1]])
>>> copy_a = np.array(a)
>>> id(a) == id(copy_a)
False
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True
>>> copy_a[0] = 0, 1
>>> print(f'a = {a}\ncopy_a = {copy_a}')
a = [[1 0]
 [0 1]]
copy_a = [[0 1]
 [0 1]]
>>> id(a[0]) == id(copy_a[0])
True
>>> id(a[0][0]) == id(copy_a[0][0])
True

実験2で0埋めされたarray配列を作った際にも見られましたが、idが等しいのに数値が異なるというarrayの仕様を理解するには、より詳しく調べる必要があります。

実験2の0埋めされたlistを作る実験からは、listに演算子*を作用させることは、次の操作と等しいという直感が得られるでしょう。

# Kは自然数
>>> temp = 0
>>> a = [temp for _ in range(K)]
# a = [0]*K

>>> temp = [0]*K
>>> b = [temp for _ in range(K)]
# b = [[0]*K]*K

リンク

• 同じ値で埋めた配列(リスト)を作成するには (fill)
• Pythonのリスト（配列）を任意の値・要素数で初期化 | note.nkmk.me
• Python のリストの扱いで注意すること-Qiita
• リストのコピーでハマった話-Qiita
• Pythonのcopyとdeepcopyについて-Qiita