1. はじめに

　記事を執筆していたら辞書キーを引用符で囲う場合と囲わない場合の２つがあってややこしいと思いました。今回はこのことを記事にしたいと思います。あとこの記事を書くきっかけになったPythonでf文字列を用いて辞書の値を表示させるも読んでいただけると筆者がサンシャイン池崎みたいに喜びます。

2. 辞書キーを引用符で囲うか？

　以下のコードを見てください。結論をいうとf文字列を使う場合は引用符が必要でformatメソッドを使う場合は引用符を使ってはいけません。

sample.py

dict = {"age": 20}

print(f'私は{dict["age"]}歳です')
print('私は' + str(dict['age']) + '歳です')
print('私は' + '{0[age]}'.format(dict) + '歳です')

3. まとめ

　結論は先程も述べたとおり「f文字列を使う場合は引用符が必要でformatメソッドを使う場合は引用符を使ってはいけない」です。たったこれだけのことですがプログラミング初心者の自分はこの違いに気づかず1時間頭を抱えていました。一緒にエラーを1つずつ乗り越えていきましょう。

はじめに アニメーションと得点システムの改善を目指す旅に出た... 進捗 できること ・テキストを表示する ・残り時間をカウントし、表示する ・得点を計算し、表示する ・画像を表示する ・画像上をクリックしたときに「+1」を表示する ・画像上をクリックしたときに1点加える ・画像を上下に動かし続ける　 NEW ・残り時間が０になったときに画像の動きを止める ・プレーリードッグが出現して消える間は1点しか獲得できないようにする コード全文 import pygame from pygame.locals import * import sys Scr_rect = Rect(0, 0, 500, 500) class DogSprite(pygame.sprite.Sprite): move_height = 100 def __init__(self, filename, x, y, vx, vy): self.image = pygame.image.load(filename).convert() width = self.image.get_width() height = self.image.get_height() self.rect = Rect(x, y, width, height) self.vx = vx self.vy = vy self.up = self.move_height self.down = self.up + self.move_height self.enabled = True def update(self, rest): self.rect.move_ip(0, self.vy) if self.rect.top < self.up or self.rect.top > self.down: self.vy = -self.vy if rest == 0: self.vy = 0 def is_clicked(self, pos): if self.enabled and self.rect.collidepoint(pos): self.enabled = False return True return False def reset(self): if self.rect.top > self.down: self.enabled = True def draw(self, screen): colorkey = self.image.get_at((0,0)) self.image.set_colorkey(colorkey,RLEACCEL) screen.blit(self.image, self.rect) def main(): pygame.init() cl = pygame.time.Clock() screen = pygame.display.set_mode(Scr_rect.size) pygame.display.set_caption("Game") font = pygame.font.SysFont(None, 78) font2 = pygame.font.SysFont(None, 45) font3 = pygame.font.SysFont(None, 30) text1 = font.render("Click!", True, (204, 102, 112)) text2 = font2.render("+1", True, (0, 0, 0)) click = 0 score = 0 n_frames = 0 TIME_END = 10 line = pygame.image.load("Game\line.png").convert() colorkey = line.get_at((0,0)) line.set_colorkey(colorkey,RLEACCEL) #Spriteを作成 ob1 = DogSprite("Game/dg.jpg", 50, 200, 0, -2) while (1): screen.fill((102, 204, 194)) screen.blit(text1, [170, 30]) screen.blit(line,(50, 180)) rest = TIME_END - (n_frames / 30) text4 = font3.render('time: {}'.format(round(rest,1)), True, (0, 0, 0)) screen.blit(text4,[350,60]) ob1.update(rest) ob1.draw(screen) for event in pygame.event.get(): if event.type == QUIT: pygame.quit() sys.exit() if n_frames < 30 * TIME_END and event.type == MOUSEBUTTONDOWN and event.button == 1: if ob1.is_clicked(event.pos): click = 9 score += 1 text3 = font3.render('score : {}'.format(score), True, (0, 0, 0)) screen.blit(text3, [350, 40] ) if click > 0: pos = pygame.mouse.get_pos() screen.blit(text2, pos) click -= 1 ob1.reset() pygame.display.update() if n_frames < 30 * TIME_END: n_frames += 1 cl.tick(30) if __name__ == "__main__": main() おわりに 大雑把に形になってきたので嬉しい。（大いなる力をお借りした）（ありがとう！） 空行含めだけど行が100超えてちょっと感動（？） 次回は、画像(プレーリードッグ)をランダムに出現させる...！？

背景

……そこで、せっかくですから、私のルーツであるインフラ系に立ち返り、法律に詳しいインフラエンジニアになるべく（なんだそれは）、独自に技能の研鑽を始めることにしました。
そして、夜は司法書士試験の勉強です。もうパーフェクトですよね。私はリーガテックの神になる、これはもう、間違いがございません。

それをQiitaに投稿する目的は、

• 同じような習熟度の仲間が見れば役に立つ
• アウトプットをした方が定着する

というだけです。頑張ってまいります！

PJ概要

諸元	内容
言語	python
インフラ	heroku
目的	slack連繋のチャットボット

現在、私が簡単に設計したものを同期が作ってくれたアプリがあり、内容としては上記の表のような感じです。

しかしながら、heroku環境では500時間しか無料では動かせないようであり、止まってしまいました。そこで、AWSの研鑽も兼ねて、これをAWSに移行してみよう！というチャレンジをします。

JupyterLabの便利なショートカット

アプリ側の実装者・同期さまの環境はJupyterLab(Anacondaに附属しているのですね。初めて知りました）。まずはこれを理解せねばなりません。

コマンド	結果
Shift+Etr	セル内のコードを実行して下に追加
Ctrl+Etr	セル内のコードを実行
D^2	セルを削除
A	上にセルを追加
B	下にセルを追加
Ctr+/	コメントアウト
途中まで書いてTab	オートコンプリートによる補完

他にもここを叩くと色々出てくるようです。すごい。

その他気になった点はこんな感じです。
（分かりやすいReadme.mdに助かる。。。）

• どうも、terminalみたいなイメージで使って良いようmasu.Chromeから開くとあたかもクラウドサービスのような感じになりますが、実際にはローカルホストで動いてます。
• .ipynbはあくまでもノートブック。実行ファイル部分を出力するには、メニューからexport as executable。すると、実行できない部分はコメントアウトされた状態で、`.pyが出力されるよ。
• Variable Inspectorというextensionはおすすめ。インストールしたら右クリックで使えるよ。

わからない！

JLabを見渡しつつ、本体となるpythonのコードも読み込みます。

いくつか、見覚えのない点が、、

import Botって？

from slackbot.bot import Bot, respond_to
という記載が。importは分かるのですが、Botって何でしょう。
respond_toも聞いたことが。。ない。。

from slackbot.bot import Bot
これが根拠となっていそう。ここで、fromとimportの区別ができていない自分に気づく……
……

Pythonでライブラリやモジュールを読み込む際には「import」および「from」を使いますが、この2つは使い方がややこしく、違いをあまり分からずに使っている方もいると思います。

ですよね〜！（下記参考文献より）

……ということで、モジュールをバイパスしてクラスとか関数を直接importする指令だったみたい。
やったぜ。

defってなんだ！？

pythonはちょっとだけやったことがあったのですが……defという表現を使った覚えがありません。
鍛錬が足りませんね。これも調べます。

色々みましたがこれが格別に分かりやすいです。
いままで、classは使ったことがありましたがdefは使っていませんでした。VB.netで世界観が止まっていたのだと実感します。
classより細かい単位化ができるということですね！

この辺でpythonコードを読解

疑問点はこれで解消したので、ここで同期さまが書いてくれたコードを読解！しようと思います。

……なんか理解できた気がします！

気になった点

Spreadsheetからデータを取ってくるコードの冗長性が高そうです。
効率化できないか次回以降検討してみます！

次回予告

次は、①冗長性問題の解決に取り組み、さらに、②現在の実行環境であるherokuの理解を目指します！

応用的だけどすごい勉強になる学習内容

@respond_toって何？という、知らなくても良いけど知ったらプロになれる疑問に答えてくれます。

参考文献

背景

◯◯の◯◯◯◯……

（契約上の理由により中略！）

……そこで、せっかくですから、私のルーツであるインフラ系に立ち返り、法律に詳しいインフラエンジニアになるべく（なんだそれは）、独自に技能の研鑽を始めることにしました。
そして、夜は司法書士試験の勉強です。もうパーフェクトですよね。私はリーガテックの神になる、これはもう間違いございません。

それをQiitaに投稿する目的は、

• 同じような習熟度の仲間が見れば役に立つ
• アウトプットをした方が定着する

というだけです。頑張ってまいります！

PJ概要

諸元	内容
言語	python
インフラ	heroku
目的	slack連繋のチャットボット

現在、私が簡単に設計したものを同期が作ってくれたアプリがあり、内容としては上記の表のような感じです。

しかしながら、heroku環境では500時間しか無料では動かせないようであり、止まってしまいました。そこで、AWSの研鑽も兼ねて、これをAWSに移行してみよう！というチャレンジをします。

JupyterLabの便利なショートカット

アプリ側の実装者・同期さまの環境はJupyterLab(Anacondaに附属しているのですね。初めて知りました）。まずはこれを理解せねばなりません。

コマンド	結果
Shift+Etr	セル内のコードを実行して下に追加
Ctrl+Etr	セル内のコードを実行
D^2	セルを削除
A	上にセルを追加
B	下にセルを追加
Ctr+/	コメントアウト
途中まで書いてTab	オートコンプリートによる補完

他にもここを叩くと色々出てくるようです。すごい。

その他気になった点はこんな感じです。
（分かりやすいReadme.mdに助かる。。。）

• どうも、terminalみたいなイメージで使って良いようmasu.Chromeから開くとあたかもクラウドサービスのような感じになりますが、実際にはローカルホストで動いてます。
• .ipynbはあくまでもノートブック。実行ファイル部分を出力するには、メニューからexport as executable。すると、実行できない部分はコメントアウトされた状態で、`.pyが出力されるよ。
• Variable Inspectorというextensionはおすすめ。インストールしたら右クリックで使えるよ。

わからない！

JLabを見渡しつつ、本体となるpythonのコードも読み込みます。

いくつか、見覚えのない点が、、

import Botって？

from slackbot.bot import Bot, respond_to
という記載が。importは分かるのですが、Botって何でしょう。
respond_toも聞いたことが。。ない。。

from slackbot.bot import Bot
これが根拠となっていそう。ここで、fromとimportの区別ができていない自分に気づく……
……

Pythonでライブラリやモジュールを読み込む際には「import」および「from」を使いますが、この2つは使い方がややこしく、違いをあまり分からずに使っている方もいると思います。

ですよね〜！（下記参考文献より）

……ということで、モジュールをバイパスしてクラスとか関数を直接importする指令だったみたい。
やったぜ。

defってなんだ！？

pythonはちょっとだけやったことがあったのですが……defという表現を使った覚えがありません。
鍛錬が足りませんね。これも調べます。

色々みましたがこれが格別に分かりやすいです。
いままで、classは使ったことがありましたがdefは使っていませんでした。VB.netで世界観が止まっていたのだと実感します。
classより細かい単位化ができるということですね！

この辺でpythonコードを読解

疑問点はこれで解消したので、ここで同期さまが書いてくれたコードを読解！しようと思います。

……なんか理解できた気がします！

気になった点

Spreadsheetからデータを取ってくるコードの冗長性が高そうです。
効率化できないか次回以降検討してみます！

次回予告

次は、①冗長性問題の解決に取り組み、さらに、②現在の実行環境であるherokuの理解を目指します！

応用的だけどすごい勉強になる学習内容

@respond_toって何？という、知らなくても良いけど知ったらプロになれる疑問に答えてくれます。

参考文献

1. はじめに

　Rubyには式展開という便利なツールがありPythonにも同じものがあればいいなと思っていたらPythonにもf文字列という形でありました。今回はf文字列を用いて辞書の作成などを行っていこうと思います。

(注1)f文字列はPython3.6で導入された機能です。それ以前のバージョンでは使用できません。

(注2)rubyの式展開とは#{}のことです。

sample.rb

age = 20
puts '私の年齢は#{age}です'

2. f文字列を用いて辞書の値を表示させる

　まずは辞書をつくります。

sample1.py

dict = {}

dict["名前"] = "山田太郎"
dict["年齢"] = 20

　次に「私の名前は山田太郎です。」という文と「私の年齢は20歳です。」という文章をf文字列を用いて出力してみます。

sample2.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict["name"]}です。')
print(f'私の年齢は{dict["age"]}です。')

# 出力結果
# 私の名前は山田太郎です。
# 私の年齢は20です。

　f文字列を使い辞書の値を出力させる際の注意点が１つあります。それはf文字列を囲う引用符と辞書のキー囲む引用符と同じ引用符は使えないということです(例外あり　例外はまとめの後に記載)。同じ引用符を使うとエラーになります。自分はしばしばf文字列と辞書を囲う引用符を同じにしてエラーになっています。
(2021年3月9日追記　例外をまとめの後に記載)

sample3.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict['name']}です。')
print(f'私の年齢は{dict['age']}です。')

# 出力結果
# SyntaxError: invalid syntax

　また辞書のキーを引用符で囲わなくてもエラーになります。

sample4.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict[name]}です。')
print(f'私の年齢は{dict[age]}です。')

# 出力結果
# NameError: name 'name' is not defined

3. まとめ

　Python3.6以降ではf文字列を用いて辞書の値を出力させることができます。
あと余談で詳しく書いたのですが、コードの可読性はf文字列の方が良いのでf文字列を使ったほうが良いと思います。

注3(2021年3月9日訂正のため追記)

　この記事を読んでいただいた方からf文字列を囲う引用符と辞書のキー囲む引用符と同じ引用符を使える場合があることを教えていただきました。本当にありがとうございます！そしてここで訂正させていただきます。本当に申し訳ありません。
　以下のコードのようにf文字列全体を三重引用符(""")で囲み辞書のキーをダブルクオーテーション(")で囲むとf文字列全体を囲う引用符と辞書のキーを囲う引用符を同じにできるそうです。いや、お見事！

sample5.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f"""私の名前は{dict["name"]}です。""")
print(f"""私の年齢は{dict["age"]}です。""")

余談　f文字列 VS 文字連結

sample6.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print('私の名前は' + dict['name'] + 'です。')
print('私の年齢は' + str(dict['age']) + 'です。')

# 出力結果
# 私の名前は山田太郎です。
# 私の年齢は20です。

　２つの例を比較すると前者のf文字列を用いたほうがコードの可読性が良いと思います。「私は山田太郎、20歳、大学1年生です。」という1つの文に「名前」、「年齢」、「学校種別」、「学年」の4つの変数がある文を出力しようとするとさらにf文字列のありがたみが分かると思います。

sample6.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20
dict["school"] = "大学"
dict["grade"] = 1

# f文字列を使った場合
print(f'私は{dict["name"]}、{dict["age"]}歳、{dict["school"]}{dict["grade"]}年生です。')

# f文字列を使わなかった場合
print('私は' + dict['name'] + '、' + str(dict['age']) + '歳、' + dict['school'] + str(dict['grade']) + '年生です。')

# 出力結果
# 私は山田太郎、20歳、大学1年生です。
# 私は山田太郎、20歳、大学1年生です。

参考文献

Pythonの文字列が標準でf文字列になる（かも）
【Python】文字列の埋め込みにはf文字列を使うべき

1. はじめに

　Rubyには式展開という便利なツールがありPythonにも同じものがあればいいなと思っていたらPythonにもf文字列という形でありました。今回はf文字列を用いて辞書の作成などを行っていこうと思います。

(注1)f文字列はPython3.6で導入された機能です。それ以前のバージョンでは使用できません。

(注2)rubyの式展開とは#{}のことです。

sample.rb

age = 20
puts '私の年齢は#{age}です'

2. f文字列を用いて辞書の値を表示させる

　まずは辞書をつくります。

sample1.py

dict = {}

dict["名前"] = "山田太郎"
dict["年齢"] = 20

　次に「私の名前は山田太郎です。」という文と「私の年齢は20歳です。」という文章をf文字列を用いて出力してみます。

sample2.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict["name"]}です。')
print(f'私の年齢は{dict["age"]}です。')

# 出力結果
# 私の名前は山田太郎です。
# 私の年齢は20です。

　f文字列を使い辞書の値を出力させる際の注意点が１つあります。それはf文字列を囲う引用符と辞書のキー囲む引用符と同じ引用符は使えないということです。同じ引用符を使うとエラーになります。自分はよくf文字列と辞書を囲ういっｍ

sample3.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict['name']}です。')
print(f'私の年齢は{dict['age']}です。')

# 出力結果
# SyntaxError: invalid syntax

　また辞書のキーを引用符で囲わなくてもエラーになります。

sample4.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print(f'私の名前は{dict[name]}です。')
print(f'私の年齢は{dict[age]}です。')

# 出力結果
# NameError: name 'name' is not defined

3. まとめ

　Python3.6以降ではf文字列を用いて辞書の値を出力させることができます。
あと余談で詳しく書いたのですが、コードの可読性はf文字列の方が良いのでf文字列を使ったほうが良いと思います。

余談　f文字列 VS 文字連結

sample5.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20

print('私の名前は' + dict['name'] + 'です。')
print('私の年齢は' + str(dict['age']) + 'です。')

# 出力結果
# 私の名前は山田太郎です。
# 私の年齢は20です。

　２つの例を比較すると前者のf文字列を用いたほうがコードの可読性が良いと思います。「私は山田太郎、20歳、大学1年生です。」という1つの文に「名前」、「年齢」、「学校種別」、「学年」の4つの変数がある文を出力しようとするとさらにf文字列のありがたみが分かると思います。

sample6.py

dict = {}

dict["name"] = "山田太郎"
dict["age"] = 20
dict["school"] = "大学"
dict["grade"] = 1

# f文字列を使った場合
print(f'私は{dict["name"]}、{dict["age"]}歳、{dict["school"]}{dict["grade"]}年生です。')

# f文字列を使わなかった場合
print('私は' + dict['name'] + '、' + str(dict['age']) + '歳、' + dict['school'] + str(dict['grade']) + '年生です。')

# 出力結果
# 私は山田太郎、20歳、大学1年生です。
# 私は山田太郎、20歳、大学1年生です。

参考文献

Pythonの文字列が標準でf文字列になる（かも）
【Python】文字列の埋め込みにはf文字列を使うべき

環境

Python 3.8.7
Django==2.2

エラー内容

アカウントの編集とかの操作するアプリケーション名を変更して

python manage.py makemigrations

をしたら

Traceback (most recent call last):
略
django.db.migrations.exceptions.InconsistentMigrationHistory: Migration socialaccount.0001_initial is applied before its dependency account_manage.0001_initial on database 'default'.

とエラーが発生。

python manage.py migrate

も同じエラー。
そこで、エラー文をググってみると、

があった！
書いてあるように、

python manage.py showmigraions

をやったら、前に作ったアプリケーションでmigrateしたデータが残ってた、、、。そりゃそうだな。

解決方法

すべてのアプリケーションのmigrations直下のinit.py以外のファイルを削除。

python manage.py makemigrations
python manage.py migrate

をしたら動いた！

自己紹介

初めまして。
本誌を訪問頂き有難うございます。
趣味で python を始めた中年おじさんです。
基礎から始めたくて記事を書き始めた今日この頃です。
本誌は基礎編 第四弾です。

第一弾 基礎編:木構造の全探索(DFS/BFS)
第二弾 基礎編:二分探索
第三弾 基礎編:再帰処理

全部わからなくてもいい。
気が向いたときに改めて向き合えば良いと思っているので
ゆるーく、やっていきます。

学習目標

今回は Leetcode:Queue & Stack の理解を目標とします。
どのように理解するかは、以下のアプローチで進めます。

テンプレートの暗記 =>
記述の理解(イメージ作成) =>
自分なりのアプローチで再検証 =>
理解の穴を埋める

試行錯誤を繰り返すことで理解が深まり、思考力が養われると思います。

例題 * Queue & BFS

上図のグラフ構造のデータを探索してみましょう!!
A から start して G に行ってみましょう!!

解説

まずはグラフ構造を作成し、
再帰処理で bfs を実現するケースと
Queue で bfs を実現するケースの 2 つを用意しました。

graph_search.py

class node:
    def __init__(self,name):
        self.name = name
        self.visit = False
        self.adjust = []

def visit(node):
    print(f"node:{node.name}")
    node.visit = True

def recursive(node):
    if not node:
        return 
    visit(node)
    for i in node.adjust:
        if not i.visit:
            recursive(i)

def queue(node):
    q = [node]
    while q:
        nums = q.pop(0)
        if not nums.visit:
            visit(nums)
        for i in nums.adjust:
            q.append(i)

n_a = node("a")
n_b = node("b")
n_c = node("c")
n_d = node("d")
n_e = node("e")
n_f = node("f")
n_g = node("g")

n_a.adjust = [n_b,n_c,n_d]
n_b.adjust = [n_e]
n_c.adjust = [n_e,n_f]
n_d.adjust = [n_g]
n_f.adjust = [n_g]

#recursive(n_a)
queue(n_a)

実行結果.py

node:a
node:b
node:c
node:d
node:e
node:f
node:g

演習 Walls and Gates

m x n の配列に初期値を代入して差し上げます。
初期値の意味は以下になります。

・-1 : 壁、もしくは障害物
・ 0 : 門
・Inf: 2^31 -1 = 2147483647 を Inf と定義し、空き部屋と同義

空き部屋には、最寄りの門からの距離を埋めてください。
もし、門に辿り着けない場合は INF を入れてください。

answer_image.py

#Example1
Input: rooms = [
[2147483647,-1,0,2147483647],
[2147483647,2147483647,2147483647,-1],
[2147483647,-1,2147483647,-1],
[0,-1,2147483647,2147483647]]

Output: [
[3,-1,0,1],
[2,2,1,-1],
[1,-1,2,-1],
[0,-1,3,4]
]

#Example 2:
Input: rooms = [[-1]]
Output: [[-1]]

#Example 3:
Input: rooms = [[2147483647]]
Output: [[2147483647]]

#Example 4:
Input: rooms = [[0]]
Output: [[0]]

解説

過去に似たようなことをやっていたので
やりやすかったです。=> 過去の記事: 迷路に迷ってみた

maze.py

class Solution():
    def wallsAndGates(self, rooms):
        """
        input: List[int][int]
        rtype: List[int][int]
        """
        m = len(rooms)
        n = len(rooms[0])

        if  m == 0:
            return rooms

        #add all gates to a queue
        queue = []
        for i in range(m):
            for j in range(n):
                if rooms[i][j] == 0:
                    queue.append((i,j))

        while queue:
            row, col = queue.pop(0)
            for i in range(4):
                r,c = row + [1,0,-1,0][i],col+[0,1,0,-1][i]
                if r < 0 or c < 0 or r >= m or c >= n or rooms[r][c] != 2147483647:
                    continue
                rooms[r][c] = rooms[row][col] + 1
                queue.append((r,c))

演習 Number of Islands

プレゼントした m x n の配列では 1 は陸、0 は水になりますので、島の数を返してください。
島とは水で囲まれており、1 を水平、垂直方向につながって形成されている物を指します。
枠の外は水で囲まれていると想定して oK です。

answer_image.py

#Example 1:
Input: grid = [
  ["1","1","1","1","0"],
  ["1","1","0","1","0"],
  ["1","1","0","0","0"],
  ["0","0","0","0","0"]
]
Output: 1
#Example 2:
Input: grid = [
  ["1","1","0","0","0"],
  ["1","1","0","0","0"],
  ["0","0","1","0","0"],
  ["0","0","0","1","1"]
]
Output: 3

制約:
m == grid.length
n == grid[i].length
1 <= m, n <= 300
grid[i][j] is '0' or '1'.

解説

今回は障害物で囲まれていることを利用します。
つまり、1 である場合は、それを 0 に塗り替える。
塗り替えたら、上下左右も同じように塗り替える。

しかし、枠の制限を超えたり、もともと 0 であれば、
塗りつぶす作業が Stop します。

2 重 for 分で 1 である個所を探し、
前述の強制 stop が掛かる塗りつぶし作業を何回行ったか？
これが大陸の数になります。

island.py

class Solution():
    def numIslands(self,grid):
        islands = 0
        for i in range(len(grid)):
            for j in range(len(grid[0])):
                if grid[i][j] == "1":
                    islands += 1
                    self.part_of_island(i,j,grid)
        return islands

    def part_of_island(self,i,j,grid):
        if i < 0 or j < 0 or i == len(grid) or j == len(grid[0]) or grid[i][j] != "1":
            return
        else:
            grid[i][j] = "0"

        for k in range(4):
            i,j = i+[1,0,-1,0][k],j+[0,1,0,-1][k]
            self.part_of_island(i,j,grid)

演習 Open the Lock

図にあるように南京錠をプレゼントします。南京錠には 4 つのダイヤルがあり、
それぞれ'0', '1', '2', '3', '4', '5', '6', '7', '8', '9' の合計 10 個を設定できます。
各ダイヤルは自由に回して数字を設定できます。例えば、'9' から '0', '0' から '9' のように変えることが出来ます。

ダイヤルの初期値は "0000" です。
この "0000" は 4 つのダイヤルの文字を並べて構成されています。

注意点として、特定のコードになると、
ダイヤルを回すことが出来なくなり、鍵を開けることが出来なくなります。

target がカギを解除するコードになります。
鍵を開けるための最低何回ダイヤルを回す必要があるか教えて下さい。
開けられない場合は -1 を返してください。

answer_image.py

#Example 1:
Input: deadends = ["0201","0101","0102","1212","2002"], target = "0202"
Output: 6
#Explanation:
#A sequence of valid moves would be "0000" -> "1000" -> "1100" -> "1200" -> "1201" -> "1202" -> "0202".
#Note that a sequence like "0000" -> "0001" -> "0002" -> "0102" -> "0202" would be invalid,
#because the wheels of the lock become stuck after the display becomes the dead end "0102".

#Example 2:
Input: deadends = ["8888"], target = "0009"
Output: 1
#Explanation:
#We can turn the last wheel in reverse to move from "0000" -> "0009".

#Example 3:
Input: deadends = ["8887","8889","8878","8898","8788","8988","7888","9888"], target = "8888"
Output: -1
#Explanation:
#We can't reach the target without getting stuck.

#Example 4:
Input: deadends = ["0000"], target = "8888"
Output: -1

解説

openLock.py

class Solution(object):
    def openLock(self, deadends, target):
        def neighbors(node):
            for i in range(4):
                x = int(node[i])
                for d in (-1, 1):
                    y = (x + d) % 10
                    yield node[:i] + str(y) + node[i+1:]

        dead = set(deadends)
        queue = collections.deque([('0000', 0)])
        seen = {'0000'}
        while queue:
            node, depth = queue.popleft()
            if node == target: return depth #鍵が解除できれば return depth
            if node in dead: continue       #lock code に該当したら pass
            for nei in neighbors(node):     #neighbors を使って該当案をリスト
                if nei not in seen:         #過去に確認した記録がないことを確認
                    seen.add(nei)           #確認したことを記録
                    queue.append((nei, depth+1)) #depth をインクリメント
                                                 #nei を buff して次回 neighbors に渡して案を作ってもらう
        return -1

該当案の組み合わせをどうやって捻出するかを neighbor で
処理しているので切り出して動かしてみます。

neighbors.py

def neighbor(node):
    for i in range(4):
        x = int(node[i])
        for d in (-1,1):
            y = (x+d)%10
            yield node[:i] + str(y) + node[i+1:]

for i in neighbor("0000"):
    print(i)

今回はテストで "0000" としていますが、
[0] ~ [3] を一つずつ取り出してある処理をします。
それは取り出したデータを (+1 or -1) %10 とします。
%10 としているのが味噌です。
これにより -1 % 10 = 9 , 1 %10 = 1 を
[0] ~ [3] に順番に代入していきます。
それが以下の実行結果です。

neighbor_result.py

#実行結果
9000 #i = 0 , d = -1
1000 #i = 0 , d =  1
0900 #i = 1 , d = -1
0100 #i = 1 , d =  1
0090 #i = 2 , d = -1
0010 #i = 2 , d =  1
0009 #i = 3 , d = -1
0001 #i = 4 , d =  1

因みに yield に関しては以下のサイトが分かりやすかったです。

演習 Perfect Squares

整数 n をプレゼントしますので、正方形の総和で n となる最小の正方形の数を教えてください。
勿論、正方形は整数で 1,4,9,16... を意味しており、3 や 11 ではありません。

answer_image.py

#Example 1:
Input: n = 12
Output: 3
#Explanation: 12 = 4 + 4 + 4.

#Example 2:
Input: n = 13
Output: 2
#Explanation: 13 = 4 + 9.

制約:
1 <= n <= 10^4

解説

answer_sample.py

class Solution:
    def numSquares(self, n):

        # list of square numbers that are less than `n`
        square_nums = [i * i for i in range(1, int(n**0.5)+1)]
        # if n = 4 , int(4**0.5)+1 = 3, squre_nums = [1,4]
        # if n = 15, int(15**0.5)+1= 4, squre_nums = [1,4,9]

        level = 0
        queue = {n}
        while queue:
            level += 1
            #! Important: use set() instead of list() to eliminate the redundancy,
            # which would even provide a 5-times speedup, 200ms vs. 1000ms.
            next_queue = set()
            # construct the queue for the next level
            for remainder in queue:
                for square_num in square_nums:    
                    if remainder == square_num:
                        return level  # find the node!
                    elif remainder < square_num:
                        break
                    else:
                        next_queue.add(remainder - square_num)
            queue = next_queue
        return level

リストを使った以下の記述でも行ける気がするのですが、
time over となります。

numSquare.py

class solution:
    def numSquare(self,n):
        base = [i*i for i in range(1,int(n**0.5)+1)]

        q = [n]
        level = 0
        length = 0

        while q:
            level += 1
            length = len(q)
            for _ in range(length):
                nums = q.pop(0)
                for i in base:
                    if i == nums:
                        return level
                    elif i < nums:
                        q.append(nums-i)

set() の使い方を整理して list 以外の表記でも
理解できるようにしましょう。

演習 Min Stack

スタックがサポートしている push/pop/top を作ってみましょう。
・push(x) -- スタックにデータを push !!
・pop() -- スタックから top data を取り出します
・top() -- top data を確認
・getMin() -- スタックから最小値を取り出す

解説

answer.py

class MinStack:

    def __init__(self):
        self.stack = []

    def push(self, x: int) -> None:
        if not self.stack:
            self.stack.append((x,x))
            return
        current_min = self.stack[-1][1]
        self.stack.append((x,min(x,current_min)))

    def pop(self) -> None:
        self.stack.pop()

    def top(self) -> int:
        return self.stack[-1][0]

    def getMin(self) -> int:
        return self.stack[-1][1]

演習 Valid Parentheses

Given a string s containing just the characters '(', ')', '{', '}', '[' and ']', determine if the input string is valid.

An input string is valid if:

Open brackets must be closed by the same type of brackets.
Open brackets must be closed in the correct order.

answer_image.py

#Example 1:
Input: s = "()"
Output: true
#Example 2:
Input: s = "()[]{}"
Output: true
#Example 3:
Input: s = "(]"
Output: false
#Example 4:
Input: s = "([)]"
Output: false
#Example 5:
Input: s = "{[]}"
Output: true

解説

isValid.py

#approach 1
class Solution:
    def isValid(self, s: str) -> bool:
        while "()" in s or "{}" in s or "[]" in s:
             #左から順番に処理
             #      1番目 ↓　　　　　2番目 ↓           3番目　↓
            s=s.replace("()","").replace("{}","").replace("[]","")
            # "[{()}]"=> remove "()" => 
            #  "[{}]" => remove "{}" =>
            #   "[]"  => remove "[]" => ""   
        return s == ""

#approach 2
def isValid(s):
    maps = { ")":"(",  "]":"[",  "}":"{"}
    q = []

    for i in s:

        if i in maps:
            #if s = "]", q has no data to pop to top.
            #in that case we have to output dummy data to reach the goal(to output False)
            top = q.pop() if q else "#"
            print(q,top)
            if maps[i] != top:
                return False
        else:
            q.append(i)

    return not q

演習 Daily Temperatures

温度 T を daily で記録したリストを差し上げます。
そのリストを元に、何日待てば温度が上昇するか、各日を基準に考えたリストに直して返してください。
もし、今後、その日以上に温かくなることが見込まれない場合は 0 を入力してください。

例えば、 T = [73, 74, 75, 71, 69, 72, 76, 73] を与えられたとすると
output は [1, 1, 4, 2, 1, 1, 0, 0] になります。

メモ:温度は 1 以上 30000 以下とし、日数は 30 以上 100 以下とします。

解説

ansawer_sample.py

class Solution:
    def dailyTemperatures(self, T):
        ans = [0] * len(T)
        stack = [] #indexes from hottest to coldest
        for i in range(len(T) - 1, -1, -1):
            while stack and T[i] >= T[stack[-1]]:
                stack.pop()
            if stack:
                ans[i] = stack[-1] - i
            stack.append(i)
        return ans  

GIF で追いかけてみました。

演習 Evaluate Reverse Polish Notation

逆ポーランド記法で算術表現を評価してください。
有効な演算子は +, -, *, / です。
Each operand may be an integer or another expression.
各オペランドは整数もしくは他の数式にすることが出来ます。

注意:
割り算は小数点以下は切り捨て。

answer_image.py

#Example 1:
Input: ["2", "1", "+", "3", "*"]
Output: 9
#Explanation: ((2 + 1) * 3) = 9
#Example 2:
#Input: ["4", "13", "5", "/", "+"]
Output: 6
#Explanation: (4 + (13 / 5)) = 6
#Example 3:
Input: ["10", "6", "9", "3", "+", "-11", "*", "/", "*", "17", "+", "5", "+"]
Output: 22
#Explanation: 
#  ((10 * (6 / ((9 + 3) * -11))) + 17) + 5
#= ((10 * (6 / (12 * -11))) + 17) + 5
#= ((10 * (6 / -132)) + 17) + 5
#= ((10 * 0) + 17) + 5
#= (0 + 17) + 5
#= 17 + 5

解説

answer_image.py

class Solution:
    def evalRPN(self, tokens: List[str]) -> int:
        operations = {
            "+": lambda a, b: a + b,
            "-": lambda a, b: a - b,
            "/": lambda a, b: int(a / b),
            "*": lambda a, b: a * b
        }
        stack = []
        for token in tokens:
            if token in operations:
                number_2 = stack.pop()
                number_1 = stack.pop()
                operation = operations[token]
                stack.append(operation(number_1, number_2))
            else:
                stack.append(int(token))
        return stack.pop()    

今回は lambda の使い方と、その呼び出し方を勉強させてもらいました。
演算子を除いて、基本は append していきます。
演算子が出てきたら、pop を 2 回行って、演算を行います。

すばらしい!!勉強になりました。

概要

Pythonの辞書から探す時、Keyが存在しないとエラーが出てしまう。

今まではifで回避していたが、そういえばexcept KeyErrorでも回避できるので、ごく簡単にまとめる。

内容

環境

macOS Catalina
Python 3.7.0

準備

tmp.py

names = {'tokino': 'sora', 'sakura': 'miko'}
print(names['suzuki'])

ここで、names['suzuki']とすると、エラーが出てしまう。

解決策1 ifを使う

tmp.py

if 'suzuki' not in names:
    names['suzuki'] = 'not yet'
print(names['suzuki'])

解決策2 tryを使う

tmp.py

try:
    print(names['suzuki'])
except KeyError:
    names['suzuki'] = 'not yet'
    print(names['suzuki'])

蛇足

単にデフォルト値を欲しいだけなら、

print(names.get('suzuki', 'not yet'))

デフォルト値を設定したいだけなら、
defaultdictを使うことで解決するかもしれない。

私の例はあまりいい例ではないと思う。

参考にさせていただいた本・頁

特になし

感想

書き方の幅が広がって良かった。

今後

tryの方を使った方が自然な時は、使っていこうと思う。

注意：この記事は競プロ初心者が茶色を目指すために復習や反省するだけの記事です。使用言語はPython3で現状のパフォーマンスは200-300程度です。
あくまで自分の備忘録ですが同レベルの方の新しい発見に繋がれば嬉しいです。

結果

A問題 正解
B問題 正解(ミスが多く再提出と時間がかかった)
C問題 やりたいことは分かったが計算量の面でTLEになり不正解

B問題

N人の人がそれぞれ仕事A,BをAi分Bi分で終わらせることができる。その時最短で終わる時間を求める問題。別の人が仕事をするならA,Bの長いほうが終わる時間になり同じ人が仕事をするならA,Bの和が終わる時間になる。

まず根本的な考え方のミスとしてAの時間最小値とBの時間最小値と同一人物の合計の最小値を求めそれらを比較したがそれだと不正解になることに気が付くのが遅かった。
例)
1.A1=4 B1=4
2.A2=8 B2=5

この時一人目に仕事を任せると4+4で8分となってしまう。そのうえ最小値で求めても4分と4分で答えが4分になるが実際A1とB2で5分が一番早く仕事が終わる。
2<N<1000の条件があったため総当たりで考えても計算量は全く問題なかったことに気が付くのが遅かった。

C問題

N個の整数が与えられる。各要素同士の2乗の和を求める。
やることは分かったのでやってみたらTLEになった。

C.py

#TLEになったコード
N=int(input())
num=input().split(" ")
all=0
for a in range(N):
    for b in range(a,N):
        if a!=b:
            all=all+(int(num[a])-int(num[b])**2
print(all)

与えられる数値に|A|<200という制約があったためそれを利用するらしい。
N<3×10^5なのでO(N^2)だと10^10を超え実行速度に問題が出るパターンがある。
しかし-200<A<200なら各要素の2乗のパターンは多く見積もって400×400で160000しかない。
(a-b)^2で求めようとしていたものを考え方を変え、S^2となるSの量を求める。
(雑な例だがS=1が2個,S=3が3個なら1*2+3*2=11となる)

C問題、かなり考えていますが今の理解はここまでなのでいったん保留にします。
他の過去のC問題などもこなしてから再考しようと思います。

身についたこと

・二つ以上の要素でN>10^5の可能性がある時計算量が多くなるためほかの面を利用する。
　今回のC問題の場合は要素数Nではなく要素の範囲-200<i<200を用いてfor文を回す。(C問題)
・全検索で10^10までの回数なら全検索もあり。(B問題)

環境

macOS Cataina
10.15.7

python 3.6.2

ソースコード

2xy_hist.py

import matplotlib.pyplot as plt
import xlrd
import numpy
import matplotlib.ticker as tick # 目盛り操作に必要なライブラリを読み込み 
import sys

plt.rcParams["font.size"] = 14

if __name__ == '__main__':
    book = xlrd.open_workbook('2xy.xlsx')  # ブック名
    sheet1 = book.sheet_by_name('Sheet1') 


    X = []
    Y = []
    Z = []

##################シート読み込み#############                                               
    # セルを cell(行番号, 列番号) で指定（0から数える）                                         \
    for row in range(0, sheet1.nrows):
        valuex = sheet1.cell(row, 0).value
        if  valuex  != '':
            X.append(valuex)
    X = numpy.array(X)

    for row in range(0, sheet1.nrows):
        valuey = sheet1.cell(row, 1).value
        if  valuey  != '':
            Y.append(valuey)
    Y = numpy.array(Y)


#3講座目がある場合
#    for row in range(0, sheet1.nrows):
#        valuez = sheet1.cell(row, 2).value
#        if  valuez  != '':
#            Z.append(valuez)
#    Z = numpy.array(Z)

fig2, axes = plt.subplots(2, 2)

print(X)
print(Y)
print(Z)

#sys.exit()
#################xのヒストグラム############
#plt.hist(X, bins=20,color="0.3", range=(0,100))  
axes[0,0].hist(X, bins=20,color="0.3", range=(0,100))
axes[0,0].grid(linestyle="--",which="minor")
axes[0,0].grid(which='major',color='black',linestyle='--')
#axes[0,0].set_title('2x')
axes[0,0].set_xlabel('score')
axes[0,0].set_ylabel('frequency')  
axes[0,0].set_xlim(0,100)
axes[0,0].set_ylim(0,10)
axes[0,0].xaxis.set_minor_locator(tick.MultipleLocator(5)) 
axes[0,0].yaxis.set_minor_locator(tick.MultipleLocator(1))
muX = numpy.mean(X)
meX = numpy.median(X)
sigmaX = numpy.std(X) 
varianceX = numpy.var(X)
# 平均値の線
axes[0,0].axvline(muX, linewidth=2, color='k',label="average",linestyle='solid')
#中央値                                                                                                                    
axes[0,0].axvline(meX, linewidth=2, color='k',label="median",linestyle='dashdot')                                        
axes[0,0].legend(loc='upper right')
axes[0,0].text(0,10.1, r'''
2x,μ=%.2f, me=%.2f, σ=%.2f''' %(muX, meX, sigmaX))   


#plt.show()

#################yのヒストグラム############
#plt.subplot(2,2,3)
#plt.hist(Y, bins=20,color="0.3", range=(0,100))
axes[0,1].hist(Y, bins=20,color="0.3", range=(0,100))
axes[0,1].grid(linestyle="--",which="minor")
axes[0,1].grid(which='major',color='black',linestyle='--')
#axes[0,1].set_title('2y')
#axes[0,1].set_xlabel('score')
#axes[0,1].set_ylabel('frequency')
axes[0,1].set_xlim(0,100)
axes[0,1].set_ylim(0,10)
axes[0,1].xaxis.set_minor_locator(tick.MultipleLocator(5))
axes[0,1].yaxis.set_minor_locator(tick.MultipleLocator(1))
muY = numpy.mean(Y)
meY = numpy.median(Y)
sigmaY = numpy.std(Y)
varianceY = numpy.var(Y)
# 平均値の線  
axes[0,1].axvline(muY, linewidth=2, color='k',label="average",linestyle='solid')
#中央値
axes[0,1].axvline(meY, linewidth=2, color='k',label="median",linestyle='dashdot')
axes[0,1].legend(loc='upper right')
axes[0,1].text(0,10.1, r'''
2y,μ=%.2f, me=%.2f, σ=%.2f''' %(muY, meY, sigmaY))


#3講座目がある場合
##################zのヒストグラム############
#axes[1,0].hist(Z, bins=20,color="0.3", range=(0,100))
##plt.hist(Z, bins=20,color="0.3", range=(0,100))                                           
##sys.exit()                                                                                 
#axes[1,0].grid(linestyle="--",which="minor")
#axes[1,0].grid(which='major',color='black',linestyle='--')
##axes[1,0].set_title('2z')
#axes[1,0].set_xlabel('score')
#axes[1,0].set_ylabel('frequency')
#axes[1,0].set_xlim(0,100)
#axes[1,0].set_ylim(0,10)
#axes[1,0].xaxis.set_minor_locator(tick.MultipleLocator(5))
#axes[1,0].yaxis.set_minor_locator(tick.MultipleLocator(1))
#muZ = numpy.mean(Z)
#meZ = numpy.median(Z)
#sigmaZ = numpy.std(Z)
#varianceZ = numpy.var(Z)
# 平均値の線                                                                                                                                                               
#axes[1,0].axvline(muZ, linewidth=2, color='k',label="average",linestyle='solid')
#中央値                                                                                                                                                                    
#axes[1,0].axvline(meZ, linewidth=2, color='k',label="median",linestyle='dashdot')
#axes[1,0].legend(loc='upper right')
#axes[1,0].text(0,10.1, r'''                                                                                                                                                
#2z,μ=%.2f, me=%.2f, σ=%.2f''' %(muZ, meZ, sigmaZ))

axes[1,0].axis('off')

#################xyzのヒストグラム############                                                                                                          
Z = numpy.append(Z, X)
Z = numpy.append(Z, Y)
print(Z) # [1, 2, 3, 4, 5] 
axes[1,1].hist(Z, bins=20,color="0.3", range=(0,100))
axes[1,1].grid(linestyle="--",which="minor")
axes[1,1].grid(which='major',color='black',linestyle='--')
#axes[1,1].set_title('2xy')
axes[1,1].set_xlabel('score')
axes[1,1].set_ylabel('frequency')
axes[1,1].set_xlim(0,100)
#axes[1,1].xticks(range(5, 10))
axes[1,1].set_ylim(0,20)
axes[1,1].xaxis.set_minor_locator(tick.MultipleLocator(5))
axes[1,1].yaxis.set_minor_locator(tick.MultipleLocator(1))
muZ = numpy.mean(Z)
meZ = numpy.median(Z)
sigmaZ = numpy.std(Z)
varianceZ = numpy.var(Z)
# 平均値の線
axes[1,1].axvline(muZ, linewidth=2, color='k',label="average",linestyle='solid')
#中央値
axes[1,1].axvline(meZ, linewidth=2, color='k',label="median",linestyle='dashdot')
axes[1,1].legend(loc='upper right')
axes[1,1].text(0,20.1, r'''
2xy,μ=%.2f, me=%.2f, σ=%.2f''' %(muZ, meZ, sigmaZ))
plt.show()

完成しました

Developing your application in an isolated environment, like a Docker container, makes it easy to run on different platforms. Developer on different Operating Systems like MacOS, Window or Linux can install the development environment easy and fast with one command to run. No "Works on my machine" problems anymore, you can focus on write your application instead of setup your environment.

We setup a development environment for Python projects using Docker with separated development and production environment. As an example, we create a Flask web application. On the development build we install a debugger and setup remote debug into the Docker container. The production build installs a dedicated web server running our application.
We use the Docker Multistage Build feature to separate a development and production build but using the same Dockerfile.
To debug the application we use Visual Studio Code with Microsoft Python Extension.

Let's get started.

The Project Folder

First we create a Python Project with the following structure.

MyFlaskApp/
├ app.py
├ docker-compose.yaml
├ Dockerfile
└ requirements.txt

The project folder contains the file app.py with Flask application code, the Dockerfile to build the docker images, docker-compose.yaml is used to setup our development environment and requirements.txt contains a list with python modules needed for our Flask application.
Simply create empty files first, we fillup the content in the following paragraphs.

mkdir MyFlaskApp
cd MyFlaskApp
touch app.py
touch docker-compose.yaml
touch Dockerfile
touch requirements.txt

The Application Code

In the app.py file, we just copy & paste the demo HelloWorld application from the Flask documentation for simple demonstration.

app.py

from flask import Flask
app = Flask(__name__)


@app.route('/')
def hello_world():
    return 'Hello, World!'


if __name__ == "__main__":
    app.run(
        debug=True,
        host='0.0.0.0',
        port=5000
    )

The following block

@app.route('/')
def hello_world():
    return 'Hello, World!'

assign the route / to return the static string "Hello World!".
The last block

if __name__ == "__main__":
    app.run(
        debug=True,
        host='0.0.0.0',
        port=5000
    )

starts the Flask application when the script got executed from the command line (e.g. python app.py or python -m app)

The Dockerfile

Copy & Paste the following lines into the Dockerfile.

Dockerfile

FROM python:3.7-alpine AS base

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip install --no-cache-dir -r requirements.txt

ENV FLASK_ENV="docker"
ENV FLASK_APP=app.py
EXPOSE 5000

# Development Stage
FROM base AS develop
RUN pip install debugpy
# Keeps Python from generating .pyc files in the container
ENV PYTHONDONTWRITEBYTECODE 1
# Turns off buffering for easier container logging
ENV PYTHONUNBUFFERED 1

# Production Stage
FROM base AS production
RUN pip install --no-cache-dir gunicorn
COPY . .
CMD ["gunicorn", "--reload", "--bind", "0.0.0.0:5000", "app:app"]

We use a Docker feature called Multistage Builds which allows us to build multiple stages (Docker images) with one Dockerfile. Here we build 3 stages:
- base: install required dependencies
- development: install additional development dependencies (e.g. a debugger)
- production: copy the source files into the image and installs a proxy server for production build

The Base Stage

We declare our base stage in the first line inside the Dockerfile.

FROM python:3.7-alpine AS base

The FROM keyword specifies on environment we want to build our application. Since we are creating a python application, we choose a pre build python 3.8 Docker image. The Operating System depends on what we want to develop. We choose Alpine, a lightweight Ubuntu distribution.
With the suffix AS base we declare a stage with the name base. The name is free to choose.
The following commands are related to the base stage until another FROM commands appears.
WORKDIR /app creates a folder for the application in the image and change into that folder.
In in the following two lines

COPY src/requirements.txt requirements.txt
RUN pip install --no-cache-dir -r requirements.txt

we copy the python module dependencies list into the folder app/ and install the dependencies.
With the following three lines we define some environment variables specific for flask.

ENV FLASK_ENV="docker"
ENV FLASK_APP=app.py
EXPOSE 5000

In the line ENV FLASK_ENV="docker" we define an environment for which we can define a .env setting file with settings (e.g. database login information) which flask is looking up
automatically on startup. We don't use the .env file in this tutorial, but keep the structure for additional settings in the future. The second line ENV FLASK_APP=app.py tells flask, which file to run on startup. With the last line EXPOSE 5000 we set the port of the flask application to 5000 which we already set in the app.py file.

The Development Stage

In the development stage we reuse the base stage but install the debugger additionally. We define the development stage with the following line.

FROM base as develop

The following commands are related to the develop stage until another FROM commands appears.

As python debugger we install debugpy.

RUN pip install debugpy

Then we do some python setup, specific for our development environment.

# Keeps Python from generating .pyc files in the container
ENV PYTHONDONTWRITEBYTECODE 1
# Turns off buffering for easier container logging
ENV PYTHONUNBUFFERED 1

The first line ENV PYTHONDONTWRITEBYTECODE 1 disable the python byte-code generation, an optimization step which should be enabled in the production environment but in the development with frequent code changes results in increased memory on hard disc. If you feel, that your python runs too slow during development, you can enable this setting. The second line ENV PYTHONUNBUFFERED 1 disable the buffer for logs and send messages directly to the docker container runtime.
We don't copy any source files into the docker image, the source code is linked from our local directory with the docker container directly on startup. The setup is done in the docker-compose.yaml file, which we fill up in later.

The Production Stage

In the production stage we don't want a debugger installed and shipped with our production release. So we start again from the base stage.

FROM base as production

We install gunicorn as HTTP server for accessing the application in production.

RUN pip install --no-cache-dir gunicorn

Then we copy our source files into the image, because they don't change anymore for this specific production build version.
bash
COPY . .


In the last line we run the gunicorn HTTP server on startup, who starts our app.py application and listen to port 5000 which we already set in the base stage.

CMD ["gunicorn", "--reload", "--bind", "0.0.0.0:5000", "app:app"]

The Docker Compose File

We use Docker Compose to setup our development environment. In the docker-compose.yaml paste the following.

docker-compose.yaml

version: "3.9"

services:
  flask-app:
    image: my_flask_app-develop
    container_name: my_flask_app-develop
    build:
      context: .
      target: develop
    ports:
      - 5000:5000
      - 5678:5678
    volumes:
      - .:/app
    environment:
      - FLASK_DEBUG=1
    entrypoint: [ "python", "-m", "debugpy", "--listen", "0.0.0.0:5678", "-m", "app",  "--wait-for-client", "--multiprocess", "-m", "flask", "run", "--host", "0.0.0.0", "--port", "5000" ]
    networks:
      - my_flask_app-develop

networks:
  my_flask_app-develop:
    name: my_flask_app-develop

The following paragraphs explain each section the setup

The Services Section

We define all services to use in the services part of the file. We only setup our Flask application here, but could add additional services like a database service in a separate docker image.

With the following lines we define our Flask application service.

services:
  flask-app:
    image: my_flask_app-develop
    container_name: my_flask_app-develop

image tells docker the tag to assign when the image is build. This helps us to find the image later in the image list with the command docker images.
With container_name we give the container a name on startup. If we don't set a name here, randomly assign a name to the spawned container.

Under the build section we tell docker what to build.

    build:
      context: .
      target: develop

The docker-compose.yaml file is located in our application directory and context points to that directory to look for the Dockerfile with the build instructions. With target we say which stage to build. In our case the development stage.

The ports section defines the ports to use.

    ports:
      - 5000:5000
      - 5678:5678

Here we map the local ports 5000 and 5678 to the same ports in the container. Port 5000 is for our Flask application to connect, allowing us to open a browser and view the application under http://localhost:5000. Port 5678 is used by the debugger to listen for debug requests.

With volumes we assign our local application folder with the container.

    volumes:
      - .:/app

This allows us to change the source code without the need to rebuild our docker image after every change.

The environment section allows us to define environment variables.

    environment:
      - FLASK_DEBUG=1

Here we enable the debug mode in Flask, which shows us detailed error messages in the browser instead of an error-page.

entrypoint is the most important section and defines what to run on startup.

    entrypoint: [ "python", "-m", "debugpy", "--listen", "0.0.0.0:5678", "-m", "app",  "--wait-for-client", "--multiprocess", "-m", "flask", "run", "--host", "0.0.0.0", "--port", "5000" ]

We run the debugger first listening on port 5678. Then we assign our Flask application to the debugger and tell the debugger to wait for a client to connect on port 5678. The multiprocess flag allows us to access our running application beside debugging on port 5000 as well. The last part starts our Flask application on port 5000.

The Networks Section

The networks part let us define networks and assign them to services allowing us to control the communication between different services. We define only one network for our Flask application here. For detailed information and how to establish a connection between Docker containers see the Networking in Docker Compose Documentation.

services:
  flask-app:
    # ...
    networks:
      - my_flask_app-develop

networks:
  my_flask_app-develop:
    name: my_flask_app-develop

The Requirements File

The file requirements.txt lists all python modules we need in order to run our flask application. This time the only module we need is flask, so copy and paste the following into the requirements.txt file.

requirements.txt

Flask

We don't set any specific version of flask here, it is up to you if you want to set a fixed version instead (e.g. Flask==1.1.2).

Start the Development Environment

To run our development environment, we only need to run the following command inside our application directory.

Terminal

docker-compose up -d

This builds the develop stage docker image and spawn the docker container of the application. To stop the application container run the following command.

Terminal

docker-compose down

If you want to run docker compose in the foreground, omit the -d flag. You can stop the application then with the CTRL+C key shortcut.

Start Debugging

We use Visual Studio Code to debug our application.

If you want to use PyCharm instead of Visual Studio Code, you need a PyCharm Professional Edition license in order to remote debug into a Docker container. The free PyCharm Community Edition do not support remote debugging.

First we got into our application folder and start Visual Studio Code in that folder.

Terminal

cd MyFlaskApp
code .

If you get an error message code: command not found, then open Visual Studio Code by clicking on the program icon and start the command palette with Command+Shift+P on a Mac (Ctrl+Shift+P on Windows or Linux) and type "Shell Command", then select "Shell Command: Install 'code' command in PATH".

This should open Visual Studio Code with the contents of our application folder.

Install the Python Extension

Click on the Extensions icon on the left side. In the search field write "python" and select and install the Microsoft Python Extension in order to debug.

Setup Remote Debugging

The debug configuration is saved in the file launch.json inside the folder .vscode/.
The steps to setup your remote debugging differs in order to if a launch.json file already exist in your project folder or if you have to create a new file.

If you are using Visual Studio Code Version 1.54.1 there is a bug not showing Python as debug configuration as explained in the following steps. A workaround is to generate a launch.json file with arbitrary configuration (e.g. choose NodeJS) and then overwrite the contents with the launch.json provided in Add the Debug Configuration to an existing launch.json file

Generate the Debug Configuration File

If you don't have launch.json file, you can generate one with the following steps.
Click on the Debug icon on the left side, then create a launch.json file.

A launch.json file do not exist

If you successfully installed the Python Extension, then you should be able to select Python from the debug configuration list.

Create a launch.json file

Then select Remote Attach.

Then you need to select the remote debugger to connect. We use the defaults host name localhost and port 5678.

Add the Debug Configuration to an existing launch.json file

I you have already a launch.json file in the project directory, you can open the file and add the following configuration,

launch.json

{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Remote Attach",
            "type": "python",
            "request": "attach",
            "connect": {
                "host": "localhost",
                "port": 5678
            },
            "pathMappings": [
                {
                    "localRoot": "${workspaceFolder}",
                    "remoteRoot": "."
                }
            ]
        }
    ]
}

or you can also generate the configuration with the following steps.
Click on the Debug icon on the left side, then you should see a debug configuration combo-box instead. Click the down arrow and select Add Configuration....

A launch.json already exist

If you successfully installed the Python Extension, then you should be able to select Python from the debug configuration list.

Add configuration to existing launch.json

Then select Remote Attach.

Then you need to select the remote debugger to connect. We use the defaults host name localhost and port 5678.

Set a breakpoint and attach

Open app.py and set a breakpoint at line 7. Then attach to the debugger by clicking the green play button on the left side. Open the application in the browser by going to the url http://localhost:5000. The application should stop at the break point.

You can attach and detach as often as you want.

Build the Production Stage

Building the production stage we run the following command inside our application folder.

Terminal

docker build --target production -t my_flask_app .

With the --target parameter we tell docker which stage to build and with the tag parameter -t my_flask_app we give the image an appropriate name. Important is the . at the end telling Docker where to find our Dockerfile, that is the current directory we are running this command.

You can assign any tag you want to the built image, but take care not to use the same take for development and production build.

List the built Images

You can see the built image in the image list with the docker images command.

Terminal

docker images

REPOSITORY                          TAG          IMAGE ID       CREATED        SIZE
my_flask_app                        latest       a72b11d35c59   2 days ago     52.2MB
my_flask_app-develop                latest       5916db28c0ff   2 days ago     80.5MB

You can also see the difference in image size with debugger (80.5MB) and without debugger (52.2MB).

Run the Production build

To spawn a container running the production image use the following command.

Terminal

docker run -d --rm -p 5001:5000 --name my_flask_app my_flask_app:latest

We map the local port 5001 to the container port 5000 here, allowing us to run the production stage and the development stage at the same time.

Stage	URL
development	http://localhost:5000
production	http://localhost:5001

You can list running container with the following command.

Terminal

docker ps

CONTAINER ID   IMAGE                 COMMAND                  CREATED         STATUS         PORTS                    NAMES
a8bc12d89d9f   my_flask_app:latest   "gunicorn --reload -…"   7 seconds ago   Up 6 seconds   0.0.0.0:5001->5000/tcp   my_flask_app

To stop the container simply use the command

Terminal

docker stop my_flask_app

If you want to run the command in the foreground, omit the -d flag. You can stop the application then with the CTRL+C key shortcut.

生のSQL文を実行したいと考え模索していたが、今回のエラーが解決できたので備忘録として残す。

エラー内容

Object of type "AA" is not JSON serializable
とエラーが出た　
AAはJson形式ではないという内容

解決

views.py

from .models import BaseAPI
from .serializer import BaseAPISerializer
from rest_framework import generics
from rest_framework.views import APIView
from rest_framework.response import Response


class BaseAPIViewSet_GET(APIView):
    def get(self, request, pk, format=None):
        sql = "SQL文"
        queryset = BaseAPI.objects.raw(sql,pk)
        return Response(queryset.query) #ここが解決ポイント

urls.py

path('user/<int:pk>/test', BaseAPIViewSet_GET.as_view(), name='GET'),

ちなみにSQL文について
変数を使用した複数行に渡ってSQL文を書きたいと考えていた時があったが、

SELECT * FROM api WHERE name1=(SELECT name2 FROM api WHERE id=%s)

views.py

queryset = BaseAPI.objects.raw(sql,[pk]) #ここで実行

SELECTの中にSELECTを書くことが可能なため、一行のSQL文で自在に操作が可能

アンサンブル学習とは

アンサンブル学習(ensemble learning)とは、名の通り、弱学習器を多数作成し、多数決を取ることによって汎用的なモデルを作成することである。主に決定木を弱学習器としたランダムフォレスト、勾配ブースティングなどがあげられる(弱学習器が決定木である必要はない)。

アルゴリズム

ランダムフォレストは分類および回帰に用いられるアルゴリズムである。
同じ決定木を作成しては意味がない(皆が同じ予測をしてしまう)のでブートストラップサンプリングにより、訓練データを複製する。
ブートストラップサンプリングとは、データから交換ありでデータ数分選び出す手法である。

import numpy as np

def bootstrap(array):
    index_list = [np.random.randint(len(array)) for x in range(len(array))]
    return x[index_list]

x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

for i in range(5):
    print(bootstrap(x))

[ 9 10  4 10  1  1  6 10  8  3]
[ 5 10  3  8  5  7  9 10  7  1]
[ 7  6  8 10  5  8  5  7  1  5]
[10  9  6 10  5  6  4  3  2  3]
[ 9  5  4 10  9  4  6  1  9  6]

このようにしてサンプリングされたデータより多数の決定木を作成する。
パラメータにより作成する際にさらに特徴量を減らすこともできる。
多数得られた決定木の中で最も確率が高いラベルが予測値となる。
回帰の場合はデータの平均値が予測値となる。

scikit-learnでの使い方

【回帰】

from sklearn.ensemble import RandomForestRegressor
rf_reg = RandomForestRegressor()
rf_reg.fit(X_train, y_train)
rf_reg.score(X_test, y_test)

【分類】

from sklearn.ensemble import RandomForestClassifier
rf_clf = RandomForestClassifier()
rf_clf.fit(X_train, y_train)
rf_clf.score(X_test, y_test)

パラメータ

scikit-learnでのパラメータ名	概要	初期値	特性
n_estimators	学習器の個数	100	学習器の個数を指定。大きくすると時間がかかるが、精度はよくなる。
max_features	最大特徴量	"auto"	個々の学習器が見る特徴量の個数を指定。分類の場合、sqrt(n_features)、回帰の場合、n_featuresとなる。
max_depth	木の深さ	None	木の深さを指定。Noneの場合、純粋になるまで深くなる。

メリット

学習器の多数決を取るので、決定木よりも精度がよくなることが多い。
同時に木を作ることができるので、メモリの許す限り高速で学習が行える。

デメリット

決定木とは違い予測の根拠が分かりづらい。

はじめに M1 Macbook Proが登場して意気揚々として購入したものの，普段多用しているnumpyやmatplotlibをpipでインストールしようとしたら入らなかったので，その解決法(暫定)を記しておきます．(02/19/2020) 時間が経てばライブラリ側からこの問題は解消してくれるはずなので，その時に，今まで自分が何をいじったのかが思い出せるように，ここに記しておきたいと思います． numpy build fail in M1 Big sur 11.1 解消法 A. condaをインストールしてその上に入れる 今回こちらの方法は使いませんが一応紹介します． かくいう僕も以前まではAnacondaをよく使用していましたが，ライブラリがcondaで入らずに泣く泣くpipを使うたびに下の記事が頭に浮かんで心を痛めますし，何よりGitHubでソースコードを公開する場合はrequirements.txtをつけて pip install を促す場合が多いわけですから，Pythonのパッケージ管理はPython公式が推奨するpipに限定する方がいいと思います(この辺りのベストプラクティスは人それぞれだと思いますが) condaとpip：混ぜるな危険 ただ，condaの使用を許すのであれば以下の方法が一番簡単であるかと思います．MiniforgeというArm版に対応したcondaのインストーラーを使ってcondaをインストールし，その上にnumpyやmatplotlibをインストールします．詳しくは以下のサイトに譲ります． M1 macOS で python + numpy/scipy/pandas/matplotlib/jupyterlab 環境構築のメモ(2020/12/24 時点) Miniforge - Install B. tensorflow-macosを入れる tensorflow-macosというMacに最適化されたTensorFlowをインストールすれば，numpyは自動的にインストールすることもできるようです．ただ，これは本来の目的とは異なりますし，如何せんmatplotlibがインストールできない問題は解決しません． Mac-optimized TensorFlow and TensorFlow Addons (GitHub) How to install TensorFlow and NumPy on Apple Silicon (M1) (YouTube) C. Python3.9をインストールする ← これが本命 冒頭で説明したスレッドの回答に以下のようにあります． First of all numpy support is not there for m1 arm based Macs using python 3.8 version. The method to workaround with this is to update your python version to 3.9. This is the latest version of python and can be a bit unstable. If you want to work with tensorflow then do not update to python 3.9 version as they don't support it and support will come up with version 2.5 (estimated). So, if you don't want to use tensorflow and want to use numpy by using pip install then go ahead install python3.9 and make it your default python interpreter. I will recommend you to use Homebrew for installation of python 3.9 as it as easy as running a simple command. 現在のところ，Python3.9用のnumpyやmatplotlibはarmアーキテクチャをサポートしてそうなので，Python3.9をインストールしてその上に載せる形で実現しようと思います． デフォルトで入っているPython $ python --version # /usr/bin/python Python 2.7.16 $ python3 --version # /usr/bin/python3 Python 3.8.2 更地の環境は汚したくないので，pyenvを利用してバージョン管理をします(Pythonのバージョン管理とパッケージ管理のベストプラクティスは何なんでしょうね．この記事に説得力があるので個人的には pyenv+venv を採用しています．) Homebrewのインストール pyenvはHomebrew経由で入れますが，買ったばかりのMacにはHomebrewが入っていないのでインストールします． 去年の年末までは，Homebrewがまだ対応しきっておらず，arm64とx86_64でバイナリが分かれてしまうことから，下の記事にあるようにシェルのアーキテクチャを切り替えて使用する必要がありました． Apple SiliconにおけるHomebrewのベストプラクティス みんなの M1 Mac における Homebrew のベストプラクティス は間違っている しかし，2021年2月現在では公式ページにあるように既にHomebrewのインストーラーはM1 Macをサポートしてくれたので，下記のコマンド一発で入ります(ちなみに今やMacのデフォルトシェルはzshですが，このコマンドの'bin/bash'は気にしなくていいです)． $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ちなみに，コマンドラインの最後にHomebrewのパスが通っていないと忠告が出ますが，ご丁寧に~/.zprofileに追記すべき文まで書いてくれているので，この指示に従ってパスを通します("YOUR HOME DIRECTORY PATH"はそれぞれ異なります) command_output Warning: /opt/homebrew/bin is not in your PATH. - Add Homebrew to your PATH in (YOUR HOME DIRECTORY PATH)/.zprofiles: echo 'eval $(/opt/homebrew/bin/brew shellenv)' >> (YOUR HOME DIRECTORY PATH)/.zprofile eval $(/opt/homebrew/bin/brew shellenv) $ echo 'eval $(/opt/homebrew/bin/brew shellenv)' >> ~/.zprofile $ source ~/.zprofile $ brew --version これでHomebrewが使えるようになりました． pyenvのインストール pyenvの仕組みやインストール方法は公式ページに載っているので，この通りにインストールします． 3行目はpyenvの自動起動のコマンドです．もし今後何かのソフトウェアと競合する場合は ~/.zshrc からこの文をコメントアウトすればいいでしょう． $ brew update $ brew install pyenv $ echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/.zshrc $ exec "$SHELL" # シェルの再起動 $ pyenv --version Python3.9のインストール さあ，いよいよPython3.9をインストールします． その前に以下のパッケージのインストールが推奨されているので，従っておきます． # optional, but recommended: $ brew install openssl readline sqlite3 xz zlib pyenv install --listでインストールできるPythonのバージョンを確認できるので，インストールできるPython3.9系を確認しておきます(minicondaもインストールできるんですね，面白い) $ pyenv install --list | grep 3.9 3.9.0 3.9-dev 3.9.1 miniconda-3.9.1 miniconda3-3.9.1 $ pyenv install 3.9.1 # 3.9.1をインストール $ pyenv rehash # 新たなバージョンをインストールしたあとはこれをしないとshimsコマンドが再構成されない 適当なフォルダ内で試してみます． $ pyenv local 3.9.1 $ python version 3.9.1 (set by (CURRENT DIR)/.python-version $ python -m venv .venv $ source .venv/bin/activate $ pip instal numpy matplotlib pandas scikit-learn が，matplotlibだけが入らない... 結局matplotlibはPython3.9でもサポートされていないじゃないか... 根本の問題は numpy そうこうしている内に，numpyはM1 Macでもサポートされたようです．よって，Python3.8でもPython3.9でもpipでインストールできます． matplotlib Apple M1 — Matplotlib, Python, and Jupyter Lab FYI : silicon M1 : installation of matplotlib requires Pillow which requires libjpeg which requires brew とあるように，Homebrewでlibjpegというパッケージをインストールする必要があったようです．こうすると，Python3.9系でもPython3.8系でもmatplotlibが入るようになります． $ brew install libjpeg pyenv導入しなくてもよかったですね．ただいずれにせよHomebrewは必要ですし，pyenvの+venvはベストプラクティスな気がするので，上記のステップも無駄ではないでしょう． pandas, scikit-learn Apple M1, Python, Pandas, and Homebrew pandasやscikit-learnが入らないのは，インストーラがarm64というアーキテクチャ上では動かないからだそうです．よって上の記事にあるようにiTermを開く前に"Open Using Rosetta"にチェックを入れてから起動するようにし(もちろん一度iTermはquitしてから再起動する)，pipでインストールすると入るようになります．(M1 Macbook Pro 2020では，arm64とx86_86を切り替えて使えるようになっています．) ちなみに現在のシェルがどのアーキテクチャを使っているかはuname -mというコマンドで確認できます． $ uname -m # Open Using Rosetta にチェックを入れずに起動した場合 arm64 $ uname -m # Open Using Rosetta にチェックを入れて起動した場合 x86_64 しかし，x86_64上でインストールしたpandasやscikit-learnは，もちろんx86_64上で実行しなくてはなりません．アーキテクチャをx86_64にした状態でインストールした後，arm64に戻してシェルを起動すると，その状態では使えないということです． (参考) ARMとx86/x64(Intel, AMD)のCPU、アーキテクチャの違い、シェア、性能比較、アーキテクチャ、エンディアン 追記(4/14/2021) この回答によると，pandasは以下のようにソースコードからインストールすると入るらしいです．(若干のWarningが出ましたが基本的な機能は入りました．) $ pip install numpy cython $ git clone https://github.com/pandas-dev/pandas.git $ cd pandas $ python3 setup.py install numpy, matplotlib, pandas, scikit-learnを全て同時に使いたいときは pandas, scikit-learnはx86_64上でしかインストールできませんし，実行できません．対してnumpy, matplotlibはarm64上でもx86_64上でも動きます．よってこれらを同時に使いたい場合は，インストール時も実行時もアーキテクチャをx86_64に統一しましょう． 現在のところはプロジェクトやディレクトリ単位で，どちらのアーキテクチャ上で行うかを逐一自分で覚えておきながら実行するということになりそうです． まとめ とりあえずは上記の解決方法で，それぞれのライブラリをimportすることはできそうです．numpyのインストーラは仕様変更してくれたみたいですし，そのうちにあらゆるライブラリがM1チップの上でシームレスに動くようになってくれるでしょう．その時を早く待ちたいものです． 余談: 問題3.8系がpyenvで入らない pyenvで色々なバージョンのpythonを入れようとしたとき，3.9.1は入ったのだが，3.8系が入らないという問題があったが，この方法を用いたら入った $ CFLAGS="-I$(brew --prefix openssl)/include -I$(brew --prefix bzip2)/include -I$(brew --prefix readline)/include -I$(xcrun --show-sdk-path)/usr/include" LDFLAGS="-L$(brew --prefix openssl)/lib -L$(brew --prefix readline)/lib -L$(brew --prefix zlib)/lib -L$(brew --prefix bzip2)/lib" pyenv install --patch 3.8.6 <<(curl -sSL https://raw.githubusercontent.com/Homebrew/formula-patches/113aa84/python/3.8.3.patch\?full_index\=1)

自己紹介

簡単な経歴となぜQiitaで記事を書いているのかについてご紹介いたします。

経歴

• 30代前半
• 大学院卒（修士）
• 化学専攻（研究室では有機化合物を用いたデバイスを研究）
• メーカー勤務
• エンジニア
• 使用言語はpython

Qiitaで記事を書くモチベーション

【実験科学者がデータサイエンティストを目指す。 データ科学でものづくりの未来を変えたい！】
私は大学自体から実験系の科学者であり、入社後もプロセス開発業務を中心に従事しておりました。"Cyber"か"Physical"かでいうと完全に"Physical"側の人間でした。ただ、ある時参加したセミナーで「機械学習を使ってプロセス開発を効率的に進める」という内容の講演を聞き、機械学習に興味を持つようになりました。情報収集や勉強を重ねていくうちの機械学習の持つポテンシャルを感じるようになり、実験科学者としての強みやものづくりに携わってきた経験を活かしながら、"Cyber"側のスキルも身につけ、データ科学で未来のものづくりをより良くしていきたいと強く思うようになりました。その思いを実現するために勉強した内容をアウトプットしていこうと思います。

投稿一覧

私が書いた記事の目次です。内容ごとに以下に記載しています。

機械学習関連

データの前処理

• データフレームの前処理（欠損値の確認、要約など）

データの可視化

主成分分析（PCA）

• PCAの解説（理論編）

モデルの構築

モデルの適用範囲

マテリアルズインフォマティクス関連

RDkit

• 分子の描画
• 原子番号の表示方法
• フィンガープリントの解釈

VESTA（結晶構造の可視化）

• VESTAの使い方

その他

• 参考書紹介

はじめに

スクレイピングを勉強していて、何かアウトプットできないかと思い、大学のお知らせを通知するコードを練習がてら書きました。ただのメモです。全体的にこちらを参考にしました。

ログインコード

このコードで最初のログインをします。

webdriver.get('サイトURL')

    #ユーザー名入力
    webdriver.find_element_by_xpath('//*[@id="userId"]').send_keys("ユーザー名")
    #パスワード入力
    webdriver.find_element_by_xpath('//*[@id="password"]').send_keys("パスワード")

    time.sleep(3)
　　
    #クリックボタン
    webdriver.find_element_by_xpath('//*[@id="loginButton"]').click()

スクレイピング

内容をスクレイピングするコードです。

contents=[]
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date1 = details.find_element_by_css_selector('div.date').text
        title1 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date2 = details.find_element_by_css_selector('div.date').text
        title2 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date3 = details.find_element_by_css_selector('div.date').text
        title3 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date4 = details.find_element_by_css_selector('div.date').text
        title4 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date5 = details.find_element_by_css_selector('div.date').text
        title5 = details.find_element_by_css_selector('div.text').text
    contents.append([date1,title1,date2,title2,date3,title3,date4,title4,date5,title5])

    return contents  

contentsにリストとして格納します。for文でまとめたかったのですが、サイトの構造や技術不足でうまくできませんでした。

LINEへの通知

LINE Notifyを使い通知させます。

 method = "POST"
    headers = {"Authorization": "Bearer %s" % LINE_TOKEN}
    payload = {"message": contents}
    try:
        payload = urllib.parse.urlencode(payload).encode("utf-8")
        req = urllib.request.Request(
            url=LINE_NOTIFY_URL, data=payload, method=method, headers=headers)
        urllib.request.urlopen(req)
    except Exception as e:
        print ("Exception Error: ", e)
        sys.exit(1)

全体のコード

import sys

import time
from selenium.webdriver import Chrome, ChromeOptions, Remote

#トークンを指定します
LINE_TOKEN = "LINE_TOKEN"
LINE_NOTIFY_URL = 'LINE_NOTIFY_URL'


def main():

    options = ChromeOptions()
    webdriver = Chrome(options=options)

    logging(webdriver)

    time.sleep(3)

    contents = scrape_contents_list(webdriver)

    send_to_line(contents)




def logging(webdriver):

    webdriver.get('サイトURL')

    webdriver.find_element_by_xpath('//*[@id="userId"]').send_keys("ユーザー名")
    webdriver.find_element_by_xpath('//*[@id="password"]').send_keys("パスワード")

    time.sleep(3)

    webdriver.find_element_by_xpath('//*[@id="loginButton"]').click()


def scrape_contents_list(webdriver):

    contents=[]
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date1 = details.find_element_by_css_selector('div.date').text
        title1 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date2 = details.find_element_by_css_selector('div.date').text
        title2 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date3 = details.find_element_by_css_selector('div.date').text
        title3 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date4 = details.find_element_by_css_selector('div.date').text
        title4 = details.find_element_by_css_selector('div.text').text
    for details in webdriver.find_elements_by_css_selector('セレクター'):
        date5 = details.find_element_by_css_selector('div.date').text
        title5 = details.find_element_by_css_selector('div.text').text
    contents.append([date1,title1,date2,title2,date3,title3,date4,title4,date5,title5])

    return contents   



def send_to_line(contents):
    method = "POST"
    headers = {"Authorization": "Bearer %s" % LINE_TOKEN}
    payload = {"message": contents}
    try:
        payload = urllib.parse.urlencode(payload).encode("utf-8")
        req = urllib.request.Request(
            url=LINE_NOTIFY_URL, data=payload, method=method, headers=headers)
        urllib.request.urlopen(req)
    except Exception as e:
        print ("Exception Error: ", e)
        sys.exit(1)




if __name__ == '__main__':
    main()    

おわりに

通知はしっかり来ました。しかしリスト型で処理されるので、見栄えは良くありませんでした。
今後はsystemdのタイマーなども使い定期的に実行されるようなプログラムをつくりたいと思います。

参考記事

・時間割をLINEで自動通知する。(selenium+LINE Notify)

参考文献

・Pythonクローリング＆スクレイピング［増補改訂版］
―データ収集・解析のための実践開発ガイドー

E - スプリンクラー

O(N+M+Q)
無向グラフの問題です。
隣接行列を使っています。

python

import math
import heapq
import itertools
from functools import reduce

# main
def main():
    N, M, Q = list(map(int, input().split()))
    graph = []

    for y in range(0, N):
        row = []
        for x in range(0, N):
            row.append(False)
        graph.append(row)

    for _ in range(0, M):
        u, v = list(map(int, input().split()))
        u = u - 1
        v = v - 1
        graph[u][v] = True
        graph[v][u] = True

    C = list(map(int, input().split()))

    for _ in range(0, Q):
        q = list(map(int, input().split()))

        if q[0] == 1:
            x = q[1] - 1 
            print(C[x])

            for i in range(0, N):
                if graph[x][i]:
                    C[i] = C[x]

        if q[0] == 2:
            x = q[1] - 1 
            y = q[2]
            print(C[x])
            C[x] = y

# エントリポイント
if __name__ == '__main__':
    main()

メモリの制約で隣接行列を使用できない場合、隣接リストを使用します。

python

import math
import heapq
import itertools
from functools import reduce

# main
def main():
    N, M, Q = list(map(int, input().split()))
    graph = []

    for y in range(0, N):
        row = []
        graph.append(row)

    for _ in range(0, M):
        u, v = list(map(int, input().split()))
        u = u - 1
        v = v - 1
        graph[u].append(v)
        graph[v].append(u)

    C = list(map(int, input().split()))

    for _ in range(0, Q):
        q = list(map(int, input().split()))

        if q[0] == 1:
            x = q[1] - 1 
            print(C[x])

            for i in graph[x]:
                C[i] = C[x]

        if q[0] == 2:
            x = q[1] - 1 
            y = q[2]
            print(C[x])
            C[x] = y

# エントリポイント
if __name__ == '__main__':
    main()

E - SNS のログ

O(N)
有向グラフの問題です。

python

import math
import heapq
import itertools
from functools import reduce

# main
def main():
    N, Q = list(map(int, input().split()))
    graph = []

    for y in range(0, N):
        row = []
        for x in range(0, N):
            row.append(False)
        graph.append(row)

    for _ in range(0, Q):
        s = list(map(int, input().split()))

        if s[0] == 1:
            graph[s[1]-1][s[2]-1] = True
        elif s[0] == 2:
            for i in range(0, N):
                if graph[i][s[1]-1]:
                    graph[s[1]-1][i] = True
        elif s[0] == 3:
            to_follow = []
            for i in range(0, N):
                if graph[s[1]-1][i]:
                    for j in range(0, N):
                        if graph[i][j] and s[1]-1 != j:
                            to_follow.append(j)
            for i in to_follow:
                graph[s[1]-1][i] = True

    for i in range(0, N):
        row = ""
        for j in range(0, N):
            if graph[i][j]:
                row += "Y"
            else:
                row += "N"
        print(row)

# エントリポイント
if __name__ == '__main__':
    main()

はじめに

この記事は Vision API を Vision クライアントライブラリ を使わずに Python で JavaScript の Fetch API のように使用するための内容を記載します。

結論

• 使用する画像は base64 モジュールでエンコード
• JSON リクエストを作成し、json モジュールから json.dumps() を用いて JSON 文字列に変換する
• 最後に requests モジュールから requests.post() を使用して Vision API リクエスト（POST）を作成すれば OK

下にサンプルコードを置いておきます。

コード

import requests
import base64
import json
import pprint

GOOGLE_API_KEY = "YOUR API KEY"
GOOGLE_CLOUD_VISION_API_URL = f"https://vision.googleapis.com/v1/images:annotate?key={GOOGLE_API_KEY}"
IMG_PATH = "YOUR PHOTO PATH"
base64Image = base64.b64encode(open(IMG_PATH, "rb").read()).decode('utf-8')

headers = { "Content-Type" : "application/json" }
request_data = json.dumps({
    "requests": [
        {
            "image": {
                "content": base64Image
            },
            "features": [
                {
                    "type": "OBJECT_LOCALIZATION"
                }
            ]
        }
    ]
})

# Vision API にリクエストを行う
response = requests.post(GOOGLE_CLOUD_VISION_API_URL, headers=headers, data=request_data)

# データを表示
pprint.pprint(response.json())

例

以前行ったスープカレー屋さんの画像を POST した結果を貼っておきます。
カレー屋さんのホームページ - 矢巾店 - スープカレーハウスしっぽ

おわりに

手っ取り早く API を使用したい人はこちらの方法のほうが楽なのではないでしょうか。
参考になれば幸いです。