こんにちは、かをるです。

今回は、GUIツールである【PyCharm】をつかってPythonの環境構築を行なっていきます。

PyCharmとは、Pythonの統合開発環境です。

コマンドラインによる環境開発よりもこういったツールを使いこなすことで、より効率的に開発を進めることができます。

有償と無償とありますが、今回は無償のインストール方法を紹介していきます。

記事を書きました。
https://kaworublog.com/wp-admin/post.php?post=1065&action=edit

Pythonで少し複雑な辞書オブジェクトをsortする - 午後から→オーバークロック
Perlのsortの基本的なやつ - Qiita

Python

s.py

    dict = {
        1: {
            'name': 'A',
            'age': 30,
        },
        2: {
            'name': 'B',
            'age': 31,
        },
        3: {
            'name': 'C',
            'age': 29,
        },
    }
    for i in sorted(dict.items(), key=lambda x: x[1]['age'], reverse=True):
        print(i)

$ python3 s.py
(2, {'name': 'B', 'age': 31})
(1, {'name': 'A', 'age': 30})
(3, {'name': 'C', 'age': 29})

Perl

s.pl

use strict;
use warnings;
use Data::Dumper;

my %hash = (
    1 => { name => 'A', age => 30 },
    2 => { name => 'B', age => 31 },
    3 => { name => 'C', age => 29 },
);
foreach my $key ( reverse sort { $hash{$a}{'age'} <=> $hash{$b}{'age'} } keys %hash ){
    print "$key\n";
    print Dumper \%{$hash{$key}};
}

$ perl p.pl
2
$VAR1 = {
          'name' => 'B',
          'age' => 31
        };
1
$VAR1 = {
          'age' => 30,
          'name' => 'A'
        };
3
$VAR1 = {
          'age' => 29,
          'name' => 'C'
        };

前回の続き

前回の記事ではいくつかの点をとったときに、始点から終点までの最短経路を求めるコードを読み解きました。
前回のコードでは全ての点を経由することができなかったので、その部分を少し考えてみます。
結局色々失敗してる最適化のお勉強メモですのでご了承ください。
色々まとまっている教科書はこちら。

実装内容

前回の実装

ある点に注目した時に、その点に入る道とその点から出る道の本数の関係を定式化しました。
始点の場合はその点から出る道のほうが一本多く、終点の場合はその点に入る道の方が一本多い、
それ以外については双方が同数になるという実装です。
この実装だと「全ての点を通った」最短経路にはならないので、その部分をトライしてみます。

for nd in g.nodes():
    m += lpSum(x[k] for k, (i, j) in r if i == nd) \
      == lpSum(x[k] for k, (i, j) in r if j == nd) + {source:1, sink:-1}.get(nd, 0) # 制約

進歩1：ある点に出入りする本数を規定する

ある点に注目した時に、その点に入る本数と出る本数の合計が2（終点始点は1）になるようにすれば、「通らない」ということは無くなりそう。
ですが実際にやってみると、本命の経路以外で輪を作ってしまうパターンに。
難しい・・・。

from pulp import *
import networkx as nx
g = nx.fast_gnp_random_graph(10, 0.8, 0)　#第三引数を1にすると双方向の経路をg.edgesに保持

source, sink = 0, 2 # 始点, 終点
r = list(enumerate(g.edges()))
m = LpProblem() # 数理モデル
x = [LpVariable('x%d'%k, lowBound=0, upBound=1) for k, (i, j) in r] # 変数(路に入るかどうか)
m += lpSum(x) # 目的関数
for nd in g.nodes():
    m += lpSum(x[k] for k, (i, j) in r if i == nd) \
         + lpSum(x[k] for k, (i, j) in r if j == nd) == {source:1, sink:1}.get(nd, 2) # 制約
m.solve()
print([(i, j) for k, (i, j) in r if value(x[k]) ==1])

この結果がこちら。
0から2へ行く、というはずなのに、0,5,2以外の点で円環ができてしまっています。
この2つの経路をどうつないだらいいのか・・・。

進歩2:道に距離の概念を導入

前回の実装ではすべての道を同じ長さと考えて最短経路を選択していました。
もう少し実用に近づけるべく、長さの概念を入れてみるとどうなるかやってみました。
一旦長さは「各経路の両端のノード番号を足した値」と定義してみました。
g.edges[i,j]["dist"]のようなお作法についてはこちらの記事を参考にしました。

#https://qiita.com/kzm4269/items/081ff2fdb8a6b0a6112f
n = 10 # ノード数
g = nx.random_graphs.fast_gnp_random_graph(n, 0.9, 8)
for i,j in g.edges():
    g.edges[i, j]["dist"] = i+j

最適化部分のコードはたいして変更していませんが念のため再掲です。

source, sink = 0, 9 # 始点, 終点
r = list(enumerate(g.edges()))
m = LpProblem() # 数理モデル
x = [LpVariable('x%d'%k, lowBound=0, upBound=1) for k, (i, j) in r] # 変数(路に入るかどうか)
m += lpSum(x[k] * g.edges[i,j]["dist"] for k, (i, j) in r) # 目的関数
for nd in g.nodes():
    m += lpSum(x[k] for k, (i, j) in r if i == nd) \
        + lpSum(x[k] for k, (i, j) in r if j == nd) == {source:1, sink:1}.get(nd, 2) # 制約
m.solve()
print([(i, j) for k, (i, j) in r if value(x[k]) ==1])

最適な経路に選ばれたものを取り出して図示します。
sprint_layoutについてはこちらの記事が便利でした。

def draw(g):
    rn = g.nodes() # ノードリスト
    pos = nx.spring_layout(g, pos={i:(i/4, i%4) for i in rn}) # ノード位置
    """描画"""
    nx.draw_networkx_labels(g, pos=pos)
    nx.draw_networkx_nodes(g, node_color='w', pos=pos)
    nx.draw_networkx_edges(g, pos=pos)
    plt.show()

G = nx.DiGraph()
for k,(i,j) in r:
    if value(x[k]) == 1:
        nx.add_path(G, [i, j])
draw(G)

描画の結果はこちら。
今回はたまたまちゃんとした経路になったようです。
円環を作ってしまう現象はこちらでも起こりうる状態なはず。

最適解の時の総距離はこちら。
これもあってそう！

value(m.objective)
>>>81.0

最後に

最適化楽しい！

katayamashunyuunoMacBook-Pro:~ katayamashunsuke$ which python
/Users/katayamashunsuke/.pyenv/shims/python
#pyenvのpythonを使っている

katayamashunyuunoMacBook-Pro:~ katayamashunsuke$ which pip
/Users/katayamashunsuke/.pyenv/shims/pip
#pipもpyenv由来

katayamashunyuunoMacBook-Pro:~ katayamashunsuke$ which conda
katayamashunyuunoMacBook-Pro:~ katayamashunsuke$ which anaconda
#conda anacondaは入ってない

katayamashunyuunoMacBook-Pro:~ katayamashunsuke$ pyenv versions
  system
  3.6.5
* 3.7.4 (set by /Users/katayamashunsuke/.pyenv/version)
  3.7.7
  3.8.2
  anaconda3-5.3.1
#anacondaでjupyter notebookを使いたい時はpyenvからlocalで使う
#使い方
#適用ディレクトリに移動して
pyenv local anaconda3-5.2.0
jupyter-notebook

pipとcondaをconflictさせずにどっちも使うことができる

あけましておめでとうございます。
Zoomのミーティングを予約することが地味に面倒だと思うこともあり、プログラムを書いてみました。
ログインして、時間を選択して…と意外に手数が多いので。
pyzoomというライブラリを使うと簡単にできるようですが、
使いこなすのが難しい（というよりかゆいところのセッティングを変える方法がいまいち分からなかった）のと、勉強を兼ねてclassを組んでみました。

APIキーとシークレットキーはZOOMのマーケットプレイスで取得ができます。
https://marketplace.zoom.us/develop/create

import requests
import json
from datetime import datetime
import jwt
import time
import random
from pprint import pprint

class ZoomClient(object):
    URL = 'https://api.zoom.us/v2'

    def __init__(self, key: str, secret: str, user_id: str):
        """
        :param key:Zoom Api Key
        :param secret: Zoom Api Secret
        :param user_id: Zoom ID(mail address)
        """
        self.key = key
        self.secret = secret
        self.user_id = user_id
        self.token = self.generate_token()

    def generate_token(self):
        header = {"alg": "HS256", "typ": "JWT"}
        payload = {"iss": self.key, "exp": int(time.time() + 600)}
        return jwt.encode(payload, self.secret, algorithm='HS256', headers=header).decode('utf-8')

    def create_meeting(self, topic: str, start_time: datetime, duration_min: int,
                       pass_code: str = None, **settings: dict):

        end_point = f'/users/{self.user_id}/meetings'
        headers = {'Authorization': f"Bearer {self.token}",
                   'Content-Type': 'application/json'}

        # パスコード：指定なしの場合は適当に作る
        if not pass_code:
            pass_code = str(random.randint(100000, 999999))
        # セッティング：デフォルトで設定
        default_setting = self.default_setting()
        # セッティング：指定有は書き換え
        if settings:
            for k, v in settings.items():
                default_setting[k] = v

        body = {
            "topic": topic,
            'type': 2,  # scheduled meeting
            "start_time": start_time.isoformat(),
            "duration": duration_min,
            "timezone": "Osaka, Sapporo, Tokyo",
            "password": pass_code,
            "settings": default_setting}

        response = requests.request('POST',
                                    self.URL + end_point,
                                    headers=headers,
                                    data=json.dumps(body)).json()

        return response

    @staticmethod
    def default_setting():

        return {
            'host_video': True,  # start video when the host joins
            'participant_video': True,  # start video when the participants join
            'join_before_host': True,
            'mute_upon_entry': True,
            'approval_type': 0,  # automatically approve
            'cn_meeting': False,  # host meeting in china
            'in_meeting': False,  # host meeting in india
            'watermark': False,
            'use_pmi': False,  # personal meeting id
            'registration_type': 1,
            'audio': "voip",
            'auto_recording': "none",
            'enforce_login': False,
            'waiting_room': False,
            'registrants_email_notification': False,
            'meeting_authentication': False,
            'contact_name': "UFY",
            'contact_email': "ufyit@support.com"}


    def invitation(self, meeting_id: int):
        end_point = f"/meetings/{meeting_id}/invitation"
        headers = {'authorization': 'Bearer ' + self.token}
        return requests.request("GET",
                                self.URL + end_point,
                                headers=headers).json()

実際にミーティングをスケジュールして、招待状を表示させてみます。

def job():
    api_key = 'your zoom api key'
    api_secret = 'your zoom api secret'
    user_id = 'your zoom id'  # account mail address
    client = ZoomClient(api_key, api_secret, user_id)
    day = '2021/1/5'
    start_time = '11:30'
    end_time = '15:30'
    mtg_start_time = datetime.strptime(day + ' ' + start_time, '%Y/%m/%d %H:%M')
    mtg_end_time = datetime.strptime(day + ' ' + end_time, '%Y/%m/%d %H:%M')
    duration_min = int((mtg_end_time - mtg_start_time).seconds / 60)

    mtg = client.create_meeting(topic='api test',
                                start_time=mtg_start_time,
                                duration_min=duration_min,
                                **{'host_video': False})
    mtg_id = mtg['id']
    invitation = client.invitation(mtg_id)
    pprint(invitation)

if __name__ == '__main__':
    job()

ミーティングを作成→
json形式で受け取る→
ミーティングidを取り出す→
ミーティングidを元に招待状を発行
という流れです。

出力です

{'invitation': '〇〇さんがあなたを予約されたZoomミーティングに招待しています。\r\n'
               '\r\n'
               'トピック: api test\r\n'
               '時間: 2021年1月5日 11:30 AM 大阪、札幌、東京\r\n'
               '\r\n'
               'Zoomミーティングに参加する\r\n'
               'https://invitation/url\r\n'
               '\r\n'
               'ミーティングID: 生成されたid\r\n'
               'パスコード: 生成されたpass code\r\n'}

zoomには謎のセッティングも多く、まだ解明しきれていません。
色々と試してみたいと思います。

職場でのpython導入を画策中。
エクセルで出来なくてPythonで出来ることがないかなー、と模索していたら、
Bokehというライブラリを使ってインタラクティブなグラフが書けるとのこと。
こちらの記事で気になっていたHoloViewsと合わせて色々調べたのでまとめてみた。

インタラクティブなグラフって？

ユーザーの操作に対して応答するグラフを指す。（インタラクティブ=双方向の～という意味）

こんな感じでマウスでぐりぐり動かしたり、ズームしたり、情報を表示させたりできる。

環境

とりあえず手っ取り早く取り掛かりたかったので、GoogleColaboratoryで実装。
そのため本稿ではライブラリのインストールに関する記述は省略。
（未検証だがライブラリのインストールを行なえばJupyterNotebookでも動くはず）

データ

下記のような初代ポケモンのデータをDataFrame形式で準備。

データは公式ポケモン図鑑とポケモンWikiから引用。

実装

基本

基本となるグラフの書き方。今回は散布図（Scatter Graph）を書いていく。

# グラフ関連ライブラリのインポート
import holoviews as hv
hv.extension('bokeh')

# 基本的な描画
poke_graph = hv.Scatter(poke_df,kdims=["height"],vdims=["weight"])
# 表示
poke_graph

hv.extension('bokeh')でholoviewsをbokehモードに拡張。
（セルごとに毎回上記を記述しないとグラフが表示されない）
hv.Scatter()で散布図インスタンスを生成。
Scatterの場合、引数には使用するデータセットとkdims、vdimsを指定する。
　kdims：key dimensions。キーとなる要素。x軸のイメージ。
　vdims：value dimensions。上記キーに対応した値の要素。y軸の他、後述のオプションの値にも適用できる。

表示はpandasみたいにインスタンス名を書くだけで表示できる。
（JupyterNotebookではグラフを表示するためにoutput_notebook()というおまじないが必要とのこと）

オプションの設定

holoviewsは後からグラフに関するオプションを追加できる。

hv.extension('bokeh')

# タイトルの設定
poke_graph.opts(title="ポケモンデータ")
# グリッドの描画
poke_graph.opts(show_grid=True)
# 軸ラベルの変更
poke_graph.opts(xlabel="たかさ", ylabel="おもさ")

インスタンス.opts(…)で各種オプションを設定する。
分かりやすくするために個別に設定しているが、一度の.optsでまとめて設定することもできる。
poke_graph.opts(title="ポケモンデータ", show_grid=True, xlabel="たかさ", ylabel="おもさ")

マーカーに関する設定はこんな感じ

hv.extension('bokeh')

# マーカーの色の設定
poke_graph.opts(color = "red")
# マーカーの縁の色の設定
poke_graph.opts(line_color = "black")
# マーカーのサイズの設定
poke_graph.opts(size=7)
# マーカーの透過率の設定
poke_graph.opts(alpha = 0.8)

上記だとちょっと窮屈なので、見やすさを意識して設定を追加。

hv.extension('bokeh')

# 背景色の設定
poke_graph.opts(bgcolor = "whitesmoke")
# グラフ領域の描画サイズの設定
poke_graph.opts(width=640, height=480)
# フォントサイズの一律で大きく
poke_graph.opts(fontscale=1.5)
# 軸のフォーマット変更
poke_graph.opts(xformatter="%.1f m", yformatter="%.1f kg")

要素をオプションへ適用する

マーカーサイズへの適用

ここでは、バブルチャートのように種族値合計をマーカーの大きさに適用してみる。
要素をオプションに適用する場合、vdimsに要素が追加されていないと表示がおかしくなる。
なので、.add_dimension()でディメンジョンに要素を追加。

poke_graph2 = poke_graph.add_dimension("種族値合計",dim_pos=2,vdim=True,dim_val = "合計")

第一引数に要素名を指定。dim_posで何番目に要素を追加（挿入）するか指定。
（vdimsの順番がどのように影響してくるか不明だが、とりあえず新しい要素が先頭にさえならなければ良さそう。なので適当に2とかにしている。）
vdim=Trueでvdimsに追加するようにする（省略するとkdimsに追加されてしまう）。
dim_val=で実際に値として使用するデータを指定する。今回の場合、すでにデータセットをDataFrame形式で渡してあるので、カラム名で指定するだけでOK。データセットで指定した以外にもdim_val=df["特殊"]やdim_val=poke_df["合計"]**2のように新しい値を指定することもできる。

vdimsに追加したら、optsで引数に追加したディメンジョン名を渡すことができるようになる。

poke_graph2 = poke_graph2.opts(size="種族値合計")

おっと。
上記のようになってしまうのは、sizeに600とか大きい値が渡されているため。
これを回避するために、値を数式で変換する。その際、要素を数式に適用するにはdim()を使わないといけない。

from holoviews import dim
poke_graph2 = poke_graph2.opts(size=(dim("種族値合計")/poke_df["合計"].min())*5)

上記の例では、各ポケモンの種族値合計の値と種族値合計の最小値の比率に5をかけて、sizeの値としている。

マーカーカラーへの適用

要素からマーカーの色を指定することも可能。
サイズの時と同様、まずvdimsに要素を追加し、color=にディメンジョン名を指定する。

hv.extension('bokeh')

# データ要素にタイプ1を追加
poke_graph3 = poke_graph2.add_dimension("タイプ1",dim_pos=2,vdim=True,dim_val = "タイプ1")
# マーカーの色を「タイプ1」に応じて設定
poke_graph3.opts(color="タイプ1")
# 凡例の位置を右側に設定
poke_graph3.opts(legend_position="right")
# 描画サイズの幅を再設定
poke_graph3.opts(width=800)

上記はカラーが自動で振られているが、任意の色にすることも可能。
colorに渡す要素をキー、色を値にした辞書を作成し、cmap=に渡せばOK。

color_table = {"ノーマル":"cornsilk", "ほのお":"orangered", "みず":"royalblue", "でんき":"gold",
                "くさ":"green", "こおり":"powderblue", "かくとう":"darkorange", "どく":"mediumorchid",
                "じめん":"saddlebrown", "ひこう":"lightcyan", "エスパー":"khaki", "むし":"yellowgreen",
                "いわ":"dimgrey", "ゴースト":"mediumpurple", "ドラゴン":"lightseagreen",
                "あく":"indigo", "はがね":"steelblue","フェアリー":"pink",
                }
poke_graph3.opts(color="タイプ1",cmap=color_table)

色名はmatplotlibと同じものを使用可能。多分16進数RGB指定もできる。

ツールチップを使う

bokehの特徴の一つ、ツールチップを使ってみる。

hv.extension('bokeh')

# データ要素にポケモン名を追加
poke_graph4 = poke_graph3.add_dimension("name",dim_pos=2,vdim=True,dim_val = "name")

# ホバーツールのインポート
from bokeh.models import HoverTool
# ホバーツールの設定
TOOLTIPS = [("name","@name")]
hover = HoverTool(tooltips=TOOLTIPS)
# グラフにホバーツールの設定適用
poke_graph4 = poke_graph4.opts(plot=dict(tools=[hover]))

ホバーツールはツールチップの一種。カーソルが合った要素の情報を表示することができる。
HoverToolインスタンスを生成し、引数tooltips=に表示したい情報をタプルのリストで渡す。
タプルの中には一行に表示する情報が記述される。複数タプルを渡せば複数行表示可能。
"@～"でvdimsに追加したディメンション名を指定する。ディメンション名が日本語の場合、"@{攻撃}"みたいに{}で囲まないと認識してくれないので注意。
また、"@～"の他、"\$x"や"$index"等で要素の基本的な情報を表示することもできる。

また、HTML記述でより凝ったレイアウトが可能。
<div>タグや<table>タグのほか、<img>タグも使用可能なので画像を表示することもできる。

TOOLTIPS_2 = """
<div>
  :
</div>
"""

のようにHTML記述をした文字列を渡す。
文中で<img src="@img_path">のように@ディメンション名を文字列として渡せばその情報を表示してくれる。

サンプル（コードは冗長になったのでクリックで表示）

コード

# 図鑑No.から画像アドレスを指定する関数を定義
def path_create(id):
  result = r"file:///C:\Users\aaa\Desktop\ずかん\pokemon_" + str(id).zfill(3) + ".png"
  return result

# データ要素の追加
poke_graph5 = poke_graph4.add_dimension("img_path",dim_pos=2,vdim=True,
                                        dim_val = poke_df["No."].apply(path_create))
poke_graph5 = poke_graph5.add_dimension("タイプ2",dim_pos=2,vdim=True,dim_val = "タイプ2")
poke_graph5 = poke_graph5.add_dimension("HP",dim_pos=2,vdim=True,dim_val = "HP")
poke_graph5 = poke_graph5.add_dimension("攻撃",dim_pos=2,vdim=True,dim_val = "攻撃")
poke_graph5 = poke_graph5.add_dimension("防御",dim_pos=2,vdim=True,dim_val = "防御")
poke_graph5 = poke_graph5.add_dimension("特攻",dim_pos=2,vdim=True,dim_val = "特攻")
poke_graph5 = poke_graph5.add_dimension("特防",dim_pos=2,vdim=True,dim_val = "特防")
poke_graph5 = poke_graph5.add_dimension("素早さ",dim_pos=2,vdim=True,dim_val = "素早さ")

# ツールチップの設定
TOOLTIPS_2 = """
<div style="clear:both; margin: 0px 10px 0px 10px;">
  <div style="float:left ;margin: 0px 0px 0px 0px;">
    <p style="margin: 5px 0px 5px 5px"><span style="font-size:12px; color:navy ;font-weight:bold">@name</span></p>
    <img src="@img_path" height="72" alt="" width="72"><br>
    <span style="font-size:10px">
      たかさ：@{height}{0.f} m<br>
      おもさ：@{weight}{0.f} kg<br>
    </span>
  </div>
  <div style="float:right">
    <span style="font-size:10px">
      <div style="clear:both">
        <p align="right">タイプ：&nbsp;@{タイプ1}&nbsp;&nbsp;&nbsp;@{タイプ2}</p>
      </div>
      <div style="clear:both">
        <table align="right" style="margin: 5px 0px 0px 0px">
          <tr><td align="right">ＨＰ： </td><td align="right">@HP</td></tr>
          <tr><td align="right">こうげき： </td><td align="right">@{攻撃}</td></tr>
          <tr><td align="right">ぼうぎょ： </td><td align="right">@{防御}</td></tr>
          <tr><td align="right">とくこう： </td><td align="right">@{特攻}</td></tr>
          <tr><td align="right">とくぼう： </td><td align="right">@{特防}</td></tr>
          <tr><td align="right">すばやさ： </td><td align="right">@{素早さ}</td></tr>
        </table>
      </div>
    </span>
  </div>
</div>
"""
hover2 = HoverTool(tooltips=TOOLTIPS_2)

# グラフにホバーツールの設定適用
poke_graph5 = poke_graph5.opts(plot=dict(tools=[hover2]))

GoogleCoboratoryではローカル画像が表示されないため、上記のようになってしまう。
HTML形式で保存（後述）し、ファイルから開けば画像が表示される。

（画像は公式ポケモンずかんから拝借したものをローカルに保存して参照）

結果をファイルに保存

Holoviews(Bokeh)のグラフはHTML形式でファイル出力することができる。
ファイル出力すれば、python環境でないPCでもグラフをグリグリすることが出来るはず。

# グラフをhtmlで保存
renderer = hv.renderer('bokeh')
renderer.save(poke_graph5, 'output_poke_graph5')

上記の例だとpoke_graph5をoutput_poke_graph5.htmlとして出力する。
出力先はカレントディレクトリ。
GoogleColaboの場合はdrive.mount("/content/gdrive")でグーグルドライブをマウントし、%cd "gdrive/My Drive/任意のフォルダ"でカレントディレクトリの変更すればよい。

所感

Holoviewsは最初こそ書き方がいまいち掴めなかったが、kdimsとvdimsさえ理解すればシンプルな記述ができると感じた。
ただ、現状の理解力だと職場のエクセル作業を置き換えるにはまだハードルが高いなぁと感じてしまう。
Holoviews（Bokeh）で出来ることはまだまだありそうなので、もっと勉強してエクセルで実現できないことを探さねば。
職場のエクセル作業をPythonに置き換えられた人の体験談とかも聞いてみたい。

参考

• Pythonの可視化ツールはHoloViewsが標準になるかもしれない（Qiita記事）
• HoloViews公式ユーザーガイド（外部サイト・英語）
• ポケモンずかん（公式）（外部サイト）
• ポケモンWiki（外部サイト）

TDPC D

部分構造最適性と部分問題重複性を有するので、動的計画法を検討する。

問題内のデータをそのまま実装するのは難しいので、単純化する必要がある。

積について考えるので、サイコロの目に存在する素因数 2,3,5 の指数のみを考えれば良い。

$10^{18}<2^{60}$ なので、指数として考える値はそれぞれ 60 以下でよいです。

動的計画法の設計は次の通り。

$dp[n][c_2][c_3][c_5]$の定義：
$n$ 回振ったときに、出た目の積に含まれる素因数 2,3,5 の個数がそれぞれ$c_2,c_3,c_5$となる確率

dpの漸化式：

dp[n][nc_2][nc_3][nc_5]=\sum_{i=0}^{n-1}\sum_{c_2\ge nc_2, c_3 \ge nc_3, c_5 \ge nc_5}dp[i][c_2][c_3][c_5]

dp初期条件：
$dp[0][0][0][0]=1$（0 回振ったとき、目の積を 1 とするので、素因数にいかなる素数も含まれない）
$dp[0][*][*][]=0$

求めるもの：

$D=2^a 3^b 5^c$のとき

\sum_{p_2\ge a, p_3 \ge b, p_5 \ge c}dp[N][p_2][p_3][p_5]

実装は、ボトムアップ方式の配るDPで行う。

サンプルコード

n, d = map(int, input().split())

# サイコロの目を素因数分解すると、2, 3, 5しか現れない
count2 = 0
count3 = 0
count5 = 0
while d % 2 == 0:
    d //= 2
    count2 += 1
while d % 3 == 0:
    d //= 3
    count3 += 1
while d % 5 == 0:
    d //= 5
    count5 += 1

# 2, 3, 5以外があったらだめ
if d != 1:
    print(0)
    exit()

# dp初期化
dp = [[[[0] * (count5 + 1) for i in range(count3 + 1)] for j in range(count2 + 1)] for k in range(n + 1)]
dp[0][0][0][0] = 1

# サイコロの目1~6を素因数分解
d2 = [0, 1, 0, 2, 0, 1]
d3 = [0, 0, 1, 0, 0, 1]
d5 = [0, 0, 0, 0, 1, 0]

# dp[i][c2][c3][c5] := サイコロを i 回振って、2^c2 * 3^c3 * 5^c5 になる確率
for i in range(n):
    # c2,c3,c5および6つの目についてi+1のdpを更新
    for c2 in range(count2 + 1):
        for c3 in range(count3 + 1):
            for c5 in range(count5 + 1):
                for j in range(6):
                    nc2 = min(count2, c2 + d2[j])
                    nc3 = min(count3, c3 + d3[j])
                    nc5 = min(count5, c5 + d5[j])
                    dp[i + 1][nc2][nc3][nc5] += dp[i][c2][c3][c5] / 6

print(dp[n][count2][count3][count5])

• 感情分析でネガポジの極性値を取得する元となる感情値辞書は、日本語では次の３つが挙げられます。
  • 単語感情極性値対応表
  • 日本語評価極性辞書
  • Polar Phrase Dictionary
• 本記事では全 55,125 語が登録された「単語感情極性値対応表」を利用させて頂きます。上記公式サイトによれば『岩波国語辞書』をリソースとして、感情極性値は語彙ネットワーク（筆者注 : 語や語句の意味的な関連性を示すネットワーク）を利用して自動的に計算された-1 から +1 の実数値となっています。

⑴ 「単語感情極性値対応表」の取得

１. 「単語感情極性値対応表」を読み込む

import pandas as pd

pd.set_option('display.unicode.east_asian_width', True)

# 感情値辞書の読み込み
pndic = pd.read_csv(r"http://www.lr.pi.titech.ac.jp/~takamura/pubs/pn_ja.dic",
                    encoding="shift-jis",
                    names=['word_type_score'])
print(pndic)

• pandas のset_option() は表示形式など様々なオプションを指定するもので、引数の 'display.unicode.east_asian_width' は全角文字を考慮してカラム名と値の位置をそろえて表示させます。
• 「単語感情極性値対応表」は、1行ずつ「語(終止形)：読み：品詞：感情値[-1, +1]」の形式で登録されており、極性値は -1 に近いほどネガティブ、+1 に近いほどポジティブを表します。

２. 語と感情値のみ抽出して dict 型に変換

• カラム内を split() で「:」を区切り文字として4分割し、語（終止形）"word" と感情値 "score" を抽出して dict 型に変換します。

import numpy as np

# 語と感情値を抽出
pndic["split"] = pndic["word_type_score"].str.split(":")
pndic["word"] = pndic["split"].str.get(0)
pndic["score"] = pndic["split"].str.get(3)

# dict型に変換
keys = pndic['word'].tolist()
values = pndic['score'].tolist()
dic = dict(zip(keys, values))

print(dic)

⑵ 分析対象となるテキスト

• 今回はリソースを NHK のニュースサイトに求め、任意に2020年12月29日付のビジネス関連記事「スパゲッティ輸入量 過去最多に」を取り上げます。
• 句点「。」を区切り文字として行単位のリストに変換します。

text = 'スパゲッティの全国の輸入量が、ことし10月までに過去最多となり、税関は新型コロナウイルスの感染拡大の影響で増えた、いわゆる『巣ごもり需要』が背景にあるでのはないかとしています。横浜税関によりますと、全国の港や空港から輸入されたスパゲッティの量はことし10月末の時点でおよそ14万2000トンでした。これは、3年前の1年間の輸入量を4000トンほど上回り、過去最多となりました。また、マカロニもことし10月までの輸入量が1万1000トン余りに上り、過去最多だった4年前の1年間の輸入量とほぼ並んでいるということです。'

lines = text.split("。")

⑶ 形態素解析によるテキストのデータ化

１. MeCab による形態素解析のインスタンスを生成

• MeCab をインストールします。

!apt install aptitude
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3==0.7

• MeCab をインポートし、出力モードを "-Ochasen" としてインスタンスを生成します。
• 例として 1 行目の形態素解析結果を示します。

import MeCab
mecab = MeCab.Tagger("-Ochasen")

# 1行目の形態素解析結果を例示
print(mecab.parse(lines[0]))

２. 品詞を限定してデータリスト化

• 文章ごとの ポジティブ/ネガティブ の性格づけに寄与すると考えられる品詞として、名詞・形容詞・動詞・副詞の4カテゴリに絞ります。

# 形態素解析に基づいて単語を抽出
word_list = []
for l in lines:
    temp = []
    for v in mecab.parse(l).splitlines():
        if len(v.split()) >= 3:
            if v.split()[3][:2] in ['名詞','形容詞','動詞','副詞']:
                temp.append(v.split()[2])
    word_list.append(temp)

# 空の要素を削除
word_list = [x for x in word_list if x != []]

print(word_list)

• こちら文章単位のリストを対象として「単語感情極性値対応表」から ポジティブ/ネガティブ を判定する感情極性値を取得します。

⑷ 感情極性値の取得

１. 辞書から感情極性値を取得

• 文章ごとに、単語ごとの感情極性値を取得してデータフレームに出力してみます。

result = []
# 文単位の処理
for sentence in word_list:
    temp = []
    # 語単位の処理
    for word in sentence:
        word_score = []
        score = dic.get(word)
        word_score = (word, score)
        temp.append(word_score)       
    result.append(temp)

# 文毎にデータフレーム化して表示
for i in range(len(result)):
    print(lines[i], '\n', pd.DataFrame(result[i], columns=["word", "score"]), '\n')

• 全 4 行の結果を下表にまとめました。左から順に、各行の単語とその感情極性値となっています。
  

• まず None は「単語感情極性値対応表」に登録されていない単語であり、いかに収録語彙数の多い辞書を以てしても必ず起きる問題といえます。

• ただ、問題といえば、感情極性値に正の値をもつ単語はただ一つ「最多」しかなく、それ以外はすべて負の値となっていることです。その中には、なぜネガティブと判定されるのか実感のわかないものが少なくありません。

２. 文章ごとに感情極性値の平均値を計算

# 文単位の平均値を計算
mean_list = []
for i in result:
    temp = []
    for j in i:
        if not j[1] == None:
            temp.append(float(j[1]))
    mean = (sum(temp) / len(temp))
    mean_list.append(mean)

# データフレーム化して表示
print(pd.DataFrame(mean_list, columns=["mean"], index=lines[0:4]))

• 全般的にほぼ負の値なので、自ずと語数が少ないほど平均値は高くなり、もっとも文章の短い3行目のネガティブの程度が小さめとなっています。
• ここで改めて「単語感情極性値対応表」を検討してみます。

⑸ 「単語感情極性値対応表」再考

１. ネガポジの構成比を確認する

• そもそも「単語感情極性値対応表」における ポジティブ/ネガティブ 及び ニュートラル の割合はどうなっているのでしょうか。

# ポジティブの語数
keys_pos = [k for k, v in dic.items() if float(v) > 0]
cnt_pos = len(keys_pos)
# ネガティブの語数
keys_neg = [k for k, v in dic.items() if float(v) < 0]
cnt_neg = len(keys_neg)
# ニュートラルの語数
keys_neu = [k for k, v in dic.items() if float(v) == 0]
cnt_neu = len(keys_neu)

print("ポジティブ の割合:", ('{:.3f}'.format(cnt_pos / len(dic))), "(", cnt_pos, "語)")
print("ネガティブ の割合:", ('{:.3f}'.format(cnt_neg / len(dic))), "(", cnt_neg, "語)")
print("ニュートラル の割合:", ('{:.3f}'.format(cnt_neu / len(dic))), "(", cnt_neu, "語)")

• ネガティブが全体の9割を占めており、著しく偏っていることがわかります。かりに10語あったとしてポジティブな語はそのうち1語あるかないかですから、文章単位の平均値は概ねネガティブとなります。
• また例えば、先に「スパゲッティ：-0.270203」「マカロニ：-0.384254」とありましたが、人それぞれの嗜好やシチュエーションによってネガポジの実感は異なるはずです。
• なお、先の結果で唯一ポジティブな語とされた「最多」ですが、昨今の「新規感染者が最多を更新」といった語用をみても、必ずしもポジティブな意味だけに使われる語でないことは明らかです。

２. 重複している語を確認する

• 登録数は 55,125 語ですが、dict 型に変換した時点でその総数は 52,671 語に減じています。

print("dict型に変換前の要素数 :", len(pndic))
print("dict型に変換後の要素数 :", len(dic), "\n")

pndic_list = pndic["word"].tolist()
print("dict型に変換前の一意な要素数 :", len(set(pndic_list)))

• 登録の形式は原則として 語（終止形）：読み：品詞：感情値[-1, +1] となっていますが、例えば、次のように同一の 語（終止形） をもつ複数のデータが散在しています。こうした重複をなくした一意な要素数をカウントすると、上記のとおり dict 型に変換後の要素数 52,671 と一致します。

---

• さて、感情分析には「-ない」「だが」といった否定による極性の反転や、「とても」「非常に」というような感情強度の増幅などの処理が必要です。辞書自体の問題のみならず、以上の処理では全く十分ではありません。
• 辞書作りには多大なエネルギーと莫大なコストがかかります。そうした先行投資があってのことで、既成のものの恩恵に浴しようとして、その完成度をあれこれ批評することにいささか抵抗を感じます。かつてヒューマンリソースをつかって自然言語処理をやってきた個人的な経験からいえば、当事者意識をもって日本語の感情分析を考えていきたい、ですね。

初めまして、ももちゃんのパパです。

タイトルがいきなり偉そうな事言いやがってと言われそうですが、今まで某スクールで200名以上教えてきました。
Python,AI（じゃなくてMLなんだけど。。。）、DataScience、Blockchain（Solidity）と、幅広くメンターとして
教師ではなくこれから同じ業界で働いてくれる仲間を増やせるんだと意気込みを持って、最初は転職活動中でしたが、仕事が決まってからは
仕事の合間にメンターとして（講師とか教師とかではなく、敢えて言うなら新人の方に仕事が出来るようになるために
他のことも色々と相談に載ったり）活動してきました。これが、日本が遅れていると言われているところを変えられるんだ！！
と意気込んで、仕事を後回しにして（徹夜になりますが。。。（笑））力を注いできました。

2021年でスクールでの活動は辞めます

理由は、コースを受けた人が転職なり就職なり出来ていないこと＝理解出来ていない、使えていない現実を知ったからです

スクール運営されている側は、「出ているじゃないか」と言い張るでしょう。でも、事実は事実。実現値は、変えられません。

同じスクール出身者が同じスクールでデータサイエンスを学んだその道のプロが面接する機会があったそうです。
（面接する側が、私の受講生だった方で、私も数学では到底及ばない方でPythonでのデータサイエンスを学びに来られていました）

「それ、データサイエンティストじゃないよ」

Pythonでプログラム作れると、データサイエンスの理論（ベイズ統計とか）の課題を早々に解いても、試験問題と同じです。
現場で欲しい人は、理解している人なのです。最初は、色々あると思いますが、その姿勢がある人が欲しいのです。
「データを見て、ゴールまでの理論に関する仮説を立てて検証し、結果を理論的に説明できる人」
なのであって、1＋1＝2のような答えを出すだけの人なら、PCで十分です。
（現に、間違えてとってPCで計算だけさせている人も多いそうです）

受講生には、お医者さんもいらっしゃいます。医療に役立てようと、凄く忙しい中、時間を取って参加されています。
お医者様に限らず、受講生の方には2つのタイプに大別されると感じています。
（1）とても、勉強熱心だけどプログラムは良くわかっていないから、課題提出も遅い
（2）早々に課題を全て終わらせて、メンター開始時には課題は全て合格（後で見ると、？なのはありますが）

この2の受講生に、「機械学習の結果、600枚画像分析を86％の精度で17秒でできました。さて、お仕事に使えますか？」と質問します。
貴方ならどう答えますか？
「医療なんだから、99％精度がないと駄目ですね」→その通りです。でも、99％でないといけない根拠がありません。
「人がやった場合は17秒ではできないので、残りをどうするかを考えます」→人間がやれば、17秒で86％＝516枚を正しく判別できますか？（出来たら、TVのニュースになりますね（笑））

必要なのは、後者の人です。常識や業界知識、その他必要な知識を総動員して、機械学習が出した結果を検証できる人なのです。

私も、IT業界が長いので、数多くのプログラムを作ってきましたし、見てきました。
最近、単体テストレベルの不具合が、本番で発生することが多いですよね。そりゃそうですよ、目先のことしか考えてないんですから。

IT業界は、魅力的かも知れません。デスマーチとか、平気でありますが（最近は、無能管理職が引き起こしているのが殆どですが）
エンジニアになりたい方は、是非プログラミングを学んで下さい。プログラムを作れる人は、普通です。色んなプログラムを合わせて
デバッグしたり機能追加したりして、期限までに目的を達成できる、そんなことを教えてくれるスクールだと良いと思います。
（どれ？と言われてもねぇ。。。行ったこと無いのでーｗ）

・プログラムではなくプログラミングが出来る人
・数値の根拠を説明出来る人
を育成するために、チャレンジして行きたいです。
2021年の年頭に当たって、今までのモヤモヤやこれでいいのか？をスッキリさせるために記事にしてみました。

※これは、私見です。色々ご意見はあるでしょうが、それはそれとして

初めまして、ももちゃんのパパです。

タイトルがいきなり偉そうな事言いやがってと言われそうですが、今まで某スクールで200名以上教えてきました。
Python,AI（じゃなくてMLなんだけど。。。）、DataScience、Blockchain（Solidity）と、幅広くメンターとして
教師ではなくこれから同じ業界で働いてくれる仲間を増やせるんだと意気込みを持って、最初は転職活動中でしたが、仕事が決まってからは
仕事の合間にメンターとして（講師とか教師とかではなく、敢えて言うなら新人の方に仕事が出来るようになるために
他のことも色々と相談に載ったり）活動してきました。これが、日本が遅れていると言われているところを変えられるんだ！！
と意気込んで、仕事を後回しにして（徹夜になりますが。。。（笑））力を注いできました。

2021年でスクールでのメンター活動は辞めます

理由は
1.コースを受けた人が転職なり就職なり出来ていないこと＝理解出来ていない、使えない事実を知った
2.メンターが、環境構築すらできない（環境が壊れたから作り直せ＝今までの結果は、全て消えることを平気で言う）

スクール運営されている側は、「出ているじゃないか」「出来ているじゃないか」と言うでしょう。
事実は事実。実現は、変えられません。今まで、沢山の事例とヘルプも受けました。そんなことも知らないの？と
愕然としたことも何度もありました。私は、合う人とは話すタイプ（逆に、初めての方は苦手だけど、打ち解けるのは早いです。
弄られるのが仕事？（笑）みたいなものなので）で、相手の将来を思いすぎて厳しいことを言いすぎたり、
相手が適当なら適当に合わせて来ました（適当な奴に真剣にやる必要ある？）。

何故知ったか。これは、皮肉にも受講生の方からのフィードバックでした（スクールも予測していなかったでしょうね）。
同じスクール出身者が同じスクールでデータサイエンスを学んだその道のプロが面接する機会があったそうです。
（面接する側が、私の受講生だった方で、私も数学では到底及ばない方でPythonでのデータサイエンスを学びに来られていました）
面接も進み、話していてペイズ統計がとか、シミュレーションとか、色々話しが出たそうです。でも、その方はこう仰ったそうです。

「それ、データサイエンティストじゃないよ」

これで、面接は終わりになりました。こ
Pythonでプログラム作れるとか、データサイエンスの理論（ベイズ統計とか）の課題を早々に解いても、
試験と同じで、正解です。しかし、現場で必要な人は、データを理解している人なのです。
最初は、色々あると思いますが、その姿勢がある人が欲しいのです。
「データを見て、ゴールまでの理論に関する仮説を立てて検証し、結果を理論的に説明できる人」
なのであって、1＋1＝2のような答えを出すだけの人なら、PCで十分です。
（現に、間違えてとってPCで計算だけさせている人も多いそうです）

理系とか文系とか分ける必要は無く、ちゃんとした教育を

受講生には、お医者さんもいらっしゃいます。医療に役立てようと、凄く忙しい中、時間を取って参加されています。
お医者様に限らず、受講生の方には2つのタイプに大別されると感じています。
（1）とても、勉強熱心だけどプログラムは良くわかっていないから、課題提出も遅い
（2）早々に課題を全て終わらせて、メンター開始時には課題は全て合格（後で見ると、？なのはありますが）

この2の受講生に、「機械学習の結果、600枚画像分析を86％の精度で17秒でできました。さて、お仕事に使えますか？」と質問します。
貴方ならどう答えますか？
「医療なんだから、99％精度がないと駄目ですね」→その通りです。でも、99％でないといけない根拠がありません。
「人がやった場合は17秒ではできないので、残りをどうするかを考えます」→人間がやれば、17秒で86％＝516枚を正しく判別できますか？（出来たら、TVのニュースになりますね（笑））

必要なのは、後者の人です。常識や業界知識、その他必要な知識を総動員して、機械学習が出した結果を検証できる人です。

IT業界が長いので、数多くのプログラムを作ってきました。見てきました。レビューしてきました。
最近、単体テストレベルの不具合が、本番で発生することが多いですよね。そりゃそうですよ、目先のことしか考えてないんですから。
IT業界は、魅力的かも知れません。デスマーチとか、平気でありますが（最近は、無能管理職が引き起こしているのが殆どですが）
エンジニアになりたい方は、是非プログラミングを学んで下さい。プログラムを作れる人は、普通です。色んなプログラムを合わせて
デバッグしたり機能追加したりして、期限までに目的を達成できる、そんなことを教えてくれるスクールだと良いと思います。
（どれ？と言われてもねぇ。。。行ったこと無いのでーｗ）

・プログラムではなくプログラミングが出来る人
・数値の根拠を説明出来る人
を育成するために、チャレンジして行きたいです。
2021年の年頭に当たって、今までのモヤモヤやこれでいいのか？をスッキリさせるために記事にしてみました。

※これは、私見です。色々ご意見はあるでしょうが

データ解析の基本的な要約法である数値的要約について書いていきます。

一次元データの要約

import  numpy as np

x=np.array([1,2,3,4.5,5,6.5,7,8,9,10])

average=np.mean(x)  ///平均値　  mean関数///
(Out  5.6)

med=np.median(x)   ///中央値　　median関数///
(Out  5.75)

var.p=np.var(x)  ///標本分散　　var関数///
(Out  8.19)

std=np.std(x)   ///標準偏差　　std関数///
(Out  2.86)

各言葉の意味についてはこちらを参考にしてください。
https://note.com/karaage_love/n/n6f617d38c528

二次元データの要約

import numpy as np
import matplotlib.pyplot as plt

array=np.loadtxt(fname='example.csv',delimiter=',',encoding="utf-8_sig")
///example.csvには二列のデータが入っています。///

array_x=array[:,0]
array_y=array[:,1]  ///スライス///

plt.scatter(araay_x,array_y,s=10,c='blue',alpha='0.5')  

///散布図の作成    sは大きさのこと cは散布図の色のこと　　alphaは透明度のこと///

np.cov(array_x,array_y,bias=True) 
(Out   [[6.72727273 3.54545455]
        [3.54545455 6.        ]])
 //共分散    結果は2×2の行列　　対角成分はそれぞれx、ｙの分散。残りは共分散です。///
np.corrcoef(array_x,array_y)  
(Out   [[1.         0.55805471]
        [0.55805471 1.        ]]
///相関係数　　やはり対角成分以外が相関係数です。///

二次元データの要約の詳しいことをこちらを参照。
https://note.com/karaage_love/n/n992a7fdf9b1f

Java、JavaScript、Pythonの処理比較

最近JavaScriptとPythonの勉強を始めました。
学んだことの整理として、Java、JavaScript、Pythonの3言語の処理比較を記事にしていこうと思います。
今回は文字列処理です。

文字列処理の比較一覧

処理内容	Java	JavaScript	Python
文字列長	length()	length	len(文字列)
一致比較	equals(比較文字) equalsIgnoreCase(比較文字)	==比較演算子 ===比較演算子	==比較演算子
検索	indexOf(検索文字列) lastIndexOf(検索文字列) contains(検索文字列) startsWith(検索文字列) endsWith(検索文字列)	indexOf(検索文字列) lastIndexOf(検索文字列) includes(検索文字列) startsWith(検索文字列) endsWith(検索文字列)	find(検索文字列) rfind(検索文字列) in式 not in式 startswith(検索文字列) endswith(検索文字列)
単純結合	＋演算子 concat(結合文字列) StringBuilder.append(結合文字列)	＋演算子 concat(結合文字列,...)	＋演算子
空白除去	trim() strip()	trim() trimLeft() trimRight()	strip(削除対象文字) lstrip(削除対象文字) rstrip(削除対象文字)
大文字小文字変換	toUpperCase() toLowerCase()	toUpperCase() toLowerCase()	upper() lower() capitalize() title() swapcase()
切り出し	substring(開始index,終了index) charAt(index)	substring(開始index,終了index) charAt(index) slice(開始index,終了index) substr(開始index,文字数)	文字列[開始index:終了index]
繰り返し	repeat(繰返し数)	repeat(繰返し数)	*演算子
置換	replace(前文字,後文字) replaceFirst(前文字,後文字) replaceAll(前文字,後文字)	replace(前文字,後文字) replaceAll(前文字,後文字)	replace(前文字,後文字) re.sub(前文字,後文字,文字列) re.subn(前文字,後文字,文字列) translate(式)
区切りで結合	String.join(区切り文字,結合文字列...)	結合文字配列.join(区切り文字)	区切り文字.join(結合文字配列)
区切りで分割	split(区切り文字)	split(区切り文字)	split(区切り文字) rsplit(区切り文字) splitlines() re.split(区切り文字)
任意成型	String.format(成型式,文字列...)	テンプレートリテラル→ `xxx${変数名}xxx`	成型式.format(変数や式...) f'xxx{変数や式}xxx' 形成式 % (変数や式,...)

追記

• 一致比較
  • JavaのequalsIgnoreCase()は大文字小文字を無視した一致比較を行います。
    
  • ===演算子は型を含めた厳密な比較を行います。'123'===123　→false
• 検索
  • 一致箇所の文字indexを返す：indexOf()、lastIndexOf()、find()、rfind()
    
  • true/falseを返す：contains()、includes()、in式、not in式
    
  • 先頭文字の一致判定、true/falseを返す：startsWith()
    
  • 末尾文字の一致判定、true/falseを返す：endsWith()
    
• 空白除去
  • いずれの言語も半角空白、タブ、改行が除去対象になります。
    
  • Javaのstrip()は上記に加え、全角空白も除去対象になります。
    
  • Pythonの関数は引数に削除対象文字指定可、省略時は空白・タブ・改行が除去対象になります。
    
• 大文字小文字変換
  • Pythonは他の2つよりも細かい変換関数が存在します。capitalize()→最初の文字を大文字に他は小文字に変換、title()→単語最初の文字を大文字に他は小文字に変換、swapcase()→大文字小文字を入れ替え
    
• 切り出し
  • substring()は終了indexを省略可能で、その場合は文字列の末尾を終了indexとします。
    
  • JavaScriptの切り出しsubstring()とslice()は通常の使用範囲では差異はありませんが、引数がイレギュラーな場合に結果が異なります。
    
  • 開始index＞終了indexの場合、substring()は自動で開始終了を入替え、slice()は空文字を返します。
    
  • 負数指定の場合、substring()は引数を0として扱い、slice()は「文字列長－引数」として扱います。
    
  • Pythonは関数ではなく「文字列[start:end]」という書式のスライスを使用します。start,endいずれか省略可能、「:」省略時はcharAt()のように1文字を取得します。
    
• 置換
  • Java：replace()はマッチした全文字置換、replaceFirst()マッチした最初の文字置換。
    
  • JavaScript：replace()はマッチした最初の文字置換、replaceAll()はマッチした全文字置換、ただしreplace()も正規表現オプション「g」で全文字置換可能。
    
  • Python：replace()は第3引数にsplit()のように最大置換数指定可。
    
  • Python：translate()は複数ケースの置換が可能。ただし置換元文字は1文字であること。置換の組み合わせを「str.maketrans()」で指定します。「"abCdefghIk".translate(str.maketrans({'C':'c', 'I':'ij'}))」
    
  • 正規表現が使用できるのは各言語で以下の通りです。
    
  • Java：replaceFirst()、replaceAll()
    
  • JavaScript：replace()、replaceAll()
    
  • Python:re.sub()、re.subn()、subnは置換処理された文字列＋変換した個数のリスト(正確にはタプル)を返します。
    
• 区切りで分割
  
  • split()はどの言語でも第2引数に最大分割数が指定可能です。
    
  • Java、JavaScriptのsplit()は正規表現使用可能です。JavaScriptにおいては空白区切りは正規表現で「/\s/」と指定します。
    
  • Pythonはreモジュールのre.split()が正規表現使用可能です。
    
  • Pythonのsplit()は引数省略可能で、省略時は空白・タブ・改行が分割対象となります。
    
  • Pythonのrsplit()は第2引数に最大分割数指定したとき右からカウントするのがsplit()との差異になります。
    
  • Pythonのsplitlines()は改行で分割します。OS依存の改行にも対応しています。
    
• 任意成型
  • Pythonはいくつかの書式があります。format()は下記サンプル参照。
    
  • 1つは%演算子：sei='山田' mei='太朗'のとき、print('名前：%s %s' % (sei,mei))
    
  • 1つはf文字列：print(f'名前：{sei} {mei}')
    

サンプル

Java

public class StringSample {

    public static void main(String[] args) {
        StringSample obj = new StringSample();
        obj.executeSample();
    }

    public void executeSample() {
        String str = "  山田,太朗,Yamada,Taro,M,19950827,25才,東京都千代田区神田佐久間町2-XX-XX〇〇荘   ";

        // 空白除去
        String strKuhaku1 = str.trim();

        // 区切りで分割
        String[] strBun1 = strKuhaku1.split(",");

        // 単純結合
        String resName = new StringBuilder().append(strBun1[0]).append(strBun1[1]).toString();

        // 大文字小文字変換
        String strOoko1 = strBun1[2].toUpperCase();
        String strOoko2 = strBun1[3].toUpperCase();

        // 単純結合
        String resAlpha = strOoko1.concat(" ").concat(strOoko2);

        // 一致比較
        String resSex;
        if (strBun1[4].equals("M")) {
            resSex = "男性";
        } else {
            resSex = "女性";
        }

        // 切り出し
        String strKiri1 = strBun1[5].substring(0, 4);
        String strKiri2 = strBun1[5].substring(4, 6);
        String strKiri3 = strBun1[5].substring(6);

        // 区切りで結合
        String resBirth = String.join("/", strKiri1, strKiri2, strKiri3);

        // 置換
        String resAge = strBun1[6].replace("才", "歳");

        // 文字列長
        String resAddress = strBun1[7];
        if (16 < strBun1[7].length()) {
            resAddress = strBun1[7].substring(0, 16);
            // 単純結合
            resAddress = resAddress + "(略)";
        }

        // 検索
        String resMessage1 = "";
        String resMessage2 = "";
        if (strBun1[7].startsWith("東京都")) {
            resMessage1 = "首都です。";
        }
        if (strBun1[7].contains("千代田区")) {
            resMessage2 = "東京駅があります。";
        }

        // 任意成型
        String res1 = String.format("%s(%s)様 %s %s生(%s)", resName, resAlpha, resSex, resBirth, resAge);
        String res2 = String.format("%s %s%s", resAddress, resMessage1, resMessage2);

        // 繰り返し
        String line = "-".repeat(64);

        System.out.println(line);
        System.out.println(res1);
        System.out.println(res2);
        System.out.println(line);
    }
}

JavaScript

<html>
<head>
<script>
function executeSample() {
        let str = "  山田,太朗,Yamada,Taro,M,19950827,25才,東京都千代田区神田佐久間町2-XX-XX〇〇荘   ";

        // 空白除去
        let strKuhaku1 = str.trim();

        // 区切りで分割
        let strBun1 = strKuhaku1.split(",");

        // 単純結合
        let resName = strBun1[0] + strBun1[1];

        // 大文字小文字変換
        let strOoko1 = strBun1[2].toUpperCase();
        let strOoko2 = strBun1[3].toUpperCase();

        // 単純結合
        let resAlpha = strOoko1.concat(" ", strOoko2);

        // 一致比較
        let resSex;
        if (strBun1[4] == "M") {
            resSex = "男性";
        } else {
            resSex = "女性";
        }

        // 切り出し
        let strKiri1 = strBun1[5].substring(0, 4);
        let strKiri2 = strBun1[5].substring(4, 6);
        let strKiri3 = strBun1[5].substring(6);

        // 区切りで結合
        let resBirth = [strKiri1, strKiri2, strKiri3].join("/");

        // 置換
        let resAge = strBun1[6].replace("才", "歳");

        // 文字列長
        let resAddress = strBun1[7];
        if (16 < strBun1[7].length) {
            resAddress = strBun1[7].substring(0, 16);
            // 単純結合
            resAddress = resAddress + "(略)";
        }

        // 検索
        let resMessage1 = "";
        let resMessage2 = "";
        if (strBun1[7].startsWith("東京都")) {
            resMessage1 = "首都です。";
        }
        if (strBun1[7].includes("千代田区")) {
            resMessage2 = "東京駅があります。";
        }

        // 任意成型
        let res1 = `${resName}(${resAlpha})様 ${resSex} ${resBirth}生(${resAge})`;
        let res2 = `${resAddress} ${resMessage1}${resMessage2}`;

        // 繰り返し
        let line = "-".repeat(64);

        console.log(line);
        console.log(res1);
        console.log(res2);
        console.log(line);
    }
</script>
</head>
<body onload="executeSample()">
  <h1>Qiita記事</h1>
  <h2>文字列処理</h2>
</body>
</html>

Python

str1 = "  山田,太朗,Yamada,Taro,M,19950827,25才,東京都千代田区神田佐久間町2-XX-XX〇〇荘   "

# 空白除去
strKuhaku1 = str1.strip()

# 区切りで分割
strBun1 = strKuhaku1.split(",")

# 単純結合
resName = strBun1[0] + strBun1[1]

# 大文字小文字変換
strOoko1 = strBun1[2].upper()
strOoko2 = strBun1[3].upper()

# 単純結合
resAlpha = strOoko1 + " " + strOoko2

# 一致比較
resSex = ""
if strBun1[4] == "M":
    resSex = "男性"
else:
    resSex = "女性"

# 切り出し
strKiri1 = strBun1[5][0:4]
strKiri2 = strBun1[5][4:6]
strKiri3 = strBun1[5][6:]

# 区切りで結合
resBirth = "/".join([strKiri1, strKiri2, strKiri3])

# 置換
resAge = strBun1[6].replace("才", "歳")

# 文字列長
resAddress = strBun1[7]
if 16 < len(strBun1[7]):
    resAddress = strBun1[7][:16]
    # 単純結合 +
    resAddress = resAddress + "(略)"

# 検索
resMessage1 = ""
resMessage2 = ""
if strBun1[7].startswith("東京都"):
    resMessage1 = "首都です。"
if  "千代田区" in strBun1[7]:
    resMessage2 = "東京駅があります。"

# 任意成型
res1 = "{}({})様 {} {}生({})".format(resName, resAlpha, resSex, resBirth, resAge)
res2 = "{} {}{}".format(resAddress, resMessage1, resMessage2)

# 繰り返し *
line = "-" * 64

print(line)
print(res1)
print(res2)
print(line)

出力結果

----------------------------------------------------------------
山田太朗(YAMADA TARO)様 男性 1995/08/27生(25歳)
東京都千代田区神田佐久間町2-X(略) 首都です。東京駅があります。
----------------------------------------------------------------

背景

macOS BigSurでpythonをつかおうとおもった。
（CuteRというコマンドを使いたかった：CuteRでQRコード画像をつくった）

ところが、pipをつかうと

$ pip install
dyld: Library not loaded: /System/Library/Frameworks/CoreFoundation.framework/Versions/A/CoreFoundation
  Referenced from: /Library/Frameworks/Python.framework/Versions/3.6/Resources/Python.app/Contents/MacOS/Python
  Reason: image not found
Abort trap: 6

となってしまう。

$ python3でもおなじ。

基本的な方向性

macOS環境のPython：https://www.python.jp/install/macos/index.html

によると

• macOSに入っているpythonを使おうとするな
• Homebrewでインストールせよ
• pip3でなくてpython3.9 -m pip xxxとせよ
• venvなど仮想環境で動かせ

ということだそう。ここでは、上の３つまでやってみた。

作業ログ

$ brew updateすると、まずはgit - C ...をせよとのお達し。

$ brew update
Error: homebrew-core is a shallow clone. To `brew update` first run:
  git -C "/usr/local/Homebrew/Library/Taps/homebrew/homebrew-core" fetch --unshallow

まずはfetchして、$ brew update

$ git -C "/usr/local/Homebrew/Library/Taps/homebrew/homebrew-core" fetch --unshallow
remote: Enumerating objects: 690418, done.
remote: Counting objects: 100% (690359/690359), done.
remote: Compressing objects: 100% (233146/233146), done.
remote: Total 680792 (delta 450632), reused 674814 (delta 444788), pack-reused 
Receiving objects: 100% (680792/680792), 271.20 MiB | 14.34 MiB/s, done.
Resolving deltas: 100% (450632/450632), completed with 7510 local objects.
From https://github.com/Homebrew/homebrew-core
   baf6aab591..b293a33dd8 master     -> origin/master

$ brew update

pythonのインストール。

$ brew install python
Warning: python@3.9 3.9.1_3 is already installed, it's just not linked
You can use `brew link python@3.9` to link this version.

入っているらしい。リンクすればいいのね。

$ brew link python@3.9
Linking /usr/local/Cellar/python@3.9/3.9.1_3... 
Error: Could not symlink bin/2to3
Target /usr/local/bin/2to3
already exists. You may want to remove it:
  rm '/usr/local/bin/2to3'

To force the link and overwrite all conflicting files:
  brew link --overwrite python@3.9

To list all files that would be deleted:
  brew link --overwrite --dry-run python@3.9

ふむ、rmしてbrew linkね。

$ rm '/usr/local/bin/2to3'
$ brew link --overwrite python@3.9
Linking /usr/local/Cellar/python@3.9/3.9.1_3... 25 symlinks created

これをしたけど、

$ pip install 
$ python3

とすると、また冒頭と同じエラー。そうではなくて

$ python3.9
Python 3.9.1 (default, Dec 28 2020, 11:25:16) 
[Clang 12.0.0 (clang-1200.0.32.28)] on darwin
Type "help", "copyright", "credits" or "license" for more information.

いけたー！　ということで、下記サイトを参考にしてpipを試す。
https://www.python.jp/install/macos/pip.html

$ python3.9 -m pip install pillow
Collecting pillow
  Downloading Pillow-8.0.1-cp39-cp39-macosx_10_10_x86_64.whl (2.2 MB)
     |████████████████████████████████| 2.2 MB 3.7 MB/s 
Installing collected packages: pillow
Successfully installed pillow-8.0.1
WARNING: You are using pip version 20.3.1; however, version 20.3.3 is available.
You should consider upgrading via the '/usr/local/opt/python@3.9/bin/python3.9 -m pip install --upgrade pip' command.

といわれるので、御意。

$ python3.9 -m pip install --upgrade pip
Requirement already satisfied: pip in /usr/local/lib/python3.9/site-packages (20.3.1)
Collecting pip
  Downloading pip-20.3.3-py2.py3-none-any.whl (1.5 MB)
     |████████████████████████████████| 1.5 MB 6.2 MB/s 
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 20.3.1
    Uninstalling pip-20.3.1:
      Successfully uninstalled pip-20.3.1
Successfully installed pip-20.3.3

上記サイトに従って、いったんpillowはアンインストール

$ python3.9 -m pip uninstall pillow
Found existing installation: Pillow 8.0.1
Uninstalling Pillow-8.0.1:
  Would remove:
    /usr/local/lib/python3.9/site-packages/PIL/*
    /usr/local/lib/python3.9/site-packages/Pillow-8.0.1.dist-info/*
Proceed (y/n)? y
  Successfully uninstalled Pillow-8.0.1

これでよいのだな。

リソース

macOS環境のPython：https://www.python.jp/install/macos/index.html
macOS環境のPython - pip ：https://www.python.jp/install/macos/pip.html

環境

Python 3.9.1 (Dec 28 2020, 11:25:16)
macOS BigSur バージョン 11.1
MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports)

背景

年賀状にQRコードを貼ろうとおもった。ふつうのじゃおもしろくないし、真ん中にロゴが入っているのもちょっと違うし。CuteRというpythonで書かれたコマンドがおもしろそうなので、使えるようにしてみた。

↑　こんなかんじのQRコードがつくれるらしい！　ほかでも遊べそうｗ

pythonのインストール

別記事でまとめた　⇒　macOSでpythonを使えるようにした

CuteRのインストール

作業ディレクトリを作成して移動

$ mkdir CuteR
$ cd CuteR

つくったディレクトリにvenvで仮想環境をつくり、アクティベート

$ python3.9 -m venv .venv
$ . .venv/bin/activate

CuteRをつかってみる

公式サイトにある、サンプルコマンドを打ってみる。無事に動く！！

$ CuteR -c 10 -e H -o sample_output.png -v 10 sample_input.png http://www.chinuno.com

いろいろ試して、コマンド調整

$ CuteR -c 10 -e H -o output.png -v 6 input.png https://scrapbox.io/HPNY2021/01-Jan

使用前　⇒　使用後
　⇒　

仮想環境を抜ける

(.venv) $ deactivate

リソース

CuteRのページ：https://github.com/chinuno-usami/CuteR

検討したけど使わなかったもの

QArt Codes：https://research.swtch.com/qart
オンラインサービスもあったみたいだけど、終了していた。

qart.js：https://github.com/kciter/qart.js
よさそうなんだけれどSecurityError: The operation is insecure.を解消できず。呼んでいるモジュールが危ないみたい？GitHubのメンテもしばらく行われていないので、自力解決をあきらめた（CuteRのほうが最新更新が新しかった）。

環境

Python 3.9.1 (Dec 28 2020, 11:25:16)
macOS BigSur バージョン 11.1
MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports)

今年の年賀状の中心のなる図では、海洋予測モデルの流速を3次元地形と一緒に表示した。

plotlyで作成した。Jupyterlab上でぐりぐり動かすこともできる。

データを読み込む所は省略して、図を描く部分のコードは以下の通り。
go.Surfaceが3次元的に地形を描くところで、xがx軸、yがy軸、地形のデータがzに入っている。Ctopoは彩色のためのカラースケール。
go.Coneが流速のベクトルを3次元コーンで表現した部分。(xv,yv,zv)に3次元座標、(uv,vv,wv)に3次元ベクトルデータが入っている。
layoutでは図のアスペクト比を変えたり、座標軸を表示させなくしたりしている。

import plotly.graph_objects as go


Ctopo = [[0, 'rgb(0, 0, 70)'],[0.2, 'rgb(0,90,150)'], 
          [0.4, 'rgb(150,180,230)'], [0.5, 'rgb(210,230,250)'],
          [0.50001, 'rgb(0,120,0)'], [0.57, 'rgb(220,180,130)'], 
          [0.65, 'rgb(120,100,0)'], [0.75, 'rgb(80,70,0)'], 
          [0.9, 'rgb(200,200,200)'], [1.0, 'rgb(255,255,255)']]

fig = go.Figure(data=[go.Surface(z=z, x=x, y=y,showscale=False,colorscale=Ctopo,cmin=-3000,cmax=3000),
                      go.Cone(x=xv,y=yv,z=zv,u=uv,v=vv,w=wv,sizemode="absolute",sizeref=0.05,colorscale="turbo",opacity=0.5,cmin=0,cmax=1.5,showscale=False)])


noaxis=dict(showbackground=False,
            showgrid=False,
            showline=False,
            showticklabels=False,
            ticks='',
            title='',
            zeroline=False)


fig.update_layout( 
    width=1500, height=500,
    margin=dict(l=0, r=0, b=0, t=0),
    scene_aspectmode='manual',
    scene_aspectratio=dict(x=2, y=1, z=0.7),
    scene = dict(
        xaxis = noaxis,
        yaxis = noaxis,
        zaxis = noaxis)
    )
fig.show()

やろうとしたこと&遭遇したエラー

1. macでpyenvで複数バージョンインストール&バージョン切り替えできる環境が機能していた (python 3.6 3.8系列)
2. macOS Big sir にアップグレードした
3. 3.6 3.8系列の別バージョンをpyenv installでインストールしようとすると以下のようなエラーでインストールが完了しなくなった

BUILD FAILED ...
...
Last 10 log lines:
./Modules/posixmodule.c:8210:15: error: implicit declaration of function 'sendfile' is invalid in C99 [-Werror,-Wimplicit-function-declaration]
        ret = sendfile(in, out, offset, &sbytes, &sf, flags);
...

この件多くの方が遭遇していたようで、pyenvのGitHub issueで解決策が議論されていました。このページを参照しつつ私の環境で解決できた際のオペレーションをメモします。

環境

• macOS Big Sur 11.1
• Big Sur アップグレード前にXcodeインストール済み
• pyenv 1.2.21 (python 3.6 3.8系列利用中)
• シェルはzsh

解決したオペレーション

xcodeのツールを再インストール

sudo rm -rf /Library/Developer/CommandLineTools
xcode-select --install

brewで2パッケージをreinstall

brew reinstall zlib bzip2

~/.zshrcに以下を追加

export PATH="$HOME/.pyenv/bin:$PATH"
export PATH="/usr/local/bin:$PATH"

eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"
export LDFLAGS="-L/usr/local/opt/zlib/lib -L/usr/local/opt/bzip2/lib"
export CPPFLAGS="-I/usr/local/opt/zlib/include -I/usr/local/opt/bzip2/include"

追加した変更を有効にするために、ターミナルを開き直しました。
この時点で、自分の環境ではバージョン3.8系列はpyenv installでインストールできるようになっていました。

バージョン3.6系列のインストール

これで3.6系列も入るか?とpyenv install 3.6.12とやってみましたが、最初のエラーが出てしまいました。そこで参照ページに従って以下コマンド(1行です)を打つとバージョン3.6.0のインストールに成功しました。

CFLAGS="-I$(brew --prefix openssl)/include -I$(brew --prefix bzip2)/include -I$(brew --prefix readline)/include -I$(xcrun --show-sdk-path)/usr/include" LDFLAGS="-L$(brew --prefix openssl)/lib -L$(brew --prefix readline)/lib -L$(brew --prefix zlib)/lib -L$(brew --prefix bzip2)/lib" pyenv install --patch 3.6.0 < <(curl -sSL https://github.com/python/cpython/commit/8ea6353.patch\?full_index\=1)

続いてバージョン番号のみを変えて以下コマンドを打つとバージョン3.6.12のインストールにも成功しました。

CFLAGS="-I$(brew --prefix openssl)/include -I$(brew --prefix bzip2)/include -I$(brew --prefix readline)/include -I$(xcrun --show-sdk-path)/usr/include" LDFLAGS="-L$(brew --prefix openssl)/lib -L$(brew --prefix readline)/lib -L$(brew --prefix zlib)/lib -L$(brew --prefix bzip2)/lib" pyenv install --patch 3.6.12 < <(curl -sSL https://github.com/python/cpython/commit/8ea6353.patch\?full_index\=1)

参照文献

https://github.com/pyenv/pyenv/issues/1737

書きかけですが公開します
時間があったら直していきます

初めに

愛用しているpixivpyですが、開発が中国ということもあり、国内サイトで説明などはあまり見当たりません。
そこで自分がこれを使っているうちに学んだことなどを共有したいと思います。
pythonのpixivpyを使ってpixivから特定のユーザーの作品をすべて一括でダウンロードする（うごイラ含む）を改造したいときにどうぞ

分析方法

昔はanaconda付属のspyderというソフトで、返り値の分析をすることができたのですが、
今のバージョンではできなくなってしまいました。
そのためpyscripterを使ったり、一度jsonファイルとして保存してから分析することにしました。

qiita.py

from pixivpy3 import *
import json
import os
from PIL import Image
import glob
from time import sleep


#ここは各個人にやってもらう設定です

#ダウンロードしたいユーザーのid(webでユーザーのページに行った際のurlの最後にある数字です)
id_search = 11
#一人当たりダウンロードする作品の最大数、すべてダウンロードしたい場合はできるだけ大きくすること（一人の作者の作品数を超えること）
#新しい順にダウンロードされます
works=100000
#ブックマーク数によるフィルター、最小値を設定、0ならすべて
score=0
#閲覧数によるフィルター、最小値を設定、0ならすべて
view=0

#タグによるフィルター　書き方 target_tag = ["Fate/GrandOrder","FGO","FateGO","Fate/staynight"]
target_tag = [] #target_tag内に複数書くと、そのうち少なくとも一つあればダウンロード
target_tag2 = []#さらにtarget_tag2に書くとtarget_tagを満たし、かつtarget_tag2を満たすものだけダウンロード
extag = ["R-18"]#extag内のタグが一つでも入っていればダウンロードしない

#画像を保存するディレクトリ
main_saving_direcory_path = "./img/"




#事前処理

#事前に作ったアカウント情報が書かれたファイルを読み込む
with open("client.json", "r") as f:
    client_info = json.load(f)

# pixivpyのログイン処理
api = PixivAPI()
api.login(client_info["pixiv_id"], client_info["password"])
aapi = AppPixivAPI()
aapi.login(client_info["pixiv_id"], client_info["password"])





illustrator_id = api.users_works(id_search, per_page=works)
with open("users_works.json", "w") as n:
    json.dump(illustrator_id, n, indent = 2)


with open ("users_works.json","r") as sd:
    users_works = json.load(sd)

api.users_works

papi.py

    # 用户作品列表
    def users_works(self, author_id, page=1, per_page=30,
                    image_sizes=['px_128x128', 'px_480mw', 'large'],
                    include_stats=True, include_sanity_level=True):

定義がこれです。
* self：pythonのクラス独特の因数。無視してよし
* auther_id：作者のid
* page：不明。変えたらエラーになった
* per_page：新しい順に何作品データをとってくるか
* image_sizes
* include_status
* include_sanity_level

api.users_works(11, per_page=100000)

• count：作品数
• status：情報をとってこれたかsuccessで成功
• pagination：よくわからない、あまり重要でない？

api.users_works(11, per_page=100000).paginaton

• response：投稿作品の情報が新しい順に作品ごとのリストで返される

api.users_works(11, per_page=100000).response

api.users_works(11, per_page=100000).response[0]

api.users_works(11, per_page=100000).response[0]

• age_limit：年齢制限あるか
• bookstyle：
• caption：説明文
• content_type
• created_time：公開された時間
• favorite_id
• height：画像の高さ（解像度）
• id：画像ごとに割り振られたid
• is_liked
• is_manga
• metadata
• page_count：ページ数
• pablicity
• reuploaded_time
• sanity_level
• title：作品のタイトル
• tools：作品を描くのに使った道具？ページからは確認できない
• type：作品の種類：illustration：1枚　ugoira：うごイラ manga：2枚以上
• width：画像の幅（解像度）

• image_urls：画像のurlサイズごとに３つある。一番画質がいいのはlarge
  api.users_works(11, per_page=100000).response[0].image_urls
  

• tags：作品につけられたタグ
  api.users_works(11, per_page=100000).response[0].tags
  

• user：投稿者の情報

• stats：作品の情報

api.users_works(11, per_page=100000).response[0].user

api.users_works(11, per_page=100000).response[0].user

• account
• id
• is_follower
• is_following
• is_friend
• is_premium
• name：ユーザー名
• profile
• profile_image_urls:ユーザーのアイコンに使われている画像
• stats

api.users_works(11, per_page=100000).response[0].stats

api.users_works(11, per_page=100000).response[0].stats

• commented_count：コメント数
• favorited_count：ブックマークの数。public：公開のブックマーク　private：非公開のブックマーク
• score：いいね！の数の10倍の数。なぜ存在するかわからない
• scored_count：いいね！の数
• views_count：閲覧数

置き場

aapi.download(illustrator_id.response[0].user.profile_image_urls.px_50x50, main_saving_direcory_path)

超軽量Python「Python embeddable」。ダウンロードの圧縮ファイル.zipで、約8MB、解凍して約16MB程度の超軽量Python実行環境。実行環境の準備方法を当方でも確認できたのでメモします。

1. Windows embeddable package (64-bit)をダウンロード。(python-3.9.1-embed-amd64.zip)
2. 展開後、中の「python.exe」に.pyファイルを渡して、実行可。(DOSコマンド: python.exe sample.py)
3. Python標準ライブラリのみしか使えないので、他のライブラリをインストールするには、まず「pip」をインストール。ダウンロード先：https://bootstrap.pypa.io/get-pip.py から「get-pip.py」をダウンロード、「get-pip.py」を「python.exe」上へドラッグ&ドロップ。
4. ファイル「python39._pth」をテキストエディタで開いて、「#import site」のコメントを除去「import site」へ。
5. 例えば、CPU・メモリ使用率等の情報を得るライブラリ「psutil」をインストールする場合は、「DOSコマンド: python.exe -m pip install psutil」
6. OK

詳細

https://www.python.org/downloads/windows/

　↓
https://www.python.org/downloads/release/python-391/
Windows embeddable package (64-bit)をダウンロード。

　↓
python-3.9.1-embed-amd64.zip

　↓
展開すると、フォルダ「python-3.9.1-embed-amd64」内は、

ほとんど.pyd(中身はDLL)と.dllのファイルのみで構成。

　↓
中の「python.exe」を起動すると、対話式コンソールが表示されます。

import datetime
datetime.datetime.now()
x = 2**32
x

　↓
ダウンロード先：https://bootstrap.pypa.io/get-pip.py から「get-pip.py」をダウンロード、フォルダ「python-3.9.1-embed-amd64」内に保存し、「get-pip.py」を「python.exe」上へドラッグ&ドロップして(あるいは、DOSコマンド: python.exe get-pip.py)、実行。


「pip」の利用可。
　↓
ファイル「python39._pth」をテキストエディタで開いて、「#import site」のコメントを除去「import site」して、


　↓
例えば、CPU・メモリ使用率等の情報を得るライブラリ「psutil」をインストールすると、「DOSコマンド: python.exe -m pip install psutil」で、

　↓

インストール完了。
　↓
ライブラリ「psutil」を使用してみると、

CPU使用率・メモリ使用率が取得され、OK。

import psutil
psutil.cpu_percent()
psutil.virtual_memory()

　↓
ライブラリ「psutil」をインストールすると、実行環境は約34MB。

参照

https://qiita.com/mm_sys/items/1fd3a50a930dac3db299
https://qiita.com/suzuki_y/items/3261ffa9b67410803443
https://pypi.org/project/psutil/

WebでPythonを使って遊べるゲームRoPE!

最近開発しているRoPEというゲーム。Pythonの学習を目的とした教育ゲームなのだが、そのデバッグも兼ねて記事を投稿してみた。
ゲーム自体はインストール不要だ。
RoPE

紹介動画

まずはロボットを作る

ロボットはこの画面で作っていく

手始めに以下のロボットを作っていく。モーター二つと一つのキャスターの素朴なロボットだ。

Pythonを書いていく

ここでロボット制御の要となるプログラムを書いていく

まずはただ前進&Hello Worldするだけのプログラム

import Robot
from time import sleep

print("Hello World")
Robot.Motor("motor_0",-100)
Robot.Motor("motor_1",100)

動かしてみると

うん、しっかり動いてる
右下のコンソールもしっかり動いています

ライントレースしてみる

Basicステージをいくつかクリアするとライントレースが解放される。
まず、ロボットにカラーセンサーを装着！

センサーの値を出力してみると...

import Robot
from time import sleep

Robot.Motor("motor_0",-100)
Robot.Motor("motor_1",100)

while True:
    print(Robot.CSRead("Sensor_0"))
    sleep(0.1)

センサー値はこんな感じのグラフになっている

おおよそ35を基準として判断すればいいみたい。

まずは一本めで止まれるようにする。

import Robot
from time import sleep


Robot.Motor("motor_0",-100)
Robot.Motor("motor_1",100)

while True:
    blightness = Robot.CSRead("Sensor_0")
    print(Robot.CSRead("Sensor_0"))
    if blightness < 35:
        Robot.Motor("motor_0",0)
        Robot.Motor("motor_1",0)
    sleep(0.1)

これで動くはず...しかし...

通り過ぎる..
なんでもプログラム通りに動くと思ったら間違いですよ！(これをやりたかった

最後に

Pythonをハードモードで勉強したい方、このゲームで一緒にイライラしましょう！

RoPE

次回はライントレースの続きをやります。

TensorFlow Object Detection API で独自のデータセットをつかうには、TFRecord ファイル形式にする必要があります。
データセットからTFRecordを作る手順です。

手順

個々のデータを tf_example に変換する関数を定義

個々の画像とアノテーション情報をバイトに変換して、
tf_exampleという形式に変えます。

import tensorflow as tf
import numpy as np
from PIL import Image

def create_tf_example(height, #画像の高さ
                      width, #画像の高さ
                      filename, #画像ファイルのパス
                      encoded_image_data, #エンコードされた画像データ
                      image_format, #b'jpeg' か b'png'
                      xmins, #ボックスのxの最小
                      xmaxs, #ボックスのxの最大
                      ymins, #ボックスのyの最小
                      ymaxs, #ボックスのyの最大
                      classes_text, #クラス名
                      classes #クラスID番号
                     ):

  img_obj = Image.open(filename).convert("RGB") #画像を開く
  encoded_image_data = np.array(img_obj).tobytes() #画像をバイトに

  tf_example = tf.train.Example(features=tf.train.Features(feature={
      'image/height': tf.train.Feature(int64_list=tf.train.Int64List([height])),
      'image/width': tf.train.Feature(int64_list=tf.train.Int64List([width])),
      'image/filename': tf.train.Feature(bytes_list=tf.train.BytesList([filename])),
      'image/source_id': tf.train.Feature(bytes_list=tf.train.BytesList([filename])),
      'image/encoded': tf.train.Feature(bytes_list=tf.train.BytesList([encoded_image_data])),
      'image/format': tf.train.Feature(bytes_list=tf.train.BytesList([image_format])),
      'image/object/bbox/xmin': tf.train.Feature(float_list=tf.train.FloatList(xmins)),
      'image/object/bbox/xmax': tf.train.Feature(float_list=tf.train.FloatList(xmaxs)),
      'image/object/bbox/ymin': tf.train.Feature(float_list=tf.train.FloatList(ymins)),
      'image/object/bbox/ymax': tf.train.Feature(float_list=tf.train.FloatList(ymaxs)),
      'image/object/class/text': tf.train.Feature(bytes_list=tf.train.BytesList(classes_text)),
      'image/object/class/label': tf.train.Feature(bytes_list=tf.train.BytesList(classes))
  }))
  return tf_example

データセットをForLoop処理でtf_exampleにしてTFRecordWriterで書き込む

以下のようなアノテーションデータがあるとします。
boxは [minx, miny, maxx, maxy]

{
   "categories": [
      {
         "id": 1,
         "name": "cat"
      },
      {
         "id": 2,
         "name": "dog"
      }
   ],
   "annotations": [
      {
         "filename": "train_000.jpg",
         "image_height": 3840,
         "image_width": 2160,
         "labels": [
            1,
            1,
            2
         ],
         "label_texts": [
            "cat",
            "cat",
            "dog"
         ],
         "boxes": [
            [
               1250,
               790,
               1850,
               1300
            ],
            [
               920,
               1230,
               1310,
               1550
            ],
            [
               12,
               1180,
               550,
               1450
            ]
         ]
      },
...
      }
   ]
}

データセットを１画像分ずつ tf_example にして tf_records に書き込みます。
tf_example の中身の tf.train.Feature はバイトしか受け付けないので、データをバイトにして与える必要があります。

import tensorflow as tf
import os
import numpy as np
from PIL import Image



# from object_detection.utils import dataset_util

output_path = './data.tfrecords'
image_dir = './train_images/'
writer = tf.io.TFRecordWriter(output_path)

annotations = dataset['annotations']

for annotation in annotations:
   if annotation['boxes'] != []:
       height = annotation['image_height']
       width = annotation['image_width']
       filename = (image_dir + annotation['filename']).encode('utf-8')
       image_format = b'jpeg'

       xmins = []
       xmaxs = []
       ymins = []
       ymaxs = []

       for box in annotation['boxes']:
           xmins.append(box[0] / width) # 0~1に正規化
           xmaxs.append(box[2] / width)
           ymins.append(box[1] / height)
           ymaxs.append(box[3] / height)

       classes_text = []

       for text in annotation['label_texts']:
           classes_text.append(text.encode('utf-8'))
       classes = []
       for label in annotation['labels']:
           classes.append(bytes([label]))

       tf_example = create_tf_example(height,width,filename,image_format,xmins,xmaxs,ymins,ymaxs,classes_text,classes)
       writer.write(tf_example.SerializeToString())
   writer.close()

分割して書き込む

データセットが大きい場合は、TFRecordを分割してファイルにすると便利です。
公式のドキュメントによると

tf.data.Dataset APIは、入力例を並行して読み取ることができ、スループットを向上させます。
tf.data.Dataset APIは、モデルのパフォーマンスをわずかに向上させるシャードファイルを使用して例をより適切にシャッフルできます。

分割するコードスニペットを使うためにobject_detectionAPI をクローンします。

import os
import pathlib

if "models" in pathlib.Path.cwd().parts:
  while "models" in pathlib.Path.cwd().parts:
    os.chdir('..')
elif not pathlib.Path('models').exists():
  !git clone --depth 1 https://github.com/tensorflow/models

%%bash
cd models/research/
protoc object_detection/protos/*.proto --python_out=.
cp object_detection/packages/tf2/setup.py .
python -m pip install .

tf_example を生成し、分割して書き込みます。

import contextlib2
from object_detection.dataset_tools import tf_record_creation_util

num_shards=10
output_filebase='./train_dataset.record'

with contextlib2.ExitStack() as tf_record_close_stack:
  output_tfrecords = tf_record_creation_util.open_sharded_output_tfrecords(
      tf_record_close_stack, output_filebase, num_shards)
  annotations = dataset['annotations']

  for i in range(len(annotations)):
     if annotations[i]['boxes'] != []:
        height = annotations[i]['image_height']
        width = annotations[i]['image_width']
        filename = (image_dir + annotations[i]['filename']).encode('utf-8')
        image_format = b'jpeg'

        xmins = []
        xmaxs = []
        ymins = []
        ymaxs = []

        for box in annotations[i]['boxes']:
            xmins.append(box[0] / width) # 0~1に正規化
            xmaxs.append(box[2] / width)
            ymins.append(box[1] / height)
            ymaxs.append(box[3] / height)

        classes_text = []

        for text in annotations[i]['label_texts']:
            classes_text.append(text.encode('utf-8'))
        classes = []
        for label in annotations[i]['labels']:
            classes.append(bytes([label]))
        tf_example = create_tf_example(height,width,filename,image_format,xmins,xmaxs,ymins,ymaxs,classes_text,classes)
        output_shard_index = i % num_shards
        output_tfrecords[output_shard_index].write(tf_example.SerializeToString())

分割したファイルが生成されます。

./train_dataset.record-00000-00010
./train_dataset.record-00001-00010
...
./train_dataset.record-00009-00010

使用するときはConfigを以下に設定します

tf_record_input_reader { 
  input_path：" /path/to/train_dataset.record-?????-of-00010 " 
}

?

---

フリーランスエンジニアです。
お仕事のご相談こちらまで
rockyshikoku@gmail.com

Core MLを使ったアプリを作っています。
機械学習関連の情報を発信しています。

Twitter
Medium

#Pythonで学ぶアルゴリズム< ハノイの塔 >

はじめに

基本的なアルゴリズムをPythonで実装し，アルゴリズムの理解を深める．
その第13弾としてハノイの塔を扱う．

ハノイの塔

ハノイの塔はよく知られている．以下にそのルールを示す．
・端から端へ同じ形で移動させることで完成
・自分よりも小さなものの上に移動することはできない

実装

ここでは，3本の軸間を移動し，扱うブロック数のみ入力することで，そのときの移動手順を示すプログラムを以下に示す．さらに可視化まで試みようとしたが，アルゴリズムを知るという意味での本質とは少しずれているため，試みた部分のみ示すこととする．

コード

hanoi.py

"""
2020/12/31
@Yuya Shimizu

ハノイの塔
"""

#引数：ブロック数，移動元，移動先，経由
def hanoi(n, source, destination, via):
    if n > 1:
        hanoi(n-1, source, via, destination)  #再帰
        print(source + '->' + destination)
        hanoi(n-1, via, destination, source)  #再帰
    else:
        print(source + '->' + destination)

n = int(input('ハノイの段数 >> '))
hanoi(n, 'a', 'c', 'b')

出力

ハノイの段数 >> 3     #3と入力
a->c
a->b
c->b
a->c
b->a
b->c
a->c

コード

hanoi_v.py

"""
2020/12/31
@Yuya Shimizu

ハノイの塔（可視化）
"""

def tower(n):
    result = ""
    for i in range(1,n+1):
        #偶数行
        if i %2 == 0:
            result += f"|  {' '*(n-i+1)}{'- '*(i//2)}{'- '*(i//2)}\t|  "
            result += f"{' '*(n-i+1)}{'- '*(i//2)}{'- '*(i//2)}\t|"
            result += f"  {' '*(n-i+1)}{'- '*(i//2)}{'- '*(i//2)}\t|  "

        #奇数行
        else:
            result += f"|  {' '*(n-i+1)}{'- '*(i//2)}- {'- '*(i//2)}\t|  "
            result += f"{' '*(n-i+1)}{'- '*(i//2)}- {'- '*(i//2)}\t|"
            result += f"  {' '*(n-i+1)}{'- '*(i//2)}- {'- '*(i//2)}\t|  "

        result += "\n"
    return result

#引数：ブロック数，移動元，移動先，経由
def hanoi(n, source, destination, via):
    if n > 1:
        hanoi(n-1, source, via, destination)  #再帰
        print(source + '->' + destination)
        hanoi(n-1, via, destination, source)  #再帰
    else:
        print(source + '->' + destination)

#n = int(input('ハノイの段数 >> '))
#hanoi(n, 'a', 'c', 'b')
print(tower(4))

出力

|     -    |     -    |     -    |  
|    - -   |    - -   |    - -   |  
|   - - -  |   - - -  |   - - -  |  
|  - - - - |  - - - - |  - - - - |  

とりあえず，すべて並べた図だけ作ってみた．また気が向いたらやってみようと思う．
なお，コメント欄にて@shiracamusにより，可視化のプログラムが紹介されている．

感想

ハノイの塔を解くアルゴリズムを知った，この時にかかる処理時間が指数関数的に増加することを知った．可視化までできると思ったが，それなりに時間が必要だということに気づき，アルゴリズムを学ぶという観点では少しずれていると思い，また気が向いたときに可視化に試みようと思う．ほかの人の記事を参考にすると，どうやら可視化までするモジュールもpythonにはあるらしく，以下のような操作で可視化というか既存のハノイの塔のプログラムが扱えるようだ．

$ pip install k-peg-hanoi
$ hanoi 4 4

自作プログラムでの可視化についてはコメント欄にて@shiracamusにより紹介されている．

参考文献

Pythonで始めるアルゴリズム入門　伝統的なアルゴリズムで学ぶ定石と計算量
　　　　　　　　　　　　　　　　　　　　　　　　 増井 敏克　著　　翔泳社

今回、FootyStatsというサッカーデータを扱うサイトからJリーグのデータをダウンロードしPythonで色々調べてみました。ただ２０２０年シーズンのcsvデータがまだダウンロードできなかったので２０１９年のデータを使っています。
このサイトはJリーグだけでなく世界各国のリーグの情報を扱っているので、サイトを眺めるだけでも面白いです。

Jリーグ（J1、J2、J、カップ戦）のデータは、それぞれ試合データ、チームデータ、選手データがダウンロードできます。
（順位表はJ.LEAGUE Data Siteから）。

#各種ライブラリをインポート
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

2019年の順位

FootyStatsのデータには勝ち点カラムがなかったので、J.LEAGUE Data SiteというサイトからURLを直接取得して表示。

#データを取り込む
j1_rank = 'https://data.j-league.or.jp/SFRT01/?search=search&yearId=2019&yearIdLabel=2019%E5%B9%B4&competitionId=460&competitionIdLabel=%E6%98%8E%E6%B2%BB%E5%AE%89%E7%94%B0%E7%94%9F%E5%91%BD%EF%BC%AA%EF%BC%91%E3%83%AA%E3%83%BC%E3%82%B0&competitionSectionId=0&competitionSectionIdLabel=%E6%9C%80%E6%96%B0%E7%AF%80&homeAwayFlg=3'
j1_rank = pd.read_html(j1_rank)
df_rank = pd.DataFrame(j1_rank[0])
df_rank.index = df_rank.index + 1
df_rank[['チーム','勝点', '勝', '分', '敗', '得点', '失点', '得失点差']]

基本統計量をざっと見てみる

df_rank.describe()

勝ち点の平均は47点、中央値46.5点なので平均と中央値がほぼ一致してます。一応順位表を確認すると勝ち点46~47が１０位〜６位と真ん中か少し上に集中してます。

Footy Statsのデータを読み込む

今回の分析用のcsvデータを読み込みます。チームデータを見ると、２９３カラムもありました。どんな種類のデータがあるのか確認するのもなかなか大変。。。

df_team = pd.read_csv('j1_team_2019.csv')
pd.set_option('display.max_columns', None)
df_team.head(6)

len(df_teams.columns)
#カラム数：293

どんなデータがあるかざっと見てみる

df.culumns()でも表示できますが、for分で回したほうが個人的には見やすいです。

for team in df_team:
    print(team)

全項目は載せきれてませんが、試合の前後半の得点率などとても細かいデータも含まれていそうです。

勝率

J1チームの勝率についてまとめました。
勝利した試合のうち、どれだけホームで勝利したのか、ホームに強いクラブを見てみたかったので「勝利のうちホーム率」の列を作り、その高い順に並べています。

#勝率
df_team['wins_rate'] = df_team.apply(lambda row: row['wins'] / 34, axis=1)
#ホーム勝率
df_team['home_wins_rate'] = df_team.apply(lambda row: row['wins_home'] / 17, axis=1)
#勝利のうちホーム
df_team['wins_at_home'] = df_team.apply(lambda row: row['wins_home'] / row['wins'], axis=1)
df_team = df_team[['team_name', 'wins', 'wins_home','wins_rate', 'home_wins_rate', 'wins_at_home']].sort_values('wins_at_home', ascending=False).reset_index(drop=True)
df_team.index = df_team.index + 1
df_team.rename(columns={'team_name': 'クラブ名', 'wins': '勝利', 'wins_home': 'ホーム勝利', 'wins_rate': '勝率', 'home_wins_rate': 'ホーム勝率', 'wins_at_home': '勝利のうちホーム率'})

名古屋が年間9勝していますが、そのうち７試合がホーム（約７８％）とホームで力を発揮してます。仙台も高いですね。下を見ると、近年優勝争いをしている川崎は意外にも低かったです。

得点数と勝利数の相関

当たり前ですが、得点を多くとれば勝つ試合も多くなると思いますが、得点数と勝利数の相関を見てみます。横軸に得点数、縦軸に勝利数をプロットしてみます。見た感じやはり正の相関が見られます。

df = df_team
plt.scatter(df['goals_scored'], df['wins'])
plt.xlabel('goals_scored')
plt.ylabel('wins')

チーム名を表示して見てみる

for i, txt in enumerate(df.team_name):
    plt.annotate(txt, (df['goals_scored'].values[i], df['wins'].values[i]))
    print(txt)

plt.scatter(df['goals_scored'], df['wins'])
plt.xlabel('goals_scored')
plt.ylabel('wins')
plt.show()

失点数と勝利数の相関

反対に失点数と勝利数の相関を見てみます。こちらも相関（負の相関）はありそうですが、得点数と勝利数の相関ほど強くはなさそうです。

df = df_team
plt.scatter(df['goals_conceded'], df['wins'])
plt.xlabel('goals_conceded')
plt.ylabel('wins')

for i, txt in enumerate(df.team_name):
    plt.annotate(txt, (df['goals_conceded'].values[i], df['wins'].values[i]))
    print(txt)

plt.scatter(df['goals_conceded'], df['wins'])
plt.xlabel('goals_conceded')
plt.ylabel('wins')
plt.show()

チーム名を表示

相関係数

得点数と勝利数、失点数と勝利数の相関係数をそれぞれ求めてみます。

得点と勝利数の相関係数

wins = df['wins']
goals_scored = df['goals_scored']
r = np.corrcoef(wins, goals_scored)
r
#相関係数：0.7184946

失点と勝利数の相関係数

wins = df['wins']
goals_conceded = df['goals_conceded']
r = np.corrcoef(wins, goals_conceded)
r
#相関係数：-0.58795491

得点数と勝利数の相関係数は約0.72とやはり高めで。失点数と勝利数の相関係数は約-0.58（絶対値0.58)と相関はありそうですが、得点数ほどではありません。

他にも色々分析中なので、追記するかもしれません。
また、2020シーズンのデータがダウンロード可能になったら2020シーズンも色々見てみる予定です。
コロナの影響で過密日程になり、交代枠のルールが変わったりしているので、平年とどう変わったのか比較してみたいです。