はじめに

　備忘録のために書くので、余計なことは書きません。Pythonでテキストファイルにある文字を別のテキストファイルに移す処理を書いていたら

'shift_jis' codec can't encode character '\u6c2e' 

というエラーが返されました。どうやら文字のエンコードのエラーらしいです（勉強不足です）
特定の文字だけをreplaceして消す方法もあるようなのですが、種類が多すぎて面倒です。

解決法

　対象のPythonコードの初めにこれを記述してください。

import codecs
codecs.register_error('none', lambda e: ('?hoge?', e.end))

そして、ファイルを開く処理のopen関数を以下の様に変更してください。

f = open('file.txt', 'w', encoding='cp932', errors='none')

そうすれば、エンコードできない文字だけ?hoge?と置き換わります。消したい場合は'?hoge?'を''にすればOKです。

参考サイト

　まじで助かりました。ベストアンサーのkatsukoさん、ありがとうございます。

・(python3でshift_jisのテキストファイル保存でUnicodeEncodeError)[https://teratail.com/questions/38949]

はじめに

PythonでElasticsearchを使う機会があったため情報を収集していましたが、サイトで使われているElasticsearchのバージョンが古かったり、そもそも、情報が少なかったりしたので、今回、メモとして簡単な例と共に基本的な使い方をまとめました。

この記事を読むことで、低レベルクライアント(elasticsearch-py)を使ったインデックスおよびドキュメントのCRUD操作ができるようになります。

環境

前提として、Elasticsearchはすでに立ち上がっていることとします。

また、実行環境は以下の通りです。特殊なライブラリを使っていないので、どの環境でも基本的には問題ないと思います。

• 利用環境

Ubuntuバージョン

Ubuntu 20.04 LTS

• Elasticsearch環境

Elasticserchバージョン

7.7.0

• Python環境

Pythonバージョン

$ python -V
Python 3.8.4

準備

• pipでElasticsearchクライアントのインストール

$ python -m pip install elasticsearch

基本操作

ここでは、基本的なPythonからElasticsearchを操作する方法を紹介します。

接続

インストールしたelasticsearchパッケージを利用してElasticsearchが起動しているホスト(localhost)へ接続する方法は以下の通りです。

基本的な接続方法

特にElasticsearch側で認証を設定していなければ、この方法で接続できます。

サンプル

from elasticsearch import Elasticsearch

# Elasticsearchクライアント作成
es = Elasticsearch("http://localhost:9200")

ポートや、httpまたはhttpsを指定することもできます。

サンプル

# Elasticsearchインスタンスを作成
es = Elasticsearch(
    ["localhost", "otherhost"],
    scheme="http",
    port=9200
)

HTTP認証を利用した接続

ElasticsearchにIDやパスワードを設定している場合は、この方法で接続できます。

サンプル

es = Elasticsearch(
    "http://localhost:9200",
    http_auth=("user_id", "password")
)

user_idやpasswordは設定されたID、パスワードを表しています。

接続の解除

上記で確立した内部接続をclose()で閉じることができます。

サンプル

# Elasticsearchインスタンスを作成
es = Elasticsearch("http://localhost:9200")

# 内部接続を閉じる
es.close()

余談ですが、close()しないと、インスタンスがガーベージコレクションされた際に、例外が発生します。これを防ぐためにも、明示的に書いたほうが良いでしょう。

This warning is created by aiohttp when an open HTTP connection is garbage collected. You’ll typically run into this when closing your application. To resolve the issue ensure that close() is called before the AsyncElasticsearch instance is garbage collected.
https://elasticsearch-py.readthedocs.io/en/master/async.html?highlight=close#receiving-unclosed-client-session-connector-warning

インデックスの基本操作

インデックスを扱うための基本的な操作について紹介します。

インデックスの操作には、indicesという属性を使います。

インデックスの作成

studentsというインデックスを作成します。
タイプやドキュメントが入っていない空のインデックスです。

サンプル

es.indices.create(index='students')

マッピングを使った方法

データタイプやインデックスの構造を指定して作成できます。

サンプル

mapping = {
    "mappings": {
        "properties": {
            "name": {"type": "text"},
            "age": {"type": "long"},
            "email": {"type": "text"}
        }
    }
}

es.indices.create(index="students", body=mapping)

インデックス情報の収集

ここでは、インデックスの情報を取得する方法を紹介します。

インデックス一覧の取得

接続しているElasticsearchでは、どのようなインデックスがあるのか確認したい場合は、cat属性のindices(index="*", h="index")を利用します。

indicesはインデックス情報を返すメソッドです。
今回は、全インデックスを一覧で取得したいので、引数のindexにはワイルドカードを指定します。

また、引数hには、列名を指定することで列情報が改行区切りで返ってきます。

サンプル

# インデックス一覧の取得
indices = es.cat.indices(index='*', h='index').splitlines()
# インデックスの表示
for index in indices:
    print(index)

実行結果は、以下の通りです。

実行結果

.apm-custom-link
.kibana_task_manager_1
.apm-agent-configuration
students
.kibana_1

作成したstudentsだけではなく、デフォルトで入っているインデックスも表示されました。

インデックスのマッピングの確認

特定のインデックスのマッピングを確認する場合は、get_mapping(index="インデックス名")を利用します。

サンプル

print(es.indices.get_mapping(index="students"))

実行結果は以下の通りです。

実行結果

{'students': {'mappings': {'properties': {'age': {'type': 'long'}, 'email': {'type': 'text', 'fields': {'keyword': {'type': 'keyword', 'ignore_above': 256}}}, 'name': {'type': 'text', 'fields': {'keyword': {'type': 'keyword', 'ignore_above': 256}}}}}}}

また、引数にindexを指定しない場合、全インデックスのマッピングを取得することができます。

サンプル

print(es.indices.get_mapping())

実行結果は割愛します。

インデックスの更新

マッピングを変更してインデックスの構造を更新する場合は、put_mapping(index="インデックス名", body="変更分のマッピング")を利用します。

例えば、studentsに新たに学籍番号を追加する場合は以下のようになります。

サンプル

mapping = {
    "properties": {
        "student_number": {"type": "long"}
    }
}

es.indices.put_mapping(index="students", body=mapping)

指定するマッピングは全て渡す必要はなくて、差分だけで良いです。

また、インデックス作成の際にはmappings配下にネストしましたが、更新の場合は、そうではないことに注意しましょう。

現在のマッピングは、以下のようになっています。

現在のマッピング

{
  "students": {
    "mappings": {
      "properties": {
        "age": {
          "type": "long"
        },
        "email": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "student_number": {
          "type": "long"
        }
      }
    }
  }
}

見ずらいですが、最後に新たに追加したstudent_numberが表示されています

インデックスの削除

特定のインデックスを削除したい場合は、delete(index="インデックス名")を利用します。

今回は、今まで操作してきたstudentsを消してみます。

サンプル

es.indices.delete(index="students")

インデックスの存在確認

エラーハンドリングを追加するにあたって、インデックスが存在するか確認したい。

そのような場合は、exists(index="インデックス名")を利用します。

サンプル

print(es.indices.exists(index="students"))

実行結果は、以下のようになります

実行結果

False

先程、インデックスを消したのでFalseが返ってきました。
存在する場合は、Trueが返ってきます。

ドキュメントの基本操作

次は、ドキュメントを扱うための基本的な操作について紹介します。

ドキュメントの作成

ドキュメントを新しく登録するには、create(index="インデックス名", id="ドキュメントID", body="新規ドキュメント")を利用します。

※ インデックスが無い場合は、登録するドキュメントから自動的に型を判断して作成されます。

サンプル

# 登録したいドキュメント
student = {
    "name": "Taro",
    "age": 36,
    "email": "taro@example.com"
}

# ドキュメントの登録
es.create(index='students', id=1, body=student)

登録に成功すると、以下のような結果が出力されます。

実行結果

{'took': 1, 'timed_out': False, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}, 'hits': {'total': {'value': 0, 'relation': 'eq'}, 'max_score': None, 'hits': []}}

バルクインサート

createを複数回呼び出すことで、複数ドキュメントを登録できますが、bulk(インスタンス, データ)を使うことで、一度に登録できます。

引数で渡すデータの構造は、以下の通りで、少々複雑です。

{
  "_op_type": "createやdelete、updateといったアクションを指定"
  "_index": "インデックス名"
  "_id": "ドキュメントのIDを指定(createの場合はなくても良い)"
  "_source": "登録したいドキュメント"
}

上記のデータを配列に格納して、bulkに渡すことで複数ドキュメントを操作することができます。

今回は、配列ではなくyieldを使った方法をサンプルとして紹介します。

サンプル

from elasticsearch import Elasticsearch, helpers # bulkを使うために追加


# Elasticsearchインスタンスを作成
es = Elasticsearch("http://localhost:9200")

def gendata():
    # 登録したいドキュメント
    students = [
        {
            "name": "Jiro",
            "age": 25,
            "email": "jiro@example.com"
        },
        {
            "name": "Saburo",
            "age": 20,
            "email": "saburo@example.com"
        }
    ]

    # bulkで扱えるデータ構造に変換します
    for student in students:
        yield {
            "_op_type": "create",
            "_index": "students",
            "_source": student
        }

# 複数ドキュメント登録
helpers.bulk(es, gendata())

※ 100MBを超える大量のドキュメントをバルクインサートを実行する場合、エラーが発生します。このようなときは、記事下部に記載した非同期で大量のドキュメントをバルクインサートを参照ください。

ドキュメントの検索

ドキュメントを検索する方法を２つ紹介します。

クエリを使って検索

登録したドキュメントを検索するには、search(index="インデックス名", body="検索クエリ", size=検索数)を利用します。

bodyやsizeは指定しない場合は、全件表示されます。

サンプル

# ageの値が20より大きいドキュメントを検索するためのクエリ
query = {
    "query": {
        "range": {
            "age": {
                "gt": 20
            }
        }
    }
}

# ドキュメントを検索
result = es.search(index="students", body=query, size=3)
# 検索結果からドキュメントの内容のみ表示
for document in result["hits"]["hits"]:
    print(document["_source"])

実行結果は以下のようになります。

実行結果

{'name': 'Taro', 'age': 36, 'email': 'taro@example.com'}
{'name': 'Jiro', 'age': 25, 'email': 'jiro@example.com'}

Saburoの歳は20歳なので、検索から外れ表示されていません。

IDを使って検索

ドキュメントIDを指定して直接検索する場合は、get_source(index="インデックス名", id="ドキュメントID")を利用します。

サンプルでは、idが1のドキュメントを検索しています。

サンプル

print(es.get_source(index="students", id=1))

実行結果は以下の通りです。

実行結果

{'name': 'Taro', 'age': 36, 'email': 'taro@example.com'}

idが1のTaroが表示されました。

ドキュメント数の取得

インデックスの中にドキュメント数がいくつあるのか確認したい場合は、count(index="インデックス名")を利用します。

サンプル

print(es.count(index="students"))

実行結果は以下の通りです。

実行結果

{'count': 3, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}}

countの値が3となっていいるので、インデックスstudentsには現在3つのドキュメントが存在していることがわかります。

ドキュメントの更新

ドキュメント更新にはupdate(index="インデックス名", id="ドキュメントID", body="変更内容")を利用します。

サンプル

# doc配下に変更したいパラメータを記述
student = {
    "doc": {
        "age": 40
    }
}

# ドキュメントIDを指定して更新
es.update(index="students", id=1, body=student)

# 更新されているか確認
print(es.get_source(index="students", id=1))

get_sourceを使って更新されているか確認しました。

実行結果

{'name': 'Taro', 'age': 40, 'email': 'taro@example.com'}

ageが40に変更されています。

ドキュメントの削除

特定のドキュメントを削除する場合は、delete(index="インデックス名", id="ドキュメントID")を利用します。

サンプルでは、idが1のドキュメントを削除します。

サンプル

es.delete(index="students", id=1)

このドキュメントが本当に削除されているかの確認は次で行います。

ドキュメントの存在確認

ドキュメントの存在を確認するためには、exists(index="インデックス名", id="ドキュメントID")を利用します。

サンプル

print(es.exists(index="students", id=1))

実行結果

False

先程、deleteでidが1のドキュメントを消しているので、Falseが返却され存在しないと表示されました。
存在する場合は、Trueなので、存在と表示されるはずです。

※ 余談ですが、インデックスには存在しているものの、_sourceがあるのか調べるにはexists_sourceを利用します。

アドバンス

ここでは、通常あまり使わないようなメソッドや小ネタの紹介をします。

非同期で検索

ドキュメント数が何万とある場合、検索に時間がかかってしまいます。
このような場合、v7.8.0からサポートされたAsyncElasticsearchを使うことで非同期でリソースを効率的に検索することが出来ます。

準備

機能を使うためにはasyncioをインストールする必要がありあす。

インストール

$ python -m pip install elasticsearch [ async ] > = 7 .8.0

非同期の検索サンプル

非同期で検索するためのサンプルを用意しました。
asyncやawaitを付け加えただけで、基本的にはsearchとやることは変わりません。

サンプル

import asyncio
from elasticsearch import AsyncElasticsearch


# 非同期対応したElasticsearchインスタンスを作成
es = AsyncElasticsearch("http://localhost:9200")


async def main():
    # 非同期検索
    result = await es.search(
        index="students",
        body={"query": {"match_all": {}}},
        size=20
    )
    # 検索結果の表示
    for student in result['hits']['hits']:
        print(student['_source'])

    # セッションをクローズ
    await es.close()

# イベントループを取得
loop = asyncio.get_event_loop()
# 並列に実行して終るまで待つ
loop.run_until_complete(main())

動きとしては、

• asyncio.get_event_loop()でイベントループを取得
• 並列で動かしたい関数main()にasyncをつけて定義
• 時間がかかる処理searchはawaitをつけて宣言
• イベントループのrun_until_complete で並列的に実行しつつ終るまで待つ

このような感じです。

非同期でバルクインサート

次は、非同期でバルクインサートを実行する方法を紹介します。
コードはbulkとほとんど変わらず、asyncやawaitおよび非同期に対応したasync_bulkを利用するだけです。

サンプル

import asyncio
from elasticsearch import AsyncElasticsearch
from elasticsearch.helpers import async_bulk

# 非同期対応したElasticsearchインスタンスを作成
es = AsyncElasticsearch("http://localhost:9200")


async def gendata():
    # 登録したいドキュメント
    students = [
        {
            "name": "Siro",
            "age": 19,
            "email": "siro@example.com"
        },
        {
            "name": "Goro",
            "age": 13,
            "email": "goro@example.com"
        }
    ]

    # bulkで扱えるデータ構造に変換します
    for student in students:
        yield {
            "_op_type": "create",
            "_index": "students",
            "_source": student
        }


async def main():
    # 非同期でバルクインサートを実行
    await async_bulk(es, gendata())
    # セッションをクローズ
    await es.close()

# イベントループを取得
loop = asyncio.get_event_loop()
# 並列に実行して終るまで待つ
loop.run_until_complete(main())

実行後、登録されたドキュメントを確認すると

ドキュメント一覧

{'name': 'Jiro', 'age': 25, 'email': 'jiro@example.com'}
{'name': 'Saburo', 'age': 20, 'email': 'saburo@example.com'}
{'name': 'Siro', 'age': 19, 'email': 'siro@example.com'}
{'name': 'Goro', 'age': 13, 'email': 'goro@example.com'}

SaburoとGoroが追加されていることがわかります。

非同期で大量のドキュメントをバルクインサート

100MBを超えるドキュメントを一度にバルクインサートすることは出来ません。
これは、Elasticsearch側で上限が設定されているためです。

http.max_content_length
The max content of an HTTP request. Defaults to 100MB.
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-http.html

このような大量のデータを扱う場合、async_streaming_bulk(client, actions, その他パラメータ)を利用して、非同期でドキュメントを複数(チャンク)に分割して登録を行います。

パラメータ

指定できるパラメータについて紹介します。

• chunk_size
  
  • 型：整数
  • Elasticsearchへ一度に送信するドキュメント数（デフォルト：500）
• max_chunk_bytes
  
  • 型：整数
  • リクエストの最大バイトサイズ（デフォルト：100MB）
• raise_on_error
  
  • 型：Bool
  • exceptでBulkIndexError発生時に、エラーリストを取得できるようになる（デフォルト: True）
• raise_on_exception
  • 型：Bool
  • Falseにすると、bulk失敗時に例外を発生させず、最後に失敗したアイテムの報告のみ行う（デフォルト：True）
• max_retries
  • 型：整数
  • ステータスエラー429発生時に再試行を行う回数（デフォルト：0）
• initial_backoff
  • 型：整数
  • 再試行まで待機する秒数、２回以降は待機秒数 x 2となる（デフォルト：2）
• max_backoff
  • 型：整数
  • 再試行が待機する最大秒数（デフォルト：600）
• yield_ok
  • 型：Bool
  • Falseにすると、出力結果からbulkに成功したドキュメントが表示されなくなる（デフォルト：True）

サンプル

以下に簡単なサンプルを紹介します。

サンプル

import asyncio
from elasticsearch import AsyncElasticsearch
from elasticsearch.helpers import async_streaming_bulk, BulkIndexError

# 非同期対応したElasticsearchインスタンスを作成
es = AsyncElasticsearch("http://localhost:9200")


async def gendata():
    # 登録したいドキュメント
    students = [
        {
            "name": "Siro",
            "age": 19,
            "email": "siro@example.com"
        },
        {
            "name": "Goro",
            "age": 13,
            "email": "goro@example.com"
        }
    ]

    # bulkで扱えるデータ構造に変換します
    for student in students:
        yield {
            "_op_type": "create",
            "_index": "students",
            "_source": student
        }


async def main():
    try:
        # ドキュメントを複数（チャンク）に分けてバルクインサート
        async for ok, result in async_streaming_bulk(client=es,
                                                     actions=gendata(),
                                                     chunk_size=50,  # 一度に扱うドキュメント数
                                                     max_chunk_bytes=52428800  # 一度に扱うバイト数
                                                     ):
            # 各チャンクごとの実行結果を取得
            action, result = result.popitem()
            # バルクインサートに失敗した場合
            if not ok:
                print(f"failed to {result} document {action}")
    # 例外処理
    except BulkIndexError as bulk_error:
        # エラーはリスト形式
        print(bulk_error.errors)

    # セッションのクローズ
    await es.close()

# イベントループを取得
loop = asyncio.get_event_loop()
# 並列に実行して終るまで待つ
loop.run_until_complete(main())

今回指定した、チャンクに関するパラメータは、

• チャンク数：50
• チャンクの最大バイト数：50MB

こんな感じです。

これらは、登録したいデータに応じてチューニングすると良いと思います。

特定のステータスによるエラーを無視

引数ignoreに無視したい特定のステータスコードを指定することでエラーを無視することができます。

例えば、存在しないインデックスを削除しようとした場合、404エラーが発生します。

404エラー

elasticsearch.exceptions.NotFoundError: NotFoundError(404, 'index_not_found_exception', 'no such index [test-index]', test-index, index_or_alias)

サンプルではこれを無視してみます。

サンプル

# 404と400で発生するエラーを無視
es.indices.delete(index='test-index', ignore=[400, 404])

タイムアウト

es側ではデフォルトでタイムアウトが設定されていますが、自分で設定することも出来ます。

方法は簡単で、引数にrequest_timeout=秒数（浮動小数点）を渡すだけです。
あえて短い秒数を指定して、タイムアウトさせるサンプルを用意しました。

サンプル

print(es.cluster.health(wait_for_status='yellow', request_timeout=0.001))

実行すると、指定した0.001秒以内に処理が終了しなかったため、以下のようなタイムアウトのエラーが表示されました。

タイムアウトエラー

elasticsearch.exceptions.ConnectionError: ConnectionError((<urllib3.connection.HTTPConnection object at 0x7f11297c5520>, 'Connection to localhost timed out. (connect timeout=0.001)')) caused by: ConnectTimeoutError((<urllib3.connection.HTTPConnection object at 0x7f11297c5520>, 'Connection to localhost timed out. (connect timeout=0.001)'))

レスポンスの整形

Elasticsearchからのレスポンスをそのまま表示すると

レスポンス

{'students': {'mappings': {'properties': {'age': {'type': 'long'}, 'email': {'type': 'text', 'fields': {'keyword': {'type': 'keyword', 'ignore_above': 256}}}, 'name': {'type': 'text', 'fields': {'keyword': {'type': 'keyword', 'ignore_above': 256}}}}}}}

このようにとても見づらくなってしまいます。

そこで、jsonパッケージを使って整形することで見やすく表示できます。

サンプル

import json
from elasticsearch import Elasticsearch

# Elasticsearchインスタンスを作成
es = Elasticsearch("http://locahost:9200")

# マッピング情報の取得
response = es.indices.get_mapping(index="students")
# レスポンスの整形
print(json.dumps(response, indent=2))

動きとしては、
json.dumpsに整形したいデータと、インデントのスペース数を指定するだけです。

今回はレスポンスのネストが深くなることが予想されたためインデントは2を指定しました。

実行結果

{
  "students": {
    "mappings": {
      "properties": {
        "age": {
          "type": "long"
        },
        "email": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }
  }
}

見やすく整形されました。

おわりに

Python Elasticserachのクライアントの基本的な使い方を紹介しました。
直接APIを叩くよりも、用意された便利なメソッドを使うことで、直感的に操作できるのでとても便利に感じました。

使い方が間違っていたり、その他便利な方法があればコメントお願いします！

参考サイト

• Python Elasticsearch公式
  https://elasticsearch-py.readthedocs.io/en/master/api.html
• PythonでElasticsearchの操作
  https://blog.imind.jp/entry/2019/03/08/185935
• 【Python】asyncio（非同期I/O）のイベントループをこねくり回す
  https://qiita.com/ynakaDream/items/b63fab24bb30dea6ddb1

概要

• MBTiles ファイルは GeoJSON から tippecanoe で作成
• 本記事の GeoJSON は国土数値情報から入手したデータを利用
  • 国土数値情報 | 駅別乗降客数データ（平成 29 年）
    • https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-S12-v2_3.html

tippecanoe

• https://github.com/mapbox/tippecanoe

MBTiles ファイルを作成します。

tippecanoe

LAYER_NAME_S=station
MIN_ZOOM_LEVEL_S=10
MAX_ZOOM_LEVEL_S=15
IN_S=./geojsons/N05-19_Station2.geojson
MBTILES_FILE_S=./mbtiles/N05_19_Station2.mbtiles

tippecanoe \
  -z${MAX_ZOOM_LEVEL_S} \
  -Z${MIN_ZOOM_LEVEL_S} \
  -o ${MBTILES_FILE_S} \
  -l ${LAYER_NAME_S} \
  --force \
  ${IN_S}

MBTiles のデータを Python で参照

MBTiles や MVT (Mapbox Vector Tile) について、ドキュメントが整備されています。

• MBTiles 仕様
  • https://github.com/mapbox/mbtiles-spec
• MVT 仕様
  • https://github.com/mapbox/vector-tile-spec

ざっくりと、

• MBTiles ファイルは SQLite3 データベース
• データは Google Protocol Buffers で符号化されている
  • Mapbox 社が提供している mapbox-vector-tile というライブラリを利用
    • https://github.com/mapbox/mapnik-vector-tile

pip install mapbox-vector-tile

import sqlite3
import zlib
import mapbox_vector_tile as mvt

MBTILES_FILE_PATH = './N05_19_Station2.mbtiles'

con = sqlite3.connect(MBTILES_FILE_PATH)

cur = con.cursor()
cur.execute('select tile_data from tiles where zoom_level = ? and tile_column = ? and tile_row = ?', (10, 908, 624))
row = cur.fetchone()

b = zlib.decompress(row[0], zlib.MAX_WBITS | 32)
tile_date = mvt.decode(b)

print(tile_data)
# {'station': {'extent': 4096, 'version': 2, 'features': [{'geometry': {'type': 'Point', ...

はじめに

高校一年生のプログラミング初心者です。Qiitaで記事を書くのは初めてなので多少の間違いがあるかもしれません。

django-allauthとは何か

django-allauthとはDjangoを使用したUser周りの処理を簡単に実装できるようにしたモジュールです。Eメールを使用した認証方法などが実装でき、またソーシャルログインなどの実装もこのモジュールを使用することによって比較的簡単に実装できるようになっています。

インストール/設定

pipでdjango-allauthのインストールをする。

pip install django-allauth

settings.pyのINSTALLED_APPS内において必要なソーシャルログインの数だけコードを書き加える。

main_project/settings.py

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    #ここから追加
    'django.contrib.sites',
    'allauth',
    'allauth.account',
    'allauth.socialaccount',

    # 必要に応じたソーシャルログイン用の記述を書く
    'allauth.socialaccount.providers.github',
    'allauth.socialaccount.providers.facebook',
]

main_project/settings.py

#allauthのバックエンドを使用していることを示す
AUTHENTICATION_BACKENDS = (
    "django.contrib.auth.backends.ModelBackend",
    "allauth.account.auth_backends.AuthenticationBackend",
)

#allauthが使用するためSITE_IDを指定する
SITE_ID = 1

Djangoがallauth純正のテンプレートを探し出す前にtemplates内のファイルを参照するようにsettings.py内の記述を書き換える。これはall-authの純正テンプレートには必要最低限の機能しか表示されず、多くの場合では見た目を変えるからである。下記の記述により自分で作成したテンプレートが純正のものよりも先に探される。

main_project/settings.py

TEMPLATES = [
  {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [
            os.path.normpath(os.path.join(BASE_DIR, 'templates')),
        ],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
                'django.template.context_processors.request',
            ],
        },
    },
]

settings.pyにプロジェクトの認証方法や認証用に送ったEメールの期限が切れるまでの時間を設定する。このコード内に記載されている物の他に公式ドキュメントにとても詳しく例がおいてある。

main_project/settings.py

#emailによって認証する
ACCOUNT_AUTHENTICATION_METHOD = "email"
ACCOUNT_EMAIL_CONFIRMATION_EXPIRE_DAYS = 2
ACCOUNT_EMAIL_REQUIRED = True
#アカウント認証用のEmailを"optional"、"mandatory"、"none"から選ぶ。
ACCOUNT_EMAIL_VERIFICATION = "optional"

最後にmakemigrationsまたはmigrateをしておく。
python manage.py makemigrations


urls.py/テンプレートの記載

先ほどsetting.py内のTEMPLATESにおいて純正より先にBASE_DIRにあるtemplatesを参照するように設定したのでtemplatesと名付けたフォルダーをmanage.pyと同じディレクトリに配置する。

プロジェクト内のurls.pyにおいてaccountsをincludeする。

main_project/urls.py

from django.contrib import admin
from django.urls import path
from django.conf.urls import url, include #includeを追加


urlpatterns = [
    path('admin/', admin.site.urls),
    path('accounts/', include('allauth.urls')),
]

allauthによって用意されているurls.pyのパスを確認するには仮想環境内の
site-packages/allauth/account/urls.py、もしくはここ(Github)を参照する。

HTMLファイル内でallauthのパスを使ってテンプレートへのリンクを明記したいときは

<a href="{% url "account_login" %}"></a>

のように通常と同じ表記で対応する。

まとめ

Django-allauthは日本語の記事が少ないと感じたので改めて記事を書いてみました。間違い等があるようでしたら是非ご指摘ください。

追記

元タイトルの「Django-allauthでUserモデルを作る」は誤解を生む可能性があるためタイトルを変更しました。

参照記事

The complete django-allauth guide
Django-allauth tutorial
Django allauthにおけるログイン画面の作成
django-allauth : テンプレートのカスタマイズ
公式ドキュメント

はじめに

高校一年生のプログラミング初心者です。Qiitaで記事を書くのは初めてなので多少の間違いがあるかもしれません。

django-allauthとは何か

django-allauthとはDjangoを使用したUser周りの処理を簡単に実装できるようにしたモジュールです。Eメールを使用した認証方法などが実装でき、またソーシャルログインなどの実装もこのモジュールを使用することによって比較的簡単に実装できるようになっています。

インストール/設定

pipでdjango-allauthのインストールをする。

pip install django-allauth

settings.pyのINSTALLED_APPS内において必要なソーシャルログインの数だけコードを書き加える。

main_project/settings.py

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    #ここから追加
    'django.contrib.sites',
    'allauth',
    'allauth.account',
    'allauth.socialaccount',

    # 必要に応じたソーシャルログイン用の記述を書く
    'allauth.socialaccount.providers.github',
    'allauth.socialaccount.providers.facebook',
]

main_project/settings.py

#allauthのバックエンドを使用していることを示す
AUTHENTICATION_BACKENDS = (
    "django.contrib.auth.backends.ModelBackend",
    "allauth.account.auth_backends.AuthenticationBackend",
)

#allauthが使用するためSITE_IDを指定する
SITE_ID = 1

Djangoがallauth純正のテンプレートを探し出す前にtemplates内のファイルを参照するようにsettings.py内の記述を書き換える。これはall-authの純正テンプレートには必要最低限の機能しか表示されず、多くの場合では見た目を変えるからである。下記の記述により自分で作成したテンプレートが純正のものよりも先に探される。

main_project/settings.py

TEMPLATES = [
  {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [
            os.path.normpath(os.path.join(BASE_DIR, 'templates')),
        ],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
                'django.template.context_processors.request',
            ],
        },
    },
]

settings.pyにプロジェクトの認証方法や認証用に送ったEメールの期限が切れるまでの時間を設定する。このコード内に記載されている物の他に公式ドキュメントにとても詳しく例がおいてある。

main_project/settings.py

#emailによって認証する
ACCOUNT_AUTHENTICATION_METHOD = "email"
ACCOUNT_EMAIL_CONFIRMATION_EXPIRE_DAYS = 2
ACCOUNT_EMAIL_REQUIRED = True
#アカウント認証用のEmailを"optional"、"mandatory"、"none"から選ぶ。
ACCOUNT_EMAIL_VERIFICATION = "optional"

最後にmakemigrationsまたはmigrateをしておく。
python manage.py makemigrations


urls.py/テンプレートの記載

先ほどsetting.py内のTEMPLATESにおいて純正より先にBASE_DIRにあるtemplatesを参照するように設定したのでtemplatesと名付けたフォルダーをmanage.pyと同じディレクトリに配置する。

プロジェクト内のurls.pyにおいてaccountsをincludeする。

main_project/urls.py

from django.contrib import admin
from django.urls import path
from django.conf.urls import url, include #includeを追加


urlpatterns = [
    path('admin/', admin.site.urls),
    path('accounts/', include('allauth.urls')),
]

allauthによって用意されているurls.pyのパスを確認するには仮想環境内の
site-packages/allauth/account/urls.py、もしくはここ(Github)を参照する。

HTMLファイル内でallauthのパスを使ってテンプレートへのリンクを明記したいときは

<a href="{% url "account_login" %}"></a>

のように通常と同じ表記で対応する。

まとめ

Django-allauthは日本語の記事が少ないと感じたので改めて記事を書いてみました。間違い等があるようでしたら是非ご指摘ください。

参照記事

The complete django-allauth guide
Django-allauth tutorial
Django allauthにおけるログイン画面の作成
django-allauth : テンプレートのカスタマイズ
公式ドキュメント

Youtube

動画解説もしています。

問題

P-014: 顧客データフレーム（df_customer）から、ステータスコード（status_cd）の末尾が数字の1〜9で終わるデータを全項目抽出し、10件だけ表示せよ。

解答

コード

df_customer.query("status_cd.str.contains('1$|2$|3$|4$|5$|6$|7$|8$|9$')", engine='python').head(10)

出力

    customer_id customer_name   gender_cd   gender  birth_day   age postal_cd   address application_store_cd    application_date    status_cd
4   CS001215000145  田崎 美紀   1   女性  1995-03-29  24  144-0055    東京都大田区仲六郷**********   S13001  20170605    6-20090929-2
9   CS033513000180  安斎 遥  1   女性  1962-07-11  56  241-0823    神奈川県横浜市旭区善部町**********  S14033  20150728    6-20080506-5
12  CS011215000048  芦田 沙耶   1   女性  1992-02-01  27  223-0062    神奈川県横浜市港北区日吉本町**********    S14011  20150228    C-20100421-9
14  CS040412000191  川井 郁恵   1   女性  1977-01-05  42  226-0021    神奈川県横浜市緑区北八朔町**********   S14040  20151101    1-20091025-4
16  CS009315000023  皆川 文世   1   女性  1980-04-15  38  154-0012    東京都世田谷区駒沢**********   S13009  20150319    5-20080322-1
22  CS015315000033  福士 璃奈子    1   女性  1983-03-17  36  135-0043    東京都江東区塩浜**********  S13015  20141024    4-20080219-3
23  CS023513000066  神戸 そら   1   女性  1961-12-17  57  210-0005    神奈川県川崎市川崎区東田町**********   S14023  20150915    5-20100524-9
24  CS035513000134  市川 美帆   1   女性  1960-03-27  59  156-0053    東京都世田谷区桜**********  S13035  20150227    8-20100711-9
27  CS001515000263  高松 夏空   1   女性  1962-11-09  56  144-0051    東京都大田区西蒲田**********   S13001  20160812    1-20100804-1
28  CS040314000027  鶴田 きみまろ 9   不明  1986-03-26  33  226-0027    神奈川県横浜市緑区長津田**********  S14040  20150122    2-20080426-4

解説

・PandasのDataFrame/Seriesにて、条件に当てはまる先頭データを確認する方法です。
・条件に当てはまる情報を確認したい時に使用します。
・'contains(<文字列>)'は、指定した文字列が含まれているどうかを判定する関数であり、含まれる場合はTrue、含まれない場合はFalseを返します。
・ただし、'.query('---.str.contains(<文字列>))'は、指定した文字列が含まれることを条件として指定します。
・今回の場合、status_cd を文字列に置換するために'status_cd.str'とし、'.contains('[1-9]$')'を続けることで、「1-9」が末尾にある status_cd を指定しています。
・'$'は末尾文字であることを表す正規表現です。正規表現とは、「複数の文字列を1つの記号で表す方法」のことを指します。
・'engine = 'python''について、query の引数である engine には'python'か、'numexpr'かを選択することができますが、strを用いる場合は、'python'を指定してあげないとエラーが発生してしまいます。

※正解を見ると、以下のようなコードになっています。確かに'[1-9]$'については、
末尾を表す正規表現'$'と、範囲を表す'[1-9]'で表した方が、より簡単に表現することができます。
・'regex=True'は、正規表現を扱う際に必要とされていました。以下の解答例では'$''-'が正規表現として扱われています。現在は、書かなくても正規表現として扱われるようになっているので、なくても問題ないです。

コード

df_customer.query("status_cd.str.contains('[1-9]$', regex=True)", engine='python').head(10)

※末尾文字なんだから'str.endswith'を使うんじゃないか、と思われた方もいるかもしれませんが、以下のコードを実行しても何も抽出できません。なぜなら、'str.endswith'は正規表現を処理することができず、'|'を読み取ることができないためです。

コード

df_customer.query("status_cd.str.endswith('1$|2$|3$|4$|5$|6$|7$|8$|9$')", engine='python').head(10)

※正規表現については、こちらの記事が参考になります。
https://qiita.com/hiroyuki_mrp/items/29e87bf5fe46de62983c

はじめに

漫画のように集中線の加工がされている画像を見かけた。
ググるとスマホアプリやWebアプリが公開されており特段珍しいものではなかったのだが、私もこれを作ってみたくなった。

集中線を描く関数

最初はアレもコレも定数だったが、自然に見えるようあちこちに乱数を付与していった。
また、画像が指示されていないときに単色画像を用意したり注目範囲の指定がないときでも自動でそれっぽく集中線を描くようにした。このようにいろいろ肉付けしていくのは楽しいものだ。
ただし勉強不足につき半透明は実装できていません。

ソース1

import sys
import numpy as np
import cv2
import random
import math

def speed_line(img, center=False, radius=False, color=(255,255,255)):
    random.seed()
    h, w = img.shape[:2]

    # 中心と半径が未設定の場合、自動で設定
    xc = w//2 if center == False else center[0]
    yc = h//2 if center == False else center[1]
    rx = w//8 if center == False else radius[0]
    ry = h//8 if center == False else radius[1]

    r2 = w+h                                    # 外径
    max_num = 128                               # 線の数
    num = int(max_num*random.uniform(0.9,1.3))  # 線の数バラツキ
    a = 2 * math.pi / num                       # 角度
    b0 = math.pi / max_num                      # 線（三角形）の先端角度
    p = 0.7                                     # 線（三角形）が出現する確率

    for i in range(num):
        if random.random() < p:
            b = b0*random.uniform(0.1,1)        # 線（三角形）の先端角度バラツキ
            r = random.uniform(0.9,1.2)         # 内径のバラツキ倍率
            x1 = xc + int(r*rx*math.cos(i*a))
            y1 = yc + int(r*ry*math.sin(i*a))
            x2 = xc + int(r2*math.cos(i*a))
            y2 = yc + int(r2*math.sin(i*a))
            x3 = xc + int(r2*math.cos(i*a+b))
            y3 = yc + int(r2*math.sin(i*a+b))
            pts = np.array(((x1,y1), (x2,y2), (x3,y3)))
            cv2.fillConvexPoly(img, pts, color)
    return img

def main():
    args = sys.argv
    if len(args) == 1:
        img_origin = np.full((240,320,3), (120,120,120), np.uint8)
    else:
        img_origin = cv2.imread(args[1])
    cv2.imshow("speed line", speed_line(img_origin.copy()))
    cv2.waitKey(0)
    cv2.destroyAllWindows()     

if __name__ == "__main__":
    main()

結果はこんな感じ。

GUI的なことをする

OpenCVにはcv2.setMouseCallback()という関数があり、マウスイベントを管理することができる。
チュートリアルとしてはここ、またQiitaの先人の記事としては以下の記事がわかりやすい。

　　OpenCVを使ってマウスイベント（手動）でテニスコート領域を選択できるようにする

これらを参考に、任意の場所に任意の大きさの楕円を描くプログラムを書いてみる。

メインルーチンからコールバック関数（このあたり正しい呼称は不明）を呼び出すプログラムはウェブ上に多数あるが、main()という関数からコールバック関数を呼び出そうとしたらグローバル変数の扱いに難儀して何とも小汚いソースになってしまった。もっとエレガントな方法があったら教えて下さい。

ソース2

import sys
import numpy as np
import cv2
import random

def draw_ellipse(event, x, y, flags, param):
    global cnt, xc, yc, rx, ry
    color = (random.randint(0,255), random.randint(0,255), random.randint(0,255))
    if event == cv2.EVENT_MOUSEMOVE:
        img_tmp = img.copy()
        if cnt == 0:
            h, w = img.shape[:2]
            cv2.line(img_tmp, (x,0), (x,h), color)
            cv2.line(img_tmp, (0,y), (w,y), color)
            cv2.imshow(winname, img_tmp)
        elif cnt == 1:
            rx, ry = abs(x-xc), abs(y-yc)
            cv2.line(img_tmp, (xc,yc-ry), (xc,yc+ry), color)
            cv2.line(img_tmp, (xc-rx,yc), (xc+rx,yc), color)
            cv2.ellipse(img_tmp, (xc,yc), (rx, ry), 0, 0, 360, color)
            cv2.imshow(winname, img_tmp)

    if event == cv2.EVENT_LBUTTONDOWN:
        cnt = cnt + 1
        if cnt == 1:
            xc, yc = x, y
        elif cnt == 2:
            rx, ry = abs(x-xc), abs(y-yc)
            cv2.ellipse(img, (xc,yc), (rx, ry), 0, 0, 360, (0,0,255), 3)
        cv2.imshow(winname, img)

def main():
    global img, img_tmp, cnt,winname, xc, yc, rx, ry

    args = sys.argv
    if len(args) == 1:
        img_origin = np.full((240,320,3), (120,120,120), np.uint8)
    else:
        img_origin = cv2.imread(args[1])

    img = img_origin.copy()

    cnt = 0
    winname = "GUI tool"
    cv2.namedWindow(winname)
    cv2.setMouseCallback(winname, draw_ellipse)
    cv2.imshow(winname, img)

    while cnt<2:
        key = cv2.waitKey(1) & 0xFF

    cv2.waitKey(0)
    cv2.destroyAllWindows()

if __name__ == "__main__":
    main()

結果はこんな感じ。アニメーションPNGはPythonプログラムで作ったのではなく、他のフリーソフトを使った。

両者を合体する

合体するだけでも大変だった。関数の戻り値などを使いこなしたかったのだが、これまたグローバル変数頼みとなってしまった。
多重ループから抜ける処理というのもはじめて書いのだが…変数名が気に入らないな。

ソース3

import sys
import numpy as np
import cv2
import random
import math

def speed_line(img, center=False, radius=False, color=(255,255,255)):
    # ソース1にあるやつ

def draw_ellipse(event, x, y, flags, param):
    # ソース2にあるやつ

def main():
    global img, img_tmp, cnt,winname, xc, yc, rx, ry

    args = sys.argv
    if len(args) == 1:
        img_origin = np.full((240,320,3), (120,120,120), np.uint8)
    else:
        img_origin = cv2.imread(args[1])

    img = img_origin.copy()
    img_tmp = img.copy()

    cnt = 0
    winname = "speed line"
    cv2.namedWindow(winname)
    cv2.setMouseCallback(winname, draw_ellipse)
    cv2.imshow(winname, img_tmp)

    # 左クリックを2回するまでループ
    while cnt<2:
        cv2.waitKey(1)

    # グローバル変数によりいつの間にか得ていた楕円情報を使って集中線画像を複数回描く
    frames = 4
    imgs = []
    for i in range(frames):
        imgs.append(speed_line(img_origin.copy(), center=(xc,yc), radius=(rx,ry)))

    # ピカピカアニメーション
    isBreak = False
    while True:
        for i in range(frames):
            cv2.imshow(winname, imgs[i])
            if cv2.waitKey(1) & 0xFF == ord("q"):
                isBreak = True
        if isBreak:
            break

    cv2.destroyAllWindows()

if __name__ == "__main__":
    main()

結果はこんな感じ。モデルが古いって？ ナウなヤングにバカウケなフィギュアなどは持っていないので仕方がない。

終わりに

顔検出と組み合わせればもっと面白いことができる。と思いついたが、すでにそれも動画になっていた。それも8年前にだ。
たとえ周回遅れであっても、自分自身の経験を積むために成果物を発表するのを怠るわけにはいかない。

あることでJISコードを日本語変換したくなったときのやり方が分からなかったのでメモ。

方法

公開されているJIS X 2028コードの変換表を用いて連想配列を作成する
下は対応表

http://unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT
http://ash.jp/code/unitbl21.htm

プログラム

jis.php

import os
ar = []
with open('JIS2028.TXT') as f:
    for t_line in f:
        # 先頭がコメントの部分は除く
        if t_line[0] != "#":
            sjis, jis, utf16 = os.path.basename(t_line).split('\t')[0:3]
            ar.append([jis, utf16])
# 例) ar['0x3B3D'] -> '0x8695'
# JIS -> UTF-16
ar = dict(ar)

実行するとき

JISコードの3B3Dから"蚕"を出力する

jis.py

print(chr(int(ar['0x'+'3B3D'], 16)))

terminal

$ python jis.py
蚕

あることでJISコードを日本語変換したくなったときのやり方が分からなかったのでメモ。

方法

公開されているJIS X 0208コードの変換表を用いて連想配列を作成する
下は対応表

http://unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT
http://ash.jp/code/unitbl21.htm

プログラム

jis.py

import os
ar = []
with open('./JIS0208.TXT') as f:
    for t_line in f:
        # 先頭がコメントの部分は除く
        if t_line[0] != "#":
            sjis, jis, utf16 = os.path.basename(t_line).split('\t')[0:3]
            ar.append([jis, utf16])
# 例) ar['0x3B3D'] -> '0x8695'
# JIS -> UTF-16
ar = dict(ar)

実行するとき

JISコードの3B3Dから"蚕"を出力する
0x3b3dだとエラーが出るので、0x3B3Dにするため文字を大文字に変換する。

jis.py

print(chr(int(ar['0x'+'3b3d'.upper()], 16)))

terminal

$ python jis.py
蚕

こんにちは。tanipenと申します。
この度Atcoderにてレートが800を超え、名前が緑色になったので、自己紹介がてらこの記事を書かせていただきたいと思います。これから競技プログラミングをやる方の一助となれば幸いです。

Atcoderをはじめるまで

プログラミングにはじめて触れたのは中学生の時でしたが、周りにプログラミングを本気でやっている人がいなかったこと、当時は情報獲得手段に乏しかったことから、細々とひとりで簡単なプログラムを組むにとどまり、AtcoderのAの字もみることなく月日が流れました。

大学に入学したのち、TwitterのFFの方々が盛んにAtcoderの結果を載せるのを見てはじめてAtcoderなるものがあるのを知りました。しばらくはスルーしていたのですが、あまりにみんながAtcoderをやっている、やってないのはお前だけなTLになることがしばしばであったので、昨年5月、物は試しとやってみることを決意しました。

が。

Atcoderに登録した2019年当時は、多忙なアルバイトが毎週土日に入る日々が続き、

全然コンテストに出られない!!!!!

2ヶ月に1回出ては消化不良のまま、十分な勉強・復習もできずにこれまた月日が流れていきました。

その後、今年の5月ごろからアルバイトを変えたことで環境が改善。Pythonを使ったバイトになったこと、例のウイルスのおかげで時間が余ったことも相まって、心機一転、本腰を入れて再開することを決意し、ようやくグラフの傾きが上を向き始めたわけです。

Atcoder遍歴 ~緑になるまでやったこと~

私は上述の通り簡単なプログラムを組んだ経験があり、いわゆるプログラミングの基本や共通のご作法を理解していたことから、「プログラミングを理解する」という(初心者が詰まりがちな)フェーズをすっ飛ばすことができ、以下の２点に重きを置いて勉強することにしました。

• 計算量を考えて解く
• 初歩的なアルゴリズムを理解し使いこなせるようにする

また、私は基本的に文章を読むよりも手を動かして理解する脳筋タイプですので、ひたすら問題を解こうと決めていました。

アルゴリズムを知る

まず、私に足りないものを埋める作業、すなわち使えるアルゴリズムの引き出しを増やす作業をしました。そこで使ったのが競技プログラミングでの典型アルゴリズムとデータ構造というサイトでした。いわゆる競技プログラミングで使うアルゴリズムを、Atcoderなど公開された問題を使いながら紹介してくれ、とても良い教材でした。なかには数学的な理解を必要とするもの(ex. 二項係数の前計算の話など)もあり苦戦しましたが、計算量を意識しながらアルゴリズムを選ぶ、という思考を身に付けることができたと思います。

もっとも、緑に到達するのにある程度解けなくてはいけない灰〜緑前半diffの問題で必要になるのは中級編数学系くらいまでで、それ以降の内容は青〜黄diffで出るようなものも混ざっているので必須ではないと感じました。ただ、緑になるには水〜青diffの問題にもある程度手を出せなくてはならないので、DP、DFS、BFSは練習しておいて良かったと思います。

過去問を解く

ある程度アルゴリズムを理解できたら、あとはAtcoder Problemsさんでひたすら過去問を漁っていました。基本的な方針は

• A,B,Cは絶対解く
• D,Eはとりあえず考えてみて、解けるものは出す。厳しいものは解説を見る

私はあんまり時間をかけて悩むのが苦手なタイプなので、ちょっと考えて理解できなければすぐに解説PDFを読んでACする(してないやつもある)、というステップを踏みました。また、全部をローラーするとなると(緑diffであっても)解けないもので詰まって継続するモチベが落ちてしまうと思ったので、1個1個の完璧を追求するのではなく、とにかく場数を踏むことでトータルの「書く量を増やす」ことを意識しました¹。
結果が以下のグラフ。

——あれ、場数を踏むって言ったよね？

解いてる量が足りてなくてごめんなさいになっています。夏休みなので頑張ります。

モチベを維持する

私は幸いに大学の知り合い(TwitterのFFを含む)にAtcoderユーザーが多いので、こっそりお気に入り登録しておいて、コンテストの度にお気に入り内順位表を眺めながら解いています。リアルタイムで競っている感覚になるので、自分以外も頑張っていると思うと、負けられないなと気が引き締まります。

下の画像は本格再開後のコンテスト履歴です。安定してパフォーマンスを出せてはいるものの、中身を見ると脳死でペナを食らっていたり、変なところで詰まって時間を溶かしたりと、まだまだ未熟なのが明白です。

私個人の感覚としては、自分はようやく緑にはなったものの、まだまだアルゴリズムへの理解も浅く、ボロも多い未熟者、という認識です(まさに森に迷い込んでる最中といった具合)。ようやくスタートラインに立てたと思って、次の目標である入水を目指していきたいと思います。

今後の予定

1. ABC-E,Fあたりで要求されるようなアルゴリズム(Union-Find, 貪欲法、高度なDP)に対する理解がまだまだ足りていないので、その練習を積んでいくこと
2. 灰〜緑色は当たり前のように1発ACできるようにすること

この辺りを頑張っていきたいなと思います。夏休みが終わる頃には(精進グラフだけでも)入水できると嬉しいな。

というわけで駄文を最後まで読みいただき、ありがとうございました。

---

1. この辺は個人の価値観にもよるし、宗教戦争の火種にもなりがちですので、自分にあった方法をとるのが吉です。 ↩

1.はじめに

　Google Colab に MeCab と ipadic-NEologd をインストールしようと思ったら意外に手間取ったので備忘録として残します。

2.コード

　色々なWeb情報を漁った結果、インストールには下記のコードがベストではないかと思います。

# 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール 
!apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null 
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1
!pip install mecab-python3 > /dev/null

# シンボリックリンクによるエラー回避
!ln -s /etc/mecabrc /usr/local/etc/mecabrc

　辞書のパスの確認

!echo `mecab-config --dicdir`"/mecab-ipadic-neologd"

　動作確認

import MeCab

m = MeCab.Tagger()
sample_txt = "彼女はペンパイナッポーアッポーペンと恋ダンスを踊った。"
print("Mecab:\n", m.parse(sample_txt))

path = "-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
m = MeCab.Tagger(path)
print("Mecab ipadic NEologd:\n",m.parse(sample_txt))

（参考）
google colab で mecab-ipadic-NEologd を使おうとしたら mecabrc がないと error が出る場合の対処法
hurutoriya/colab-mecab-ipadic-NEologd.ipynb

経緯

先日discord APIのアップデートが入り、バージョン1.3.4以前のdiscord.pyでは、以下のようなエラーが発生して動作しなくなってします。

TypeError:__new__() got an unexpected keyword argument 'deny_new'

(なんか1.2.5の時も似たようなのありましたね。KeyErrorでしたっけ？)

解決法

discord.pyのバージョンを1.3.4以上にしてあげてください(記事掲載時点での最新は1.3.4)。
ちなみに現在のバージョンを確認するには、コンソール上でPythonのインタプリタ(対話モード)を開き、以下のコマンドを実行してください。

>>> import discord
>>> print(discord.__version__)
1.3.4

この場合は記事執筆時点で最新の、1.3.4がインストールされています。
今この記事を見ている人の大半は1.3.4以前のものを使っていると思いますので、1.3.3など違う出力になっていると思います。
バージョンを上げることができれば何でも大丈夫ですが、以下にいくつか方法を提示しておきます。

Herokuの場合

Herokuの場合はrequirements.txtというファイルでライブラリを管理しているため、このファイルを編集して上げる必要があります。
以下が例です。

requirements.txt

discord.py>=1.3.4

requirements.txtの書き方については、我らが味方note.nkmk.meが解説していますので、興味がある方は是非。
https://note.nkmk.me/python-pip-install-requirements/

また、Herokuの場合、requirements.txtに記述したライブラリが自動でアップデートされるわけではないため、1.3.4のリリース後にデプロイをしていない場合、gitでコミットを行いデプロイして上げる必要があります。
「何いってんのかよくわかんねぇよ！」って人は上の通りにrequirements.txtを更新するだけでも大丈夫です

Windowsの場合

Windowsの場合は、以下のコマンドをコマンドプロントで実行すればdiscord.pyを更新することが出来ます。
1.3.4が入らない場合はdiscord.pyの部分をdiscord.py==1.3.4に変更するなどしてみてください。

py -3 -m pip install -U discord.py
# voice関係のものを使っている場合
py -3 -m pip install -U discord.py[voice]

Linux or Macの場合

以下のコマンドをターミナルで実行してみてください。なお筆者はMacを持っていないためMacの仕様はよくわかってません。

python3 -m pip install -U discord.py
# Windowsの場合と同様にvoice関係の物を使っている場合
python3 -m pip install -U discord.py[voice]

終わりに

いかがでしたでしょうか。
「久しぶりにbotを起動したけど動かない！」みたいな方の手助けになったなら幸いです。
執筆が初めてなので、拙い箇所が多々あるかもしれませんがご容赦ください。

最後に、私がよく出没しているdiscordサーバのリンクを貼っておきます。
Discord Bot Portal JP
disocrd botについての質問などができるサーバですので、bot制作で躓いていたら参加してみると良いかもしれません。

Happy coding!

Python

動画

リポジトリ

https://github.com/yuzuru-program/scraping-python-yahoo

ソース

index.py

import urllib.request as request
from bs4 import BeautifulSoup

req = request.Request(
    "https://www.yahoo.co.jp",
    None,
    {}
)

instance = request.urlopen(req)
soup = BeautifulSoup(instance, "html.parser")

li = soup.select('main article section ul')[0].select('li')

for m in li:
    print(m.text)
    print(m.select("a")[0].get("href"))
    print()

Node.js

動画

リポジトリ

https://github.com/yuzuru-program/scraping-node-yahoo

ソース

package.json

{
  "dependencies": {
    "cheerio": "^1.0.0-rc.3",
    "node-fetch": "^2.6.0"
  }
}

index.js

const fetch = require('node-fetch');
const cheerio = require('cheerio');

const main = async () => {
  // https://www.yahoo.co.jp/にリクエスト投げる
  const _ret = await fetch('https://www.yahoo.co.jp/', {
    method: 'get',
    headers: {
      'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    },
    referrer: '',
  }).catch((err) => {
    console.log(err);
  });

  if (_ret.status !== 200) {
    console.log(`error status:${_ret.status}`);
    return;
  }

  // jqueryチックに使えるように変換
  const $ = cheerio.load(await _ret.text());

  const _li = $('main article section ul').eq(0).find('li');

  // ヤフートップニュースを表示
  _li.map(function (i) {
    console.log(_li.eq(i).text());
    console.log(_li.eq(i).find('a').attr()['href']);
    console.log();
  });
};

main();

PHP

動画

リポジトリ

https://github.com/yuzuru-program/scraping-php-yahoo

ソース

index.php

<?php

require_once './phpQuery-onefile.php';

function my_curl($url)
{
  $cp = curl_init();

  /*オプション:リダイレクトされたらリダイレクト先のページを取得する*/
  curl_setopt($cp, CURLOPT_RETURNTRANSFER, 1);

  /*オプション:URLを指定する*/
  curl_setopt($cp, CURLOPT_URL, $url);

  /*オプション:タイムアウト時間を指定する*/
  curl_setopt($cp, CURLOPT_TIMEOUT, 30);

  /*オプション:ユーザーエージェントを指定する*/
  curl_setopt($cp, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36');

  $data = curl_exec($cp);

  curl_close($cp);

  return $data;
}

$url = 'https://www.yahoo.co.jp';
$doc = phpQuery::newDocument(my_curl($url));

$ul = $doc->find('main article section')->find("ul:eq(0)");

for ($i = 0; $i < count($ul->find("li")); ++$i) {
  $li = $ul->find("li:eq($i)");
  echo  $li[0]->text();
  echo "\n";
  echo $li[0]->find("a")->attr('href').PHP_EOL;
  echo "\n";
}
?>

phpQuery-onefile.php

https://github.com/yuzuru-program/scraping-php-yahoo/blob/master/phpQuery-onefile.php

Ruby

動画

リポジトリ

https://github.com/yuzuru-program/scraping-ruby-yahoo

ソース

index.rb

require "nokogiri"
require "open-uri"

doc = Nokogiri::HTML(open("https://www.yahoo.co.jp"))

test = doc.css("main article section ul")[0].css("li")

test.each do |li|
  puts li.content
  puts li.css("a")[0][:href]
  puts
end

Go

動画

リポジトリ

https://github.com/yuzuru-program/scraping-go-yahoo

ソース

index.go

package main

import (
  "fmt"
  "log"
  "net/http"

  "github.com/PuerkitoBio/goquery"
)

func main() {
  req, _ := http.NewRequest("GET", "http://yahoo.co.jp", nil)
  req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
  res, _ := new(http.Client).Do(req)

  if res.StatusCode != 200 {
    log.Fatalf("status code error: %d %s\n", res.StatusCode, res.Status)
  }

  doc, err := goquery.NewDocumentFromReader(res.Body)
  if err != nil {
    log.Println(err)
  }

  li := doc.Find("main article section ul").Eq(0).Find("li")
  li.Each(func(index int, s *goquery.Selection) {
    fmt.Println(s.Text())

    tmp, err := s.Find("a").Attr("href")
    if err != true {
      log.Fatal(err)
    }
    fmt.Println(tmp + "\n")
  })
}

VBA

動画

ソース

'Microsoft HTML Object Library
'Microsoft Internet Controls

' IEのプロセスを削除する関数
Function IeProcessKill()
    CreateObject("WScript.Shell").Exec ("taskkill.exe /F /IM iexplore.exe")
    Application.Wait Now + TimeValue("0:00:2")
End Function


'ヤフートップスクレイピング
Sub main()
    Dim ie As InternetExplorer

    ' IEプロセスを削除'
    Call IeProcessKill

    'IE起動
    Set ie = New InternetExplorer

    'サイトを非表示
    ie.Visible = False

    Debug.Print "読み込み中..."
    Debug.Print

    'ヤフー
    ie.Navigate "https://www.yahoo.co.jp/"

    Do While ie.Busy = True Or ie.readyState < READYSTATE_COMPLETE
    Loop

    For Each tmp In ie.document.querySelector("main article section ul").getElementsByTagName("li")
        Debug.Print Trim(tmp.textContent)
        Debug.Print tmp.getElementsByTagName("a")(0).href
        Debug.Print
    Next tmp

    ' ブラウザ閉じる
    ie.Quit
    Set ie = Nothing
End Sub

最近会社で文字列でコード処理を書く必要があったので軽くメモとして残しておきます。

よくあるシチュエーションですが、保守対応でエンコード後のファイイルだけが資料として存在しているためデコードして読めるようにする必要があるという物です。

以下のコードでquoted-pritableを可読なものに変更します。

import sys
import quopri
args=sys.argv

inputfile = args[1]
outputfile = args[2]

# ファイル読み込み
with open(inputfile, 'r', encoding='utf-8') as f:

#with open(inputfile, 'b') as f:
    data = f.read()  

# 変換
pre_decoded = quopri.decodestring(data,header=False)
decoded = pre_decoded.decode("utf-8", "ignore")

# 出力
with open(outputfile, 'w', encoding='utf-8') as fo:
    fo.write(decoded)

参考ブログURL

1.はじめに

　Google Colab で　Google drive の公開ファイル (例えば、fastText日本語版の学習済みモデルとか) を使う場合は、PCに一旦ダウンロードしてから Google drive経由で使うのが一般的だと思います。

　普通はこの方法で問題ないわけですが、場合によっては わざわざ別途手動でダウンロードせずに、Google Colab を先頭からポチポチするだけで動くコードにしたいと思ったりするわけです。

　今回は、そのための良い方法をWebで見つけましたので、備忘録として残します。

2.サンプルコード

　サンプル例は、fastText日本語版学習済みモデル です。URLをクリックすると、まずこの画面が現れます。

　この画面で、赤枠のボタンを押すと、ダウンロード画面になります。

　そうしたら、このダウンロード画面のURLを控えておきます。後は、以下のコードで、直接ダウンロード出来ます。

# Google drive からfastText日本語モデル(vector_neologd.zip)をダウンロードする
import requests

def download_file_from_google_drive(id, destination):

       # ダウンロード画面のURL
       URL = "https://drive.google.com/uc?id=0ByFQ96A4DgSPUm9wVWRLdm5qbmc&export=download" 

       session = requests.Session()

       response = session.get(URL, params = { 'id' : id }, stream = True)
       token = get_confirm_token(response)

       if token:
           params = { 'id' : id, 'confirm' : token }
           response = session.get(URL, params = params, stream = True)

       save_response_content(response, destination)    

def get_confirm_token(response):
       for key, value in response.cookies.items():
           if key.startswith('download_warning'):
               return value

       return None

def save_response_content(response, destination):
       CHUNK_SIZE = 32768

       with open(destination, "wb") as f:
           for chunk in response.iter_content(CHUNK_SIZE):
               if chunk: # filter out keep-alive new chunks
                   f.write(chunk)

if __name__ == "__main__":
       file_id = 'TAKE ID FROM SHAREABLE LINK' 
       destination = './data/vector_neologd.zip'  # 保存先パスの指定
       download_file_from_google_drive(file_id, destination)

enjoy !

（参考)
Python: download files from google drive using url

1.はじめに

　Google Colab で　Google drive にある一般公開ファイル (例えば、fastText日本語版の学習済みモデルとか) を使う場合は、PCに一旦ダウンロードしてからGoogle drive経由で使うのが一般的だと思います。

　普通はこの方法で問題ないわけですが、場合によっては わざわざ別途手動でダウンロードせずに、Google Colab を先頭からポチポチするだけで動くコードにしたいと思ったりするわけです。

　今回は、そのための良い方法をWebで見つけましたので、備忘録として残します。

2.サンプルコード

　サンプル例は、fastText日本語版学習済みモデル です。URLをクリックすると、まずこの画面が現れます。

　この画面で、赤枠のボタンを押すと、ダウンロード画面になります。

　そうしたら、このダウンロード画面のURLを控えておきます。後は、以下のコードで、直接ダウンロード出来ます。

# Google drive からfastText日本語モデル(vector_neologd.zip)をダウンロードする
import requests

def download_file_from_google_drive(id, destination):

       # ダウンロード画面のURL
       URL = "https://drive.google.com/uc?id=0ByFQ96A4DgSPUm9wVWRLdm5qbmc&export=download" 

       session = requests.Session()

       response = session.get(URL, params = { 'id' : id }, stream = True)
       token = get_confirm_token(response)

       if token:
           params = { 'id' : id, 'confirm' : token }
           response = session.get(URL, params = params, stream = True)

       save_response_content(response, destination)    

def get_confirm_token(response):
       for key, value in response.cookies.items():
           if key.startswith('download_warning'):
               return value

       return None

def save_response_content(response, destination):
       CHUNK_SIZE = 32768

       with open(destination, "wb") as f:
           for chunk in response.iter_content(CHUNK_SIZE):
               if chunk: # filter out keep-alive new chunks
                   f.write(chunk)

if __name__ == "__main__":
       file_id = 'TAKE ID FROM SHAREABLE LINK' 
       destination = './data/vector_neologd.zip'  # 保存先パスの指定
       download_file_from_google_drive(file_id, destination)

enjoy !

（参考)
Python: download files from google drive using url

プログラミング上達講座の3回目です。

メガテンのコードブレイカーを題材にして
プログラムを考えてみましょう。

解説動画はこちら

コードブレイカーとは

RPG「女神転生」シリーズのミニゲームコードブレーカー

正式名称は「Hit&Blow」という数当てゲームです。

その昔ヌメロンという名前でテレビ番組やっていましたね。
ヌメロンだとアイテムが使えたりがありましたが
今回はアイテムとか無しです。

ルール

各桁の数字(0-9までの数字)が全て違う、3桁の数字を当てるゲーム

予想の数字を入力して、桁ごとに下記を判定
正解と場所と数字が一致する（ヒット）
場所が違うがその数字が含まれる（ブロー）
1回答ごとにHitとBlowの数を言い、全て当たる(3H)まで行う。

例：
正解の数 957
1回目の予想「915」→ 「1H1B」
2回目の予想「234」→ 「0H0B」
3回目の予想「795」→ 「0H3B」
4回目の予想「957」→ 「3H0B」→当たり

初級編:コードブレイカーのチェック関数を作る

予想の数値と正解の数字を入力して
HitとBlowの数を返す関数check_callを作ってみよう

# 引数：call=予想数字 , solve=正解数字
# 戻り値：(hit , blow)のタプル型(両方数値)
def check_call(call , solve):
    処理
    return  (hit , blow)

例：

check_call('564','987') →(0,0)
check_call('564','687') →(0,1)
check_call('564','546') →(1,2)
check_call('564','564') →(3,0)

中級編:コードブレイカーのゲームを作ってみよう

3桁の数値をランダムで生成して正解数として
正解数を当てに行くミニゲームを作ってみよう。

inputで数値入力を受け付け
数値とhit , blowを出力し続ける。

3Hになるか、10回当てられなければゲーム終了。

ヒント：
まず正解の数字を1つ作る。
チェックする部分は　初級編の関数を利用する。

正解の数字と入力数字が合うまで
各回の予想とhit&blowの出力する

import random
import itertools

# 数字をチェックする
def check_call(call , solve):
    # 処理を書く
    return hit , blow

# ゲームの開始

# 処理を書く

上級編:正解の数字を導き出すアルゴリズム

正解の数字をあらかじめ決めておき、チェック関数の結果を用いて
正解の数字を予想するプログラムを作成してみよう。

ヒント：
チェック関数をうまく使うと、正解の候補を考える事が出来るよ!!

# 処理を書く

解答編

初級編の解答

# 予想と正解をチェックする関数
def check_call(call , solve):
    hit , blow = 0,0
    for i,n in enumerate(call):
        if solve[i]==n:
            hit+=1
        elif n in solve:
            blow +=1
    return hit , blow

print(check_call('564','987'))
print(check_call('564','687'))
print(check_call('564','546'))
print(check_call('564','564'))

(0, 0)
(0, 1)
(1, 2)
(3, 0)

中級編の解答

まず最初に正解の数字を作る
(10個の数字を使った3桁でダブりのない数字)

10個の数字を用いた順列を作るには
itertools.permutations(seq, 3)

順列の中から1つ選ぶには
random.choice(リストなど)

繰り返しはWhile文かfor文を使い
hit==3か10回当てられない場合に抜ける。

import random
import itertools

# 数字をチェックする
def check_call(call , solve):
    hit , blow = 0,0
    for i,n in enumerate(call):
        if solve[i]==n:
            hit+=1
        elif n in solve:
            blow +=1
    return hit , blow

# ゲームの開始
# 正解数値の生成
seq = (0,1,2,3,4,5,6,7,8,9)
nums = [str(a)+str(b)+str(c) for a,b,c in itertools.permutations(seq, 3)]
solve = random.choice(nums)

# 10回繰り返すか、正解で終了
count = 0
while True:
    count+=1
    call = input()
    hit , blow = check_call(call , solve)
    print(count , call , '{0}H{1}B'.format(hit , blow))
    if hit==3:
        print('You Win , Solve = {0}'.format(solve))
        break
    if count==10:
        print('You Lose , Solve = {0}'.format(solve))
        break

123
1 123 0H1B
789
2 789 0H1B
567
3 567 0H1B
712
4 712 0H1B
254
5 254 0H0B
710
6 710 1H1B
910
7 910 1H0B
817
8 817 0H1B
709
9 709 0H2B
098
10 098 0H1B
You Lose , Solve = 370

上級編の解答

チェック関数を使って予想数字から
正解候補の判定結果を全通り求めておく。

集合をうまく使うと正解候補を絞り込む事が出来る。
Pythonではsetが集合のデータ型。

積集合(intersection)を使うと
候補同士の重なる部分を抽出できる。

候補の重なりの中から次の予想を行い
繰り返すと、候補が絞られてゆく

サンプルコードはこちら

# 数字をチェックする
def check_call(call , solve):
    hit , blow = 0,0
    for i,n in enumerate(call):
        if solve[i]==n:
            hit+=1
        elif n in solve:
            blow +=1
    return hit , blow

# 候補を絞り込むための組み合わせの辞書を作る
def all_combination_calc(call):
    result_dict = {}
    for i in list(itertools.permutations((0,1,2,3,4,5,6,7,8,9), 3)):
        num = str(i[0])+str(i[1])+str(i[2])
        hit , blow = check_call(call,num)
        key = '{0}H{1}B'.format(hit , blow)
        if key in result_dict:
            tmp = result_dict[key]
            tmp.append(num)
        else:
            tmp = [num]
        result_dict[key] = tmp
    return result_dict

# 正解の数字を解く
def solve_code_break(solve):
    sets = set([])
    call = random.choice([str(a)+str(b)+str(c) for a,b,c in itertools.permutations(seq, 3)])
    hit , blow = check_call(call , solve)
    key = '{0}H{1}B'.format(hit , blow)
    print(call,key)
    if call==solve:
        print('End')
    else:
        while True:
            conbination_dict = all_combination_calc(call)
            s_choice = conbination_dict[key]
            sets = set(s_choice) if len(sets) ==0 else sets.intersection(set(s_choice))
            call = random.choice(list(sets))
            s_hit , s_blow = check_call(call , solve)
            key = '{0}H{1}B'.format(s_hit , s_blow)
            print(call,key)
            if call==solve:
                break
    print('End')

# 数字当てをする
seq = (0,1,2,3,4,5,6,7,8,9)
s_nums = [str(a)+str(b)+str(c) for a,b,c in itertools.permutations(seq, 3)]
solve = random.choice(s_nums)
print('Solve = ', solve)
solve_code_break(solve)

Solve = 736
936 2H0B
931 1H0B
906 1H0B
836 2H0B
236 2H0B
736 3H0B
End

せっかくなのでシミュレーションしてみる

1000回ほど試行して何回で解けるかシミュレーションしてみる

上級編のコードを改変して集計プログラムに直して試行する。

# 数字をチェックする
def check_call(call , solve):
    hit , blow = 0,0
    for i,n in enumerate(call):
        if solve[i]==n:
            hit+=1
        elif n in solve:
            blow +=1
    return hit , blow

# 候補を絞り込むための組み合わせの辞書を作る
def all_combination_calc(call):
    result_dict = {}
    for i in list(itertools.permutations((0,1,2,3,4,5,6,7,8,9), 3)):
        num = str(i[0])+str(i[1])+str(i[2])
        hit , blow = check_call(call,num)
        key = '{0}H{1}B'.format(hit , blow)
        if key in result_dict:
            tmp = result_dict[key]
            tmp.append(num)
        else:
            tmp = [num]
        result_dict[key] = tmp
    return result_dict

# 正解の数字を解くシミュレーションをする
def code_break_sim():
    seq = (0,1,2,3,4,5,6,7,8,9)
    s_nums = [str(a)+str(b)+str(c) for a,b,c in itertools.permutations(seq, 3)]
    solve = random.choice(s_nums)
    term,sets = 1,set([])
    call = random.choice([str(a)+str(b)+str(c) for a,b,c in itertools.permutations(seq, 3)])
    hit , blow = check_call(call , solve)
    key = '{0}H{1}B'.format(hit , blow)
    if call==solve:
        return term
    else:
        while True:
            conbination_dict = all_combination_calc(call)
            second_choice = conbination_dict[key]
            sets = set(second_choice) if len(sets) ==0 else sets.intersection(set(second_choice))
            call = random.choice(list(sets))
            s_hit , s_blow = check_call(call , solve)
            key = '{0}H{1}B'.format(s_hit , s_blow)
            term+=1
            if call==solve:
                return term

calc_dict = {}
for i in range(1000):
    key = code_break_sim()
    if key in calc_dict:
        calc_dict[key]+=1
    else:
        calc_dict[key]=1

for k,v in sorted(calc_dict.items()):
    print(k,v)

1 2
2 10
3 63
4 196
5 335
6 277
7 86
8 28
9 3

だいたい5回くらいで解くことができそうです。
７回もあればほぼほぼ解き終わっていますね。

まとめ

コードブレイカー自体は女神転生のミニゲームなので
だいぶ前のゲームでしたが
プログラム的な考え方ができる
いい題材でした。

ヌメロン懐かしいですよね。
今なら無双できる気がします。

再放送するなら
呼んでくれないかなwww

それでは。

作者の情報

乙pyのHP：
http://www.otupy.net/

Youtube：
https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter：
https://twitter.com/otupython

バックアップの方法

formatを指定しない場合（--format jsonなどを書かない場合）はjson形式で出力されます。

全アプリの全テーブルデータを出力

python manage.py dumpdata > filename.json

特定のアプリの全テーブルデータを出力

python manage.py dumpdata app_name > filename.json

特定のアプリのあるテーブルデータを出力

python manage.py dumpdata app_name.table_name > filename.json

リストアの方法

python manage.py loaddata filename.json

参考

• https://7me.oji.0j0.jp/2017/django-memo.html
• https://www.memory-lovers.blog/entry/2019/01/14/112429

はじめに

• OS
  • Windows10 Pro
• Version
  • Python 3.7.3

---

更新日時

更新日	内容	名前
2020.07.26 Sun	新規作成	Yamada

---

参考資料

Pythonエンジニア育成推進協会監修 Python 3スキルアップ教科書

公式ドキュメント Python 3.7.8

---

最初のプログラム

print('Hello,World')

---

基本ルール

---

変数の宣言

• ハッシュ記号は変数名に利用できない
• ドルマークは変数名に利用できない
• 数字で始まる変数名は宣言できない
• Pythonのキーワードに使われている文字列は変数に利用できない
• 文字列リテラルはシングルクォーテーションを扱う
• 文字列リテラルはダブルクォーテーションを扱う

---

データ型

• 文字列型
• 数値型
• 組み込み型

HelloStr = 'Hello,World'
print(HelloStr)
# Hello,World

---

型変換

• 暗黙的型変換
  • 変数初期化時に代入演算された値に基づいてデータ型を変換すること(一般的な解釈)
  • Pythonでは厳密には型変換ではない
  • 各データ型のインスタンスオブジェクトを生成して名前を付ける感じ

name = 'Yamada'
print(type(name))
# <class 'str'>

age = 18
print(type(age))
# <class 'int'>

---

文字のエスケープ

表示文字	エスケープ文字
改行	\n
タブ	\t
"	\"
バックスラッシュ	\\

---

文字列リテラル

• 複数行にまたがる文字列
  • 3回のシングルクォートで括る
• 複数行にわたるコメント
  • 3回のシングルクォートで括る

使い方

sentence = '''
これは文章です。
入力したとおりに
改行も認識されます。
'''
print(sentence)

# ここからコメント
'''
出力内容

これは文章です。
入力したとおりに
改行も認識されます。
'''
# ここまでコメント

---

文字列の連結

• 文字列の連結には「+」を使います。
  • 数値を結合する場合
    • str関数を使って文字列に変換すること

使い方

age = 999
firstName = 'Yamada'
message = 'Hello ' + firstName + str(age)
print(message)

# Hello Yamada999

中間に変数を挟まない方法

age = 999
firstName = 'Yamada'
greeting = 'Hello '
print(greeting + ' ' + firstName + str(age))

# Hello Yamada999

---

文字列補間

• 文字列内で変数の中身を展開する方法

firstName = 'Yamada'
greeting = 'Hello {}'.format(firstName)
message = 'Your name is {} '.format(firstName)

print(message)
print(greeting)

'''
Your name is Yamada
Hello Yamada
'''

---

組み込み関数

---

iter関数

文字列やリストなどの順番に並んだデータをイテレータとして返す関数

nextを使うと先頭から順番にデータを取り出します。

firstName = 'Yamada'
firstName_iter = iter(firstName)

print(next(firstName_iter))
print(next(firstName_iter))
print(next(firstName_iter))
print(next(firstName_iter))
print(next(firstName_iter))
print(next(firstName_iter))

# Y
# a
# m
# a
# d
# a

# 7文字目はないのでStop Iteration
# print(next(firstName_iter))
'''

Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
StopIteration

'''

---

今後できるようになること

• 関数とメソッドの違いを説明できるようになる
• 組み込み関数とそうでない関数の違いを説明できるようになること

---

おわり

print('to be continued !!')