はじめに

前回の記事
音圧レベルFFT
の末尾に書いたように，ハンマで叩いた音は叩く力に依存して大きく聞こえたり小さく聞こえたりします．そのため，周波数分析する際も音圧レベルが変動すると想定されますので，力が入力された瞬間周辺のデータのみを解析することが望ましいです．

やること

・全データから，特定の力（任意値）が入力された瞬間周辺基準にトリミングし，音圧レベルFFTを行なう．

FFT条件

・解析対象は，ホワイトノイズ環境下で外壁タイルを1秒間に1回の頻度で10秒間加振した時の打音データ（前回と同じ）です．
・サンプリングレート fs：8192 Hz
・解析上限周波数：3200 Hz
・FFTブロックサイズ block_size：8192 点
・ライン数：3200 本
・オーバーラップ overlap：0.75
・周波数分解能 df：1.0 Hz
・1回のFFTにかかる時間：1.0 sec
・打音計測マイクのチャンネル本数：1 ch
・何 [N] の力をトリミング対象とするのか？：30 N（任意値で構いません）
（fs・blocksizeが何なのかについては下記のサイトを参考にしてください．個人的に，これが一番わかりやすいです）
NTi-audio

トリミング関数（非効率コード）

force_base_trimming.py

import numpy as np
import scipy.signal as ss

def force_base_trimming(data, block_size, goal_power):
    impact_peak_index_and_number = ss.find_peaks(data[:, 0], height = 0.1, distance = 2000)  # まず加振ハンマの時間波形のデータからピーク検出．これはタプル型．0.1よりも高い値をピークと判断．
    impact_peak_number_only = impact_peak_index_and_number[1]  # こいつはなぜかdict型．検出したインデックスのときの力はどんな値を取るのか変換
    impact_peak_number_only_to_array = list(impact_peak_number_only.values())[0]
    nearest_peak_index_of_array = np.argsort(np.abs(impact_peak_number_only_to_array - goal_power))
    border_index = impact_peak_index_and_number[0][nearest_peak_index_of_array[0]]  # ソートしたうちの0番目のインデックス➡一番目標値に近しいインデックスが摘出される

    trimmed_data = data[np.int(border_index - (block_size / 2) + np.int(border_index + (block_size / 2) + 1), :]

"TODO:ダブルハンマしたときの例外処理を書く➡re-take"
    calculate_peak_in_trimmed_data = ss.find_peaks(trimmed_data[:, 0], height = 0.1, distance = 100)  # サンプリングデータ数が100個ずつにしたときのピークをカウント
    if calculate_peak_in_trimmed_data[0].shape[0] == 1:
        print('ダブルハンマなし {:.3f} N'.format(max(trimmed_data[:, 0])))  # トリムした加振ハンマの最大値を小数点以下第3位まで表示される

    else:
        print('ダブルハンマリング \n 1回目の再取得スタート')
        border_index = impact_peak_index_and_number[0]nearest_peak_index_of_array[1]]

        trimmed_data = data[np.int(border_index - (block_size / 2) + 1):np.int(border_index + (block_size / 2) + 1), :]
        print('1回目の再取得完了')

        calculate_peak_in_trimmed_data = ss.find_peaks(trimmed_data[:, 0], height = 0.1, distance = 100)
        if calculate_peak_in_trimmed_data[0].shape[0] == 1:
            print("1回目の再取得verにダブルはない")

        else:
            print('1回目の再取得verにダブルはまだある \n 2回目の再取得スタート')
            border_index = impact_peak_index_and_number[0]nearest_peak_index_of_array[2]]

            trimmed_data = data[np.int(border_index - (block_size / 2) + border_index + (block_size / 2) + 1), :]
            print('2回目の再取得完了')

            calculate_peak_in_trimmed_data = ss.find_peaks(trimmed_data[:, 0], height = 0.1, distance = 100)
            if calculate_peak_in_trimmed_data[0].shape[0] == 1:
                print("2回目の再取得verにダブルはない")
            else:
                print("2回目の再取得verにダブりがまだあるけど再取得しない．あきらめる．別の目標加振力を設定したほうが良い")
                return trimmed_data  # print('2回目の再取得verにダブルはない')のところのifに対する戻り値
            return trimmed_data  # 2つめのifに対する戻り値
        return trimmed_data  # 初めのifに対する戻り値
    return trimmed_data  # defの戻り値

どんな処理をしてる？（イメージ）

1⃣計測した力データを特定の数ずつに分割する．（今回は2000個のデータ群を1つの塊として扱い，複数の塊を生産）
2⃣2000個の中で0.1（任意値）を超える最大値を1つ探す．探し終わったら，別の2000個を対象に最大値を探す．終わったら次，次，次...
3⃣複数ある最大値のうち30 N（任意値）に一番近い力はどれか検索
4⃣任意値に近い力の配列番号を音圧信号の配列番号に照らし合わせ，配列番号を基準にFFT 1 ブロックの半分左右にオフセットし，トリミングする．（このようにすることで，ウィンドウ関数による音圧振幅の補正を最小限にすることができる．オリジナルデータが一番歪みにくい位置はウィンドウ関数の頂点と力が入力された瞬間がちょうど重なるとき．）
5⃣手順4⃣がダブルハンマ（短時間に2回以上加振してしまうこと．この信号をFFTすると正しく解析できない．）なのか検知するために，トリミングしたデータ（8192個）を対象に100個ずつ分割
6⃣100個の中0.1（任意値）を超える最大値を1つ探す．探し終わったら，別の100個を対象に最大値を探す．終わったら次，次，次...
7⃣複数ある最大値のうち0.1を超えるピークが2つ以上あるならそれなりに大きい力が2つ入力されていると判断できる．
8⃣ダブルハンマと見なし，2番目に近い30 Nのピークを基準にトリミング，ダブルハンマなのか再度検知，の繰り返し

結果

力が入力された瞬間周辺1秒間のデータをトリミングし，1回だけFFTした結果

全データを対象に複数回FFTした結果（トリミングしない）

静粛環境下で同じタイルを加振し，同じ方法で1回だけFFTした結果（参考までに）

この結果から，1回だけFFTした結果の方が比較的ノイジーな音圧レベル結果となることが分かりました．しかし，特定の力が入力された瞬間の応答としてはこちらの方がふさわしいと思います．複数回FFTした結果の方がきれいなグラフになるのは，平均しているからだと思います．（間違えてたらすみません?．）
また，騒音環境下での結果と静粛環境下での結果を比較すると，ノイズに打音が埋もれていることが確認できるかと思います．静粛環境下での固有振動数は750 Hz・1400 Hzで約55 dBとなりはっきりとしたピークがありますが，騒音環境下では固有振動数のピークを確認することが困難であると思われます．

まとめ

ウィンドウ関数によって打音（インパルス応答）が大きく補正されないように，ウィンドウ関数の頂点と打音の最大振幅がちょうど重なるようなトリミング方法を紹介しました．その結果，複数回FFTの結果とどれほど違いが出るのかも確認しました（したつもり）．正直「よくこんなコードを公開しようと思ったな？」と指摘されるほど下手なコードです．「もっとこうした方が良いのでは？」などの意見があれば嬉しいです．

はじめに

wordcloud（ワードクラウド）とは、文章を解析して頻出の単語ほど大きく表示するものです。
最近よく見る、こういうものです

ちなみに、これはとある文学作品のwordcloudです。
何の作品かわかりますでしょうか？？

環境

環境はGoogle Colaboratory、言語はPython。
形態素解析はMeCabで、辞書はneologdを使用。
別に、新語に強いneologd使う必要ないかもだけど、せっかくだし。

なお、今回は青空文庫の作品を対象にしました

青空文庫は、著作権が消滅した作品や著者が許諾した作品のテキストを公開しているインターネット上の電子図書館である。
参考：Wikipedia

実装

まずは、必要なものをインストール。

# MeCabとneologdのインストール
!apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null 
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1
!pip install mecab-python3 > /dev/null
!ln -s /etc/mecabrc /usr/local/etc/mecabrc
!echo `mecab-config --dicdir`"/mecab-ipadic-neologd"

# wordcloudで使う日本語フォントのインストール
!apt-get -y install fonts-ipafont-gothic

次に、必要なライブラリをインポート。

import re
import MeCab
from wordcloud import WordCloud
import matplotlib.pyplot as plt 

tagger = MeCab.Tagger("-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd")

次に、関数を定義。

def format_aozora(text):
    """青空文庫の文章（1行テキスト）から、ルビや空白などの不要な文字を削除する"""
    text = re.sub('［.+?］', '', text)
    text = re.sub('《.+?》', '', text)
    text = re.sub('｜', '', text)
    text = re.sub('\s', '', text)
    return text

def get_nouns(text):
    """1行テキストを入力すると、形態素解析した結果、名詞のリストを返す"""
    node = tagger.parseToNode(text)
    nouns = []
    while node:
        if 36 <= node.posid <=67: # 名詞のみ取得
            nouns.append(node.surface)
        node = node.next
    return nouns

def plot_wordcloud(text, stop_words, background_color='black'):
    """１行テキストを入力すると、stopwordsを除いたwordcloudを表示する"""
    wordcloud = WordCloud(
        font_path='/usr/share/fonts/truetype/fonts-japanese-gothic.ttf',
        width=900, height=600,
        background_color=background_color,
        stopwords=set(stop_words),
        max_words=200,
        min_font_size=10,
        collocations = True
        ).generate(text)
    plt.figure(figsize=(15,12))
    plt.axis("off")
    plt.imshow(wordcloud)
    plt.savefig("word_cloud.png")
    plt.show()

青空文庫のデータには、本文の内容とは直接関係のないルビや空白などが含まれていて、それらの文字を削除するのがformat_aozora関数です。

１行テキストのデータにできたら、get_nouns関数に入れてあげます。
この関数は、形態素解析をして名詞のみをリストで返します。
文章中で重要になってくる単語は名詞が多いハズ。
ちなみに、node.posidは品詞を表す数値で、名詞は36~67になります。

最後に、名詞のみのリストから１行テキストを作成し、plot_wordcloudに入れればwordcloudを表示します。
インプラントは、textは１行テキスト、stop_wordsは表示したくない単語のリスト、background_colorはwordcloudの背景色でデフォルト黒にしています。
好みによって背景色を変えても面白いかも?
なお、stop_wordsは、wordcloudを表示しながら決めていくことになります。
例えば、「こと」とか「それ」とか、よく使われているけど重要じゃないと判断したらstop_wordsで指定。

使い方　〜wordcloudで巡る文学作品の旅〜

今回は、青空文庫から５つの作品を対象にwordcloudを作成してみました。
以下テキストファイルは、青空文庫のページから各作品のリンク先にある「テキストファイル(ルビあり)」をダウンロードしたものです。
各作品のwordcloudを見て、どういったキーワードが作中でよく使われているか、そこからイメージできることは何か、もあわせて書いてみました。

【注】ちなみに、自分は文学は大の苦手で、以下有名作品は全く読んだことありません。いや、読んだかもしれんが記憶にない。ので、妙な考察してるかもしれませんがご了承下さい。

その壱　『こころ　夏目漱石』

txt_file = 'kokoro.txt'
with open(txt_file, encoding='shift-jis') as f:
    text = f.read()
text = format_aozora(text)
nouns = get_nouns(text)
text=" ".join(nouns)
stop_words = ['それ', 'もの', 'よう', 'そこ', 'ため', 'そう', 'これ', 'ところ', 'うち']
plot_wordcloud(text, stop_words)

使い方はこんな感じ。
青空文庫からダウンロードしたテキストファイル（上の場合、kokoro.txt）を読み取り１行テキスト（text）に。
それを、get_nouns関数に入れて形態素解析＆名詞のリストを取得。
そのリストをスペースで繋げて再び１行テキストに。
表示したくないストップワードも結果を見ながらリストで指定。
最後にplot_wordcloudでwordcloudの表示！

以下、txt_fileとstop_wordsが異なるだけです。
１行テキストを用意してあげれば何でも良いので、いろんな素材で試してみて下さい

まず最初は夏目漱石の『こころ』

記事冒頭のものは、こちら「こころ」のwordcloudでした。

「先生」や「奥さん」という言葉がひときわ大きく表示されており、作中でキーとなる人物である予感。
それらに比べて小さいですが、「病気」「心持」「医者」というワードもあって、何か精神的な暗さも彷彿とさせます。タイトルの「こころ」に繋がるものなのだろうか？

その弐　『人間失格　太宰治』

txt_file = 'ningen_shikkaku.txt'
with open(txt_file, encoding='shift-jis') as f:
    text = f.read()
text = format_aozora(text)
nouns = get_nouns(text)
text=" ".join(nouns)
stop_words = ['もの', 'それ', 'たち', 'よう', 'これ', 'そう', 'ほう', 'みたい']
plot_wordcloud(text, stop_words)

人間失格、映画化もされましたね。

「自分」というのがデカく出てきてますが、これは主人公の一人称の呼び方なんだろうか？
人間失格だからか「人間」というワードもあります。
「堀木」って、友人ですかね？
「ヨシ子」「ツネ子」は女性の名前っぽいけど、主人公の彼女？奥さん？お母さん？？
というか、「ヒラメ」って？

その参　『羅生門　芥川龍之介』

txt_file = 'rashomon.txt'
with open(txt_file, encoding='shift-jis') as f:
    text = f.read()
text = format_aozora(text)
nouns = get_nouns(text)
text=" ".join(nouns)
stop_words = ['よう', 'それ', 'これ', 'さっき', 'しよう']
plot_wordcloud(text, stop_words)

続いて、芥川龍之介の『羅生門』

「下人」という聞き慣れない言葉がデカデカとあります。調べてみると、この下人というのは身分の低い人のことを指すとのこと。
ついで、「老婆」というワード。下人の老婆ってこと？
それから「死骸」「梯子（はしご）」「餓死」「死人」という不穏なワードが…。
タイトルの「羅生門」も。
全体的に不吉な感じのイメージですな。

その肆　『吾輩は猫である　夏目漱石』

txt_file = 'wagahaiwa_nekodearu.txt'
with open(txt_file, encoding='shift-jis') as f:
    text = f.read()
text = format_aozora(text)
nouns = get_nouns(text)
text=" ".join(nouns)
stop_words = ['もの', 'よう', 'これ', 'それ', 'ところ', 'そう', 'さん', 'うち', 'ため', 'どこ']
plot_wordcloud(text, stop_words)

４つ目は『吾輩は猫である』

「主人」が一番大きいですね。猫の飼い主のことでしょうか？
続いて「吾輩」。これは主人公の一人称ですね、きっと。
「迷亭」ってなんぞ。
「細君」「人間」「寒月」も多く使われているようです。

その伍　『銀河鉄道の夜　宮沢賢治』

txt_file = 'gingatetsudono_yoru.txt'
with open(txt_file, encoding='shift-jis') as f:
    text = f.read()
text = format_aozora(text)
nouns = get_nouns(text)
text=" ".join(nouns)
stop_words = ['よう', 'それ', 'そう', 'とき', 'こと', 'どこ', 'こっち', 'そこ', 'とこ', 'いま', 'もの', 'そっち', 'さっき', 'たち', 'ここ']
plot_wordcloud(text, stop_words)

最後に、宮沢賢治の『銀河鉄道の夜』

「ジョバンニ」「カムパネルラ」といった聞き慣れないカタカナがトップ。
これ、調べたら主人公と友人の名前だそうな。。
あとは、「汽車」「銀河」「天の川」といった、いかにも銀河鉄道の夜らしい、情景が目に浮かぶようなキーワードが並んでいます。
「ザネリ」？？

まとめ

いかがだったでしょうか？

今回はGoogle Colabでwordcloudを作成してみました。

この記事では青空文庫を題材にしました。
こうやってみると、文学嫌いの自分でも、キーワードの先が気になってしまい、なんだか読んでみたくなる気がしないでもない。。

実際の業務では、ユーザのコメントなどを解析して重要なキーワードの把握に役立てたりできると思います。
単に、頻出ワードを表にして並べるより、見た目のインパクトがありますよね
また、ツイッターやslackなどの会話を集めて分析するのも面白いと思います。
自分は、会社のslackの内容をwordcloudにして見せたところ、なかなか好評だったようです。

皆さんも是非、色々と試してみて下さいね

flask_migrateを利用して、pythonコード内でテーブル名の変更を行う場合は必ずdb migrate / db upgradeしようね、という話です。

例えば

class User(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    username = db.Column(db.String(64), index=True)
    description = db.Column(db.String(120), index=True)
    def __repr__(self):
        return '<User %r>'%self.username

と、Flask_SQLAlchemyを利用して、テーブルを定義した後に、

class UserData(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    username = db.Column(db.String(64), index=True)
    description = db.Column(db.String(120), index=True)
    def __repr__(self):
        return '<User %r>'%self.username

のようにテーブル名（クラス名）を変更した場合、

flask db migrate
flask db upgrade

としないと

sqlalchemy.exc.ProgrammingError: (psycopg2.errors.UndefinedTable) relation "user_data" does not exist

といった風に「テーブルがないよ！」と怒られます。
pythonコード内で変更したからといってそれを暗黙のうちに差分変更してくれるわけではないので、
明示的にflask db migrate / flask db upgradeする必要があるようです。gitみたいですね。

まだ環境が固まっておらずちょっと書いてみたものです。
テストクラスはしかかり中です。

Jenkinsの情報をちょっと取得したい

要はJenkins画面を解放せずともChatOpsで情報をとれるようにしたいわけなのですが
まだ環境固まっておらず、とりあえず実験的にJenkinsAPIを叩いて
JOB情報取ってきたり、JOB起動できるようにしてみました。

ChatOps提供あればJOB起動のコードは書かなくてもOKになるはずなのですけどね。

#!/opt/anaconda3/bin/python3
# -*- coding: utf-8 -*-

'''RocketChat Jenkins情報取得

  Jenkins情報をRocketChatのチャンネルに提供する 

  Jenkinsの設定によりCSRF対策が行われている
  そのためauth情報だけでなくJenkins-Crumb情報が必要となる。

  1.adminのTOKEN情報
    → adminユーザコンソールからパーソナルアクセストークンを生成する。
      都度生成なのでメモるのを忘れないようにする。

  2.Jenkins-Crumb情報取得方法
    → コマンドを発行する必要がる。以下実行してその戻りにより得られる
      adminのTOKEN設定が設定になっている。
    curl -u 'admin:ADMINS_TOKEN' 'http://xxxxxxx/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,":",//crumb)'

  3.結果送信は自前ライブラリを使用する様にして下さい。ここでは実装しません。
    RocketChatChannelManager -> sendMessageToRocketChat(channel, msg)1


  Todo:

'''

################################################
# library
################################################

import json
import requests
import pandas as pd
import sys

from datetime import datetime
from dateutil import parser
from pprint import pprint
from pytz import timezone

################################################
# 環境変数取得 
################################################
#
#
# HEADERS定義
# headers = {
#     'Jenkins-Crumb': 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'}
# 認証定義
# AUTH = ('admin', 'xxxxxxxxxxxxxxxxxxxxxxxxxxxx26fa')
#
# URL = 'http://xxx.xxx.xxx.xxx:3000'
# 

################################################
# RocketChatJenkinsManager 
################################################
class RocketChatJenkinsManager(object):
    def __init__(self, HEADERS, AUTH, URL):

        # 引数チェック 型    
        if not isinstance(HEADERS, dict):
            print(f'引数：HEADERSの型が正しくありません dict <-> {type(HEADERS)}')
            raise TypeError

        # 引数チェック 型    
        if not isinstance(AUTH, tuple):
            print(f'引数：AUTHの型が正しくありません tuple <-> {type(AUTH)}')
            raise TypeError

        # 引数チェック 型    
        if not isinstance(URL, str):
            print(f'引数：URLの型が正しくありません str <-> {type(URL)}')
            raise TypeError

        # インスタンス生成
        self.HEADERS = HEADERS
        self.AUTH = AUTH
        self.URL = URL


    def exchangeUnixtimeToTimestamp(self, unixtime):
        '''unixtimeをtimestampに変換する

        Args:
          unixtime: float

        Returns:
          timestamp: str

        Raises:
          TypeError

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.exchangeUnixtimeToTimestamp(1610870939803)
             -> '2021/01/17 17:08:59'
        Note:

        '''

        # 引数チェック 型    
        #if not isinstance(unixtime, int):
        #    print(f'引数：unixtimeの型が正しくありません int <-> {type(unixtime)}')
        #    raise TypeError

        timestamp_succsessful = float(unixtime)
        return datetime.fromtimestamp(timestamp_succsessful/1000.).strftime('%Y/%m/%d %H:%M:%S')


    def getJenkinsJobList(self):
        '''Jenkins 利用可能JOB一覧を取得する

        利用可能JenkinsJOB一覧をPandas DataFrameで返す。

        Args:
          無し

        Returns:
          pd.DataFrame
             Jobname, Params, JobDescription, ExecCount, URL

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> df = jenkins.getJenkinsJobList()

        Note:

        '''

        # Columns定義（データ取得）
        columns_in_df = ['JobName', 'JobDescription', 'ExecCount', 'URL','Params']
        # Columns定義（データ出力） 
        columns_out_df = ['JobName', 'Params', 'JobDescription', 'ExecCount', 'URL']

        # API定義
        ENDPOINT = '/api/json'
        QUERY = '?depth=1&tree=jobs[displayName,description,lastCompletedBuild[number,url],actions[parameterDefinitions[name]]]'
        API = f'{self.URL}{ENDPOINT}{QUERY}' 

        # 取得処理
        try:
            response = requests.post(
                API,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # 仮の入れ物を用意
            _list1 = []
            _list2 = []

            # 取得responseから情報取得
            ## Job基本情報取得
            for _ in response.json()['jobs']:
                _list1.append([_['displayName'], 
                               _['description'], 
                               _['lastCompletedBuild']['number'], 
                               _['lastCompletedBuild']['url']])

                ## 可変であるパラメータ取得
                _list3 = []
                for __ in _['actions']:
                    if (__ != {}) & (__ != {'_class': 'com.cloudbees.plugins.credentials.ViewCredentialsAction'}):
                        _key = ''
                        for ___ in __['parameterDefinitions']:
                            _key += f"param: {___['name']} "
                        _list3.append(_key)
                _list2.append(_list3)

            ## 出力フォーマット処理
            df1 = pd.DataFrame(_list1)
            df2 = pd.DataFrame(_list2)
            df = pd.concat([df1, df2], axis=1)
            df.columns = columns_in_df

            # 出力微調整
            return df[columns_out_df]


    def execJenkinsJobListNoParameters(self, jobname):
        '''指定したJenkinsJOB（パラメータなし）をリモート実行する

        ここでの役割はJenkinsJobをリモート実行するのみであり
        そのJob実行結果はハンドリングしていない。
        そもそも非同期実行の仕組みになっている。

        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Return:
          response: <Response [201]>  実行スケジュールに渡しました

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.execJenkinsJobListNoParameters('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/build'
        API = f'{self.URL}{ENDPOINT}'

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # Jobリモート投入成功を伝える
            print(f'{jobname}をリモート実行しました')
            print(response) 
            return '201'


    def execJenkinsJobListWithParameters(self, jobname):
        '''指定したJenkinsJOB（パラメータ設定あり）をリモート実行する

        ここでの役割はJenkinsJobをリモート実行するのみであり
        そのJob実行結果はハンドリングしていない。
        そもそも非同期実行の仕組みになっている。

        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Return:
          response: <Response [201]>  実行スケジュールに渡しました

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.execJenkinsJobListWithParameters('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/buildWithParameters'
        API = f'{self.URL}{ENDPOINT}'

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # Jobリモート投入成功を伝える
            print(f'{jobname}をリモート実行しました')
            print(response) 
            return '201'


    def _lastBuildTimestamp(self, jobname):
        '''指定したJenkinsJOB（パラメータ設定あり）の最終実行時間を取得する


        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Retur:
          timestamp: str 最後の成功Build時間 YYYY/MM/DD HH:MM:SS 

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.lastSuccessfulBuildTimestamp('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/lastBuild/api/json'
        API = f'{self.URL}{ENDPOINT}'

        # JOBパラメータ定義
        params = (
            ('pretty', 'true'),
        )

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                params=params,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # unixtimeをtimestampへ変換して戻す
            return(self.exchangeUnixtimeToTimestamp(response.json()['timestamp']))


    def _lastSuccessfulBuildTimestamp(self, jobname):
        '''指定したJenkinsJOB（パラメータ設定あり）の最終成功時間を取得する


        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Retur:
          timestamp: str 最後の成功Build時間 YYYY/MM/DD HH:MM:SS 

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.lastSuccessfulBuildTimestamp('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/lastSuccessfulBuild/api/json'
        API = f'{self.URL}{ENDPOINT}'

        # JOBパラメータ定義
        params = (
            ('pretty', 'true'),
        )

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                params=params,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # unixtimeをtimestampへ変換して戻す
            return(self.exchangeUnixtimeToTimestamp(response.json()['timestamp']))


    def _lastFailedBuildTimestamp(self, jobname):
        '''指定したJenkinsJOB（パラメータ設定あり）の最終失敗時間を取得する


        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Retur:
          timestamp: str 最後の成功Build時間 YYYY/MM/DD HH:MM:SS 

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.lastFailedBuildTimestamp('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/lastFailedBuild/api/json'
        API = f'{self.URL}{ENDPOINT}'

        # JOBパラメータ定義
        params = (
            ('pretty', 'true'),
        )

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                params=params,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # unixtimeをtimestampへ変換して戻す
            return(self.exchangeUnixtimeToTimestamp(response.json()['timestamp']))


    def getJobInformation(self, jobname):
        '''指定したJenkinsJOB（パラメータ設定あり）の実行情報を取得する


        Args:
          jobname: str JenkinsJob名、ただしパラメータ定義のないJob 

        Return:
          joburl:  str
          job情報: DataFrame

        Raises:
          API実行時のエラー 

        Examples:
          >>> jenkins = RocketChatJenkinsManager(HEADERS, AUTH, URL)
          >>> jenkins.getJobInformation('test_hubot')

        Note:

        '''
        # 引数チェック 型    
        if not isinstance(jobname, str):
            print(f'引数：jobnameの型が正しくありません str <-> {type(jobname)}')
            raise TypeError

        # API定義
        ENDPOINT = f'/job/{jobname}/api/json'
        API = f'{self.URL}{ENDPOINT}'

        # JOBパラメータ定義
        params = (
            ('pretty', 'true'),
        )

        # Job投入
        try:
            response = requests.post(
                API,
                headers=self.HEADERS,
                params=params,
                auth=self.AUTH,)    
        except Exception as e:
            print(f'API実行エラー: {API}')
            print(f'Error: {e}')
            return False
        else:
            # JobLinkPath生成
            joburl = f"{response.json()['url']}"

            # 基本情報をまとめる
            _list = []
            _list.append([f"Job名",                  f"{response.json()['displayName']}"])
            _list.append([f"Job詳細",                f"{response.json()['description']}"])
            _list.append([f"HealthReport",           f"{response.json()['healthReport'][0]['description']}"])
            _list.append([f"JobStatus Color",        f"{response.json()['color']}"])
#            _list.append([f"Job最新実行:失敗判定",   f"{response.json()['lastUnstableBuild']}"])
            _list.append([f"Job最終BuildNo.",        f"{response.json()['lastBuild']['number']}"])
            _list.append([f"Job最終Build時間",       f"{self._lastBuildTimestamp(jobname)}"]) 
            _list.append([f"Job最終成功BuildNo.",    f"{response.json()['lastSuccessfulBuild']['number']}"])
            _list.append([f"Job最終成功Build時間",   f"{self._lastSuccessfulBuildTimestamp(jobname)}"]) 
            _list.append([f"Job最終失敗BuildNo.",    f"{response.json()['lastFailedBuild']['number']}"])
            _list.append([f"Job最終失敗Build時間",   f"{self._lastFailedBuildTimestamp(jobname)}"]) 

            # DataFrame生成
            df = pd.DataFrame(_list)
            df.columns = ['項目', 'ステータス']
            return joburl, df

TL;DR

Japanese Company Lexiconを使って形態素解析(MeCab)ベースの企業名抽出器をpythonで作ります。
環境は以下を想定しています。

macOS Catalina
Homebrew 2.7.1
python 3.9

事前準備

JCLdicのダウンロード

https://github.com/chakki-works/Japanese-Company-Lexicon

READMEからJCL_mediumのMeCab Dicをダウンロードして解凍してください。
jcl_medium_mecab.dic が必要なファイルです。

MeCabインストール

mecab入ってない場合はインストールしてください。
今回はbrewでinstallします。
辞書にmecab-ipadicを使います。

brew install mecab
brew install mecab-ipadic

MeCabのuserdict設定

MeCabのuserdict設定のためdicファイルを置くために、任意の場所にディレクトリ作成します。
今回は/usr/local/lib/mecab/dic/user_dictに作成しました。
解凍したmecab dict　jcl_medium_mecab.dic　を作成したディレクトリ配下に移動します。

mkdir /usr/local/lib/mecab/dic/user_dict
mv jcl_slim_mecab.dic /usr/local/lib/mecab/dic/user_dict

mecabrcの変更

userdictを準備したら、mecabの辞書情報を変更するためにMeCabの設定ファイルであるmecabrcを登録します。
mecabrcは、install方法によって場所が変わるかもしれませんが、brewでinstallした場合/usr/local/etc/mecabrcにあります。

; でコメントになっている;userdic = <file path> を↑でおいたファイルのパスに変更します。

userdic = /usr/local/lib/mecab/dic/user_dict/jcl_slim_mecab.dic

動作確認

まずはconsoleで辞書が反映されているか確認しましょう。

>>> echo "ビザスクで働いています。" | mecab
ビザスク    名詞,固有名詞,組織,*,*,*,株式会社ビザスク,*,*
で 助詞,格助詞,一般,*,*,*,で,デ,デ
働い  動詞,自立,*,*,五段・カ行イ音便,連用タ接続,働く,ハタライ,ハタライ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
い 動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます  助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。 記号,句点,*,*,*,*,。,。,。
EOS

ビザスクが名詞,固有名詞,組織,*,*,*,株式会社ビザスク,*,*と表示してされているのでOKです。

python

次にpythonでMeCabを使う準備をします。

library install

まずpython用のライブラリをinstallします。

pip install mecab-python3

これで準備は完了です。

code

以下のcodeで企業名を抽出します。

import unicodedata
import MeCab

# MeCabの設定
tagger =  MeCab.Tagger('-r /usr/local/etc/mecabrc')

def extract_company(text):
    # textのnormalize
    text = unicodedata.normalize('NFKC', text) 
    node = tagger.parseToNode(text)
    result = []
    while node:
　　　　　# node feature: 品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音
        features = node.feature.split(',')
        if features[2] == '組織':
            result.append(
                (node.surface, features[6])
            )
        node = node.next
    return result

ポイントは２つです。

１つ目は、MeCab.Taggerの引数に参照するmecabrcを-rオプションで指定しすることです。
2つ目は、テキストをparseする前に正規化することです。
JCLdicは辞書サイズと検索速度とのトレードオフの結果、全角を使わず半角のみ使っているようなのでパースするテキストを半角に正規化しておく必要があります。

JCLdicでは、原型に株式会社ビザスクのような正式名称が入っているので原型を抽出することで、企業の正式名称を抽出することができます。

出力

texts = [
    "ビザスクでエンジニアとして働いています。",
    "三菱UFJモルガンスタンレー証券 M&A部 アソシエート リンカーンインターナショナル ヴァイスプレジデント ガーディアンアドバイザーズ パートナー",
    "キヤノン株式会社 部長／経営監理室",
    "など、主力商品のプロダクトマーケティングに従事してきました。そして、会員サービスを一元化した「My Sony Club」の企画立案及び立ち上げを陣頭指揮してきました。また、シナジーマーケティングでは、クライアント企業様へCRMを中心としたマーケティングおよびマーケティング・コミュニケーション領域の支援をしてきました。"
]

for text in texts:
    companies = extract_company(text)
    print("text: ", text)
    for company in companies:
        print("キーワード: {},  正式名称: {}".format(company[0], company[1]))

text:  ビザスクでエンジニアとして働いています。
キーワード: ビザスク,  正式名称: 株式会社ビザスク
キーワード: エンジニア,  正式名称: 株式会社エンジニア

text:  三菱UFJモルガンスタンレー証券 M&A部 アソシエート リンカーンインターナショナル ヴァイスプレジデント ガーディアンアドバイザーズ パートナー
キーワード: 三菱UFJモルガンスタンレー証券,  正式名称: 三菱UFJモルガン・スタンレー証券株式会社
キーワード: M&A,  正式名称: 株式会社M&A
キーワード: アソシエート,  正式名称: 株式会社アソシエート
キーワード: リンカーンインターナショナル,  正式名称: リンカーン・インターナショナル株式会社
キーワード: ヴァイス,  正式名称: 株式会社ヴァイス
キーワード: ガーディアンアドバイザーズ,  正式名称: ガーディアン・アドバイザーズ株式会社

text:  キヤノン株式会社 部長／経営監理室
キーワード: キヤノン株式会社,  正式名称: キヤノン株式会社
キーワード: 経営監理,  正式名称: 有限会社経営監理

text:  など、主力商品のプロダクトマーケティングに従事してきました。そして、会員サービスを一元化した「My Sony Club」の企画立案及び立ち上げを陣頭指揮してきました。また、シナジーマーケティングでは、クライアント企業様へCRMを中心としたマーケティングおよびマーケティング・コミュニケーション領域の支援をしてきました。
キーワード: Sony,  正式名称: Sony合同会社
キーワード: シナジーマーケティング,  正式名称: シナジーマーケティング株式会社
キーワード: クライアント,  正式名称: 有限会社クライ・アント
キーワード: CRM,  正式名称: 株式会社C.R.M.

日本の会社名が多く収録されている辞書なので、一般名詞の会社名がでてくるため用途によっては使いにくいかもしれません。
その際は、抽出したくないキーワードをstopwordとして扱い、node.surfaceがstopwordだった場合スキップする処理を入れるなどの工夫が必要です。

筆者（物性物理系M2）が修論を書くのに使った小ネタをテンプレとしてメモしておきます．

LaTeX

環境はpLaTeX，\documentclass[a4paper,10pt]{jsarticle}とします．

図

preamble

\usepackage[dviout]{graphicx}
\usepackage{here} %[H] オプションを使用する場合

図の挿入

\begin{figure}[ht]
 %オプション h:その場, t:ページ上端, b:ページ下端, p:専用ページを作成
 % H:その場で強制出力
 \centering
 \includegraphics[keepaspectratio, width=0.8\linewidth]{fig1.png}
  %オプション keepaspectratio:アス比を固定, width,height:サイズ指定
  % 0.8\linewidthなど紙幅との比や 8cmなど単位付き長さでの指定
 \caption{キャプション}
 \label{fig:1} %相互参照用のラベル
\end{figure}

昔はTeXで画像を扱うならepsと相場が決まっていましたが，今はPDFが一番速いです．その他の場合でもdvipdfmxでPDFに変換されるのでPNGやJPEGならそのまま使って問題ありません．
http://www.yamamo10.jp/~yamamoto/comp/latex/make_doc/insert_fig/index.php#CONTEMPORARY

\includegraphics...の行を増やせば並ぶだけ適当に並べてくれますが，こちらでちゃんとコントロールして2カラムにしたい場合等は

\begin{figure}[ht]
 \begin{tabular}{cc}
  \begin{minipage}[t]{0.45\hsize}
   \centering
   \includegraphics[keepaspectratio, width=\linewidth]{fig2.png}
   \caption{キャプション1}
   \label{fig:2}
  \end{minipage} &
  \begin{minipage}[t]{0.45\hsize}
   \centering
   \includegraphics[keepaspectratio, width=\linewidth]{fig3.png}
   \caption{キャプション2}
   \label{fig:3}
  \end{minipage}
 \end{tabular}
\end{figure}

のようにtabular環境を使います．

図に文字を回り込ませたいときはwrapfigure環境を使います．
abstructなどページ制限があるときなんかに便利．
普通のfigureと混ぜて使うと出力される順番がおかしくなったりするので注意が必要です．
オプション等の詳細は次を参照． http://www.yamamo10.jp/~yamamoto/comp/latex/make_doc/insert_fig/index.php#WRAPFIG

\begin{wrapfigure}{R}{0.5\hsize}
 \centering
 \includegraphics[keepaspectratio, width=\linewidth]{fig4.png}
 \caption{キャプション3}
 \label{fig:4}
\end{wrapfigure}

表

表です．罫線を全部引いたりするとダサいのでほどほどにしておきます．

\begin{table}[ht]
  \centering
  \caption{キャプション}
  \begin{tabular}{c|ccc}
    \hline
    X & A & B & C\\
    \hline \hline
    1 & a & b & c \\
    2 & s & t & u \\
    3 & p & q & r \\
    \hline
  \end{tabular}
  \label{tab:1}
\end{table}

{c|ccc}のところは項目数と左右中央寄せ（l,r,c），縦罫線の設定です．
横罫線は\hlineで引きます．

相互参照

図表や数式中に\label{<適当な文字列>}を入れておくと\ref{<その文字列>}で図表番号を出力できます．執筆中に順序を入れ替えたりしても問題ないよう，手でベタ打ちするのではなく相互参照を使いましょう．
そのラベルが図なのか表なのか数式なのかは環境から自動で判断してくれますが，ユーザー側が判別しやすいようにfigやtabなどをprefixにつけておくと良いです．
なお，1度目のタイプセットでlabelの位置やら番号やらを書き出して，それをrefで参照することになるので2回以上のタイプセットが必要になります．目次や数字が入ることでページ数が変化することもありうるので万全を期すならば3回タイプセットしておくと安全です¹．

図表番号を章立てにする

図表番号はjsarticleでは通し番号が付けられますが，sectionごとにリセットする場合は次のようにします．

preamble

\makeatletter
% sectionが変わるごとにfigureカウンタをリセット
\@addtoreset{figure}{section}
% 図番号の出力を「<章番号>.<図番号>」にする
\renewcommand{\thefigure}{\thesection.\arabic{figure}}
%
\@addtoreset{table}{section}
\renewcommand{\thetable}{\thesection.\arabic{table}}
\makeatother

参考: [LaTeX] 図表数式番号を通し番号にする・章ごとに分ける

参考文献の参照

参考文献管理はthebibliography環境，またはBibTeXを使うのが一般的．
thebibliography環境を使用する場合は

preamble

\usepackage{cite}

\begin{thebibliography}{99}
\bibitem{label1} hogehoge.
\bibitem{label2} fugafuga.
\end{thebibliography} 

のようにして\cite{<ラベル名>}で参照します．
\cite{label1,label2}のように2つ以上並べたり\cite[pp12--34]{label1}のようにページ数などを付記することが可能．

PDFにハイパーリンクを埋め込む

hyperref パッケージを使用すると相互参照にハイパーリンクが張られるので長いPDFを生成する場合，ワンクリックであっちこっち飛べて便利．
リンク文字列の色などの設定が可能．（デフォルトは赤とか緑なのでだいぶ見づらいと思う．）

preamble

\usepackage[dvipdfmx]{hyperref}
\usepackage{pxjahyper}
\hypersetup{
 setpagesize=false,
 bookmarksnumbered=true,
 bookmarksopen=true,
 colorlinks=true,
 linkcolor=black,
 citecolor=black,
}

参考: ハイパーリンク付きLaTeX文書

自作カウンタの参照

自分で定義したカウンタも相互参照することができます．

subscriptという名前のカウンタを作成し，呼ばれたときの挙動を定義しておきます．

preamble

\newcounter{subscript}
\setcounter{subscript}{0}
\renewcommand{\thesubscript}{\arabic{subscript}}
\newcommand{\subscript}{\refstepcounter{subscript}\thesubscript}

$$ T_{\subscript\label{sub:hoge}} = hoge $$
$$ T_{\subscript\label{sub:fuga}} = fuga $$
$$ T_{\subscript\label{sub:piyo}} = piyo $$

$T_{\ref{sub:fuga}}$ はfugaです．

SI単位

preamble

\usepackage{siunitx}

\si{kg.m/s^2}のように使用．
°は\si{\degree}，℃は\si{\degreeCelsius}など

また、$\rm\LaTeX$ では \AAでÅを印字できますが，これは「上リング付きA」²で，テキスト環境で使う想定のものなので\si内で使用するとLaTeX Warning: Command \r invalid in math mode on input line XXのような警告が出ます．
\angstromを使えば警告は出なくなります．

参考:
SI単位（国際単位系） - siunitxパッケージのマクロ
command \r invalid

化学式

上付き，下付きは数式環境でしか使えないが元素記号はローマン体なのでいちいち$\mathrm{H}_2\mathrm{O}$のようにしなければいけなくてとても面倒．
パッケージを使用すると楽．

preamble

\usepackage[version=3]{mhchem}

\ce{SrTiO3}，\ce{HSO4-}などのようにすると自動で上付き，下付きなどを適用してくれます（1桁に限る．SO42-等ではどこで区切るか決定できないので自分で上付き，下付きを設定する）．
数式環境内でもローマン体にしてくれるし，テキスト環境でも上付き^，下付き_が効く．

$\mathrm{FeSe}_ {1-x} \mathrm{Te}_ {x}$のような変数が入った置換系などで
\ce{FeSe_{$1-x$}Te_{$x$}}のようにすると1-xのマイナスがハイフンになってしまうようなので$\ce{FeSe}_{1-x}\ce{Te}_x$のようにしたほうが良い．

mhchemパッケージの環境で数式モードにして-を使うとマイナスじゃなくてハイフンになってる？
上が
\ce{FeSe_{$1-x$}Te_{$x$}}
下が
$\mathrm{FeSe}{1-x}\mathrm{Te}{x}$ pic.twitter.com/FODodQtwHN

— ❄雪下❄ (@Mopepe51) January 5, 2021

参考: TeXによる化学組版 - TeX Alchemist Online

マクロ内容の確認

このマクロ，どう動作するんだっけ？と気になることがあります．
$\rm\LaTeX$マクロであれなlatex.ltxを開いて検索すれば良いのですが再定義していたりパッケージで定義されたものだったりすると探すのも面倒です．
現環境での定義内容を確認するには，\show<トークン>のようにすればログにマクロを展開した結果が出力されます．

例えば上で出てきた\AAでやってみると

> \AA=macro:
->\r A.
l.11 \show\AA

? 

のように出力されます．Aにアクセント記号\rを付けたものであるということがわかります．
マクロ以外のトークン（例えば&では>alignment tab character &.など）でも可．
またレジスタ数値などを出力する\showtheなど色々なデバッグ用コマンドも用意されています（以下略． 参考: TeX プログラムのデバッグで絶望する前に知るべきこと (1) - マクロツイーター ）

その他

• 「1から5まで」のように範囲を書くときは「～」\simではなくen-dash -- を使おう（～はニアリーイコールの記号）． LaTeXで論文作成のいろいろ #ダッシュとハイフンの使い分け

bibliographyを端折る

BibTeXを使わずに³参考文献を書く時は

\begin{thebibliography}{99}
\bibitem{Josephson} B. D. Josephson, Phys. Lett. 1, 251-253 (1962).
\end{thebibliography}

のようにすればよいのですが，このままだと特に書式のないテキストで
[1] B. D. Josephson, Phys. Lett. 1, 251-253 (1962).
のように書き出されます．

私の分野の書式にあわせようとすると
[1] B. D. Josephson, Phys. Lett. 1, 251-253 (1962).
のように雑誌名をイタリック，巻数をボールドにしたいのですが，いちいちB. D. Josephson, \textit{Phys. Lett.} \textbf{1}, 251-253 (1962).と毎度書くのはもちろん，
\newcommand{\paper}[4]{#1 \textit{#2} \textbf{#3} #4}とマクロを定義して\paper{B. D. Josephson,}{Phys. Lett.,}{1,}{251-253 (1962).}とするのもカッコを書くのが面倒⁴だったので\defを使ってもう少し入力数を減らしてみました．

$\rm\LaTeX$では基本的に\newcommandを使うべきなのですが，\defを使うと便利な場面もあります．
\def特有の機能のうちにパターンマッチングが使えるというものがあり，

\def\paper#1;#2;#3;#4.{#1\textit{#2}\textbf{#3}#4.}

\paper B. D. Josephson,;Phys. Lett.,;1,;251-253 (1962).

のようにすると B. D. Josephson,，Phys. Lett.,，1,，251-253 (1962)がそれぞれ#1，#2，#3，#4 に格納され展開されます．便利ですね．

横着するためだけに（$\rm\LaTeX$ではなく）$\rm\TeX$を書かないといけないのであまり真似しないほうが良いと思いますが．

Python

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

あたりは前置きなく使用します．

グラフ

目標はこんな感じのグラフです．

[出典 : E. Snider, et al. "Room-temperature superconductivity in a carbonaceous sulfur hydride." Nature 586, 373–377 (2020).]

目盛り設定

デフォルトの設定だと目盛りが外向き・補助目盛り無しなので表示させます．

plt.rcParams['font.family'] ='sans-serif' #フォント選択
plt.rcParams['font.size'] = 12 #フォントの大きさ
plt.rcParams["xtick.minor.visible"] = True #補助目盛りの追加
plt.rcParams["ytick.minor.visible"] = True
plt.gca().xaxis.set_tick_params(which='both', direction='in',bottom=True, top=True)
plt.gca().yaxis.set_tick_params(which='both', direction='in',left=True, right=True)

その他の設定項目．備忘録 Matplotlibのグラフの見た目の調整

マーカーを白抜きにする

markerfacecolorを"None"にするとマーカーが枠線だけになる．"white"だと後ろが透過しない．
markeredgecolorを設定すれば線と別の色で描画もできる．
散布図plt.scatterの場合はそれぞれ引数名がedgecolors，facecolorになる．

plt.plot([0, 1, 2], [1, 0, 1], marker="o", markersize=10)
plt.plot([0, 1, 2], [0, 1, 2], marker="s", markerfacecolor="None", markersize=10)
plt.plot([0, 1, 2], [2, 1, 0], marker="^", markeredgecolor="C3", markerfacecolor="white", markersize=10)
plt.scatter([0, 1, 2], [0, 2, 1], marker="v", edgecolors="C4", facecolor='None', s=100)

matplotlib グラフ作成Tips (3) 白抜き記号と矢印

凡例をグラフ外部に表示する

plt.legend(bbox_to_anchor=(1.05, 1), loc="upper left", ncol=2)

matplotlibの凡例（legend）レイアウト関連メモ

重ねてプロット

第2軸と重ねて書く場合．
プロット色に合わせて軸の色も変えようとすると結構面倒です．

fig = plt.figure()
ax1 = fig.subplots()

plt.rcParams['font.family'] ='sans-serif'
plt.rcParams['font.size'] = 10
plt.rcParams["xtick.minor.visible"] = True
plt.rcParams["ytick.minor.visible"] = True
ax1.xaxis.set_tick_params(which='both', direction='in',bottom=True, top=True)
# 1軸 目盛色の変更
ax1.yaxis.set_tick_params(which='both', direction='in',left=True, color="C0")
# 目盛ラベル色の変更
ax1.tick_params(axis="y", colors="C0")

ax2 = ax1.twinx()
# 2軸 目盛色の変更
ax2.tick_params(axis="y", which='both', direction='in', right=True, color="C1")
# 目盛ラベル色の変更
ax2.tick_params(axis='y', colors="C1")

# 枠線色の変更
ax2.spines['left'].set_color("C0") # ax2のほうが"上"にあるのでax2を変える
ax2.spines['right'].set_color("C1")

ax1.plot([0, 1, 2], [1, 0, 1], marker="o", markersize=10, color="C0")
ax2.plot([0, 1, 2], [0, 1, 2], marker="s", markerfacecolor="None", markersize=10, color="C1")

plt.show()

[Python]matplotlibで左右に２つの軸があるグラフを書く方法

時系列データを複数縦に並べてプロットしたい，しかもそのうち2つは2軸で重ねて描画したいなんていうときはこんな感じ．

fig = plt.figure(figsize=(8, 6))

plt.rcParams['font.family'] ='sans-serif' #フォント選択
plt.rcParams['font.size'] = 10 #フォントの大きさ
plt.rcParams["xtick.minor.visible"] = True #補助目盛りの追加
plt.rcParams["ytick.minor.visible"] = True
#plt.gca().xaxis.set_tick_params(which='both', direction='in',bottom=True, top=True)
#plt.gca().yaxis.set_tick_params(which='both', direction='in',left=True, right=True)

# 画面を4ｘ1に分割
ax1 = plt.subplot2grid((4,1), (0,0)) # (0,0) の画面に描画
ax2 = plt.subplot2grid((4,1), (1,0)) # (1,0) の画面に描画
ax3 = plt.subplot2grid((4,1), (2,0), rowspan=2)  # (2,0) から2つ縦にぶち抜いた画面に描画
ax4 = ax3.twinx() # ax3に重ねて描画

ax1.xaxis.set_tick_params(which='both', direction='in', bottom=True, top=True, labelbottom=False)
ax1.yaxis.set_tick_params(which='both', direction='in', left=True, right=True)

ax2.xaxis.set_tick_params(which='both', direction='in', bottom=True, top=True, labelbottom=False)
ax2.yaxis.set_tick_params(which='both', direction='in', left=True, right=True)

ax3.xaxis.set_tick_params(which='both', direction='in', bottom=True, top=True)
ax3.yaxis.set_tick_params(which='both', direction='in', color="C2")
ax4.spines['left'].set_color("C2")

ax4.yaxis.set_tick_params(which='both', direction='in', color="C3")
ax4.tick_params(axis='y', colors="C3")
ax4.spines['right'].set_color("C3")


ax1.plot([0, 1, 2], [1, 0, 1], marker="o", color="C0", markersize=10, label="A")
ax1.set_ylabel("A")

ax2.plot([0, 1, 2], [0, 1, 2], marker="s", color="C1", markerfacecolor="None", markersize=10, label="B")
ax2.set_ylabel("B")

ax3.plot([0, 1, 2], [2, 1, 0], marker="^", color="C2", markerfacecolor="white", markersize=10, label="C")
ax3.tick_params(axis='y', colors="C2")
ax3.set_xlabel("x")
ax3.set_ylabel("C", color="C2")

ax4.scatter([0, 1, 2], [0, 2, 1], marker="v", edgecolors="C3", facecolor='None', s=100, label="D")
ax4.set_ylabel("D", color="C3")
ax4.set_ylim(-1,3)

plt.xlim(-0.2, 2.2)
ax1.set_xlim(*plt.xlim()) #ax1,ax2のx軸をあわせる
ax2.set_xlim(*plt.xlim())

plt.show()

2軸にするのをx軸にしたい場合はtwinx()をtwiny()にします．

平滑化

ノイズを移動平均で平滑化する場合はnp.convolveが使える．

def gauss(x, a=1, mu=0, sigma=1):
    return a * np.exp(-(x - mu)**2 / (2*sigma**2))

x = np.array(sorted([np.random.rand()*6-3 for _ in range(500)]))
y = np.array([gauss(i)+np.random.randn()*0.05for i in x])

width = 7

plt.plot(x,y)
plt.plot(x, np.convolve(y, np.ones(width)/width, mode='same'), color="red")

時系列データの場合，未来のデータを見るわけにはいかないのでずらします．

plt.plot(x,y)
plt.plot(x[width-1:], np.convolve(y, np.ones(width)/width, mode='valid'), color="red")

このパターンはPandasのrolling関数でも書けます．

plt.plot(x, y)
plt.plot(x, pd.Series(y).rolling(11).mean(), color="red")

Pandasだと同様に指数平滑移動平均もできる．

plt.plot(x, y)
plt.plot(x, pd.Series(y).ewm(span=width).mean(), color="red")

波形データならFFTするとか他にも色々ありますね．時系列及び波形データの平滑化３手法(smoothing)

曲線フィット

最小二乗法で曲線のパラメーターフィットを行います．

from scipy.optimize import curve_fit
def gauss(x, a=1, mu=0, sigma=1):
    return a * np.exp(-(x - mu)**2 / (2*sigma**2))

x = np.array(sorted([np.random.rand()*6-3 for _ in range(500)]))
y = np.array([gauss(i, 1, 0, 1)+np.random.randn()*0.05for i in x])

popt, pcov = curve_fit(gauss, x, y)

curve_fit関数に「第1引数にx，残りがパラメーターである関数」，x，y を与えると最適パラメーターと共分散行列が返されます．

共分散行列の対角成分はそれぞれのパラメーターの分散なので平方根を取れば標準偏差が得られます．

plt.plot(x,y)
plt.plot(np.linspace(-3,3,1000), gauss(np.linspace(-3,3,1000), *popt))
plt.show()

perr = np.sqrt(np.diag(pcov))
for i in range(3):
    print(f"{popt[i]:.3f}±{perr[i]:.3f}")
# 1.012±0.005
# 0.004±0.006
# 0.996±0.006

パラメーターの初期値や範囲を与えてやればそれなりに複雑な関数もフィットできます．

def two_gauss(x, a1, m1, s1, a2, m2, s2, e):
    return gauss(x, a1, m1, s1) + gauss(x, a2, m2, s2) + e
y2 = np.array([two_gauss(i, 1.5, -1, 0.5, 1.2, 0.5, 0.8, 0.1) + np.random.rand()*0.1 for i in x])

p,q = curve_fit(two_gauss, x, y2, [2, -1.5, 0.5, 1.5, 1, 1, 0],
                bounds=((0, -np.inf, 0, 0, -np.inf, 0, 0), (np.inf, np.inf, np.inf, np.inf, np.inf, np.inf, np.inf)) )
plt.plot(x,y2)
plt.plot(x, two_gauss(x, *p))
plt.plot(x, gauss(x, p[0], p[1], p[2])+p[6])
plt.plot(x, gauss(x, p[3], p[4], p[5])+p[6])

曲線で補間する

適切な関数で表せればそれで良いですが，それができず適当な曲線でつなぎたいだけという場合はスプラインでつないでしまいます．

from scipy.interpolate import make_interp_spline, BSpline
x = [0,1,2,3,4,5]
y = [0,3,5,6,6,5]

smooth = make_interp_spline(x, y)
plt.scatter(x, y)
plt.plot(np.linspace(0,5,100), smooth(np.linspace(0,5,100)), color="black", linewidth=0.5)

make_interp_spline(x, y)でx，yを制御点とするB-スプライン曲線を表す関数ができるので適当なxの値でプロットすれば曲線が引けます．

他の曲線による補間もいろいろあります． Scipy.interpolate を使った様々な補間法

DataFrameの操作

温度を変えながら抵抗を測ってR-Tプロットするというとき，降温時は速度を固定していないので邪魔です．
そんなときに昇温期間だけにトリムするコード．

df = pd.read_csv("data.csv")
df = df.iloc[1:, :] #2行目の単位の行があるとfloatにできないので削除
df = df.astype('float64')

cond = df.index>=df["Temperature"].idxmin()
plt.plot(df[cond]["Temperature"], df[cond]["Resistance"])

トリム条件は&や|で繋げられる．（真偽値のarrayの演算なのでbool演算ではなくビット演算）

# 変分はdiffで取れる
cond = (df.index>=df["Temperature"].idxmin()) & (df["Temperature"].diff() > 0.02)

cond = (df.index>=df["Temperature"].idxmin()) | ((df["Time"] > 100) & (df["Time"]<2000))

水平部分の抽出

こんな時系列データ（ノイズ±0.01くらい乗ってる）から水平部分のｙの値のset（これだと{10, 15, …, 37, 38, 38.5, 39}）を取得するの、どうするのが早いかな pic.twitter.com/MX7oSuIeaU

— ❄雪下❄ (@ykstprg) January 6, 2021

水平部分のyの値を取ってきたい．

width = 0.01
z = plt.hist(y, bins=np.arange(0, 40, width)-width/2)
plt.ylim(0,50)

threshold=300
print((z[1][:-1]+width/2)[z[0]>threshold])
# [ 2.5  5.  10.  15.  20.  25.  30.  33.  35.  35.5 36.  36.5 37.  37.5]

widthとthresholdを適当に変えるといい感じになる．

---

1. https://texwiki.texjp.org/?LaTeX%E5%85%A5%E9%96%80%2F%E7%9B%B8%E4%BA%92%E5%8F%82%E7%85%A7%E3%81%A8%E3%83%AA%E3%83%B3%E3%82%AF#h84e81eb ↩

2. ノルウェー語などで使用される記号．ドイツ語なんかで言うウムラウト付き文字のようなもの．もっと雑に言えば日本語でいう半濁音みたいな？ ↩

3. 過去のパワポなどから持ってくるものが多いのでB. D. Josephson, Phys. Lett. 1, 251-253 (1962).というような文字列を持ってくるのが一番楽だったんですよね． ↩

4. ブレースってShiftが必要だしキーボードの端にあるしで入力しづらくて好きではないんですよね． ↩

はじめに

機械学習の勉強を始めたVBAユーザです。
備忘録としてPython・Rの文法をVBAと比較しながらまとめていきたいと思います。

目次

• 文字列操作
  • 文字列の結合
  • 文字列の長さ
  • 文字列の取り出し
  • 文字列の検索
  • 文字列の置換
  • 文字列の変換
    • 大文字と小文字の変換
    • 全角と半角の変換
  • 文字列の反転
  • 文字列の繰り返し
  • スペース
    • スペースの文字列
    • 前後の不要なスペースの削除
  • 文字列ベクトルについて
• まとめ
  • 一覧
  • プログラム全体

文字列操作

以前の記事では、PythonとRの文字列操作についてVBAとの比較をしましたが、その続きで、Rの文字列操作のパッケージstringrを使ってみます。

参考記事に「R標準のbaseパッケージが提供する関数でも文字列処理は可能だが、 stringrのほうが統一的なインターフェイスに合理的な挙動で使いやすい。」とありますが、実際に使ってみると、確かに、関数のネーミングと引数の順序に統一性があって、感動的に使いやすいです。
参考：stringr — Rの文字列をまともな方法で処理する

文字列の結合

R(stringr)

R

library(stringr)

s1 <- "abc"
s2 <- "def"
s3 <- "ghij"
str_c(s1, s2, s3)
# "abcdefghij"

文字列の長さ

R(stringr)

R

s <- "abcdefghij"
str_length(s)
# 10

文字列の取り出し

R(stringr)

R

s <- "abcdefghij"
str_sub(s, 1, 2)
# "ab"
str_sub(s, -2, -1)
# "ij"
str_sub(s, 4, 6)
# "def"

文字列の検索

R(stringr)

R

s <- "abcdefghij"
t <- str_c(s, s, sep="") # "abcdefghijabcdefghij"
str_detect(s, "def")
# TRUE
str_detect(t, "def")
# TRUE
str_count(s, "def")
# 1
str_count(t, "def")
# 2
str_locate(s, "def")
#      start end
# [1,]     4   6
str_locate(t, "def")
#      start end
# [1,]     4   6
class(str_locate(t, "def"))
# "matrix"
str_locate_all(t, "def")
# [[1]]
#      start end
# [1,]     4   6
# [2,]    14  16
class(str_locate_all(t, "def"))
# "list"

文字列の置換

R(stringr)

R

s <- "abcdefghij"
t <- str_c(s, s, sep="") # "abcdefghijabcdefghij"
str_replace(s, "def", "DEF")
# "abcDEFghij"
str_replace(t, "def", "DEF")
# "abcDEFghijabcdefghij"
str_replace_all(t, "def", "DEF")
# "abcDEFghijabcDEFghij"

文字列の変換

大文字と小文字の変換

R(stringr)

R

s <- "abcDEFghij"
str_to_upper(s)    # 大文字に
# "ABCDEFGHIJ"
str_to_lower(s)    # 小文字に
# "abcdefghij"
str_to_title(s)    # 先頭のみ大文字・それ以外は小文字に
# "abcdefghij"
str_to_sentence(s) # 先頭のみ大文字・それ以外は小文字に
# "Abcdefghij"

ss <- "abc def ghij"
str_to_title(ss)
# "Abc Def Ghij"
str_to_sentence(ss)
# "Abc def ghij"

t <- ""
for (i in 1:str_length(s)) {
  stemp = str_sub(s,i,i)
  if (stemp == str_to_lower(stemp)) {
    stemp = str_to_upper(stemp)
  } else if (stemp == str_to_upper(stemp)) {
    stemp = str_to_lower(stemp)
  }
  t <- str_c(t, stemp)
}
t                     # 大文字・小文字の入れ替え
# "ABCdefGHIJ"
s == str_to_upper(s)  # すべて大文字かどうかの判定
# FALSE
s == str_to_lower(s)  # すべて小文字かどうかの判定
# FALSE

全角と半角の変換

R(stringr)

R

文字列の反転

R(stringr)

R

s <- "abcdefghij"
t <- ""
for (i in 1:str_length(s)) {
  t <- str_c(t, str_sub(s, -i, -i))
}
t
# "jihgfedcba"

文字列の繰り返し

R(stringr)

R

str_dup("A", 3)
# "AAA"
str_dup("def", 3)
# "defdefdef"

スペース

スペースの文字列

R(stringr)

R

str_c("-", str_dup(" ", 3), "-")
# "-   -"
# "-   -"
s <- str_c(str_dup(" ", 2), "d",
           str_dup(" ", 3), "e",
           str_dup(" ", 4), "f",
           str_dup(" ", 5))
str_c("-", s, "-")
# "-  d   e    f     -"

前後の不要なスペースの削除

R(stringr)

R

str_trim(s, side="left")
# "d   e    f     "
str_trim(s, side="right")
# "  d   e    f"
str_trim(s, side="both")
# "d   e    f"

文字列ベクトルについて

stringrパッケージの関数は、文字列（1個の文字列）だけでなく、文字列のベクトルやデータフレームでも使えます。
例えば、3個の文字列からなる文字列ベクトルにstr_length関数を使うと、その各要素の文字列に対してそれぞれstr_length関数を使った結果の数値3個からなるベクトルが返ります。

R(stringr)

R

s1 <- "abcdefghij"
s2 <- "cdefghijkl"
s3 <- "efghijklmn"
ss <- c(s1, s2, s3)
ss
# [1] "abcdefghij" "cdefghijkl" "efghijklmn"

str_c(ss, "_1")
# [1] "abcdefghij_1" "cdefghijkl_1" "efghijklmn_1" 

str_length(ss)
# [1] 10 10 10

str_sub(ss, 1, 2)
# [1] "ab" "cd" "ef"
str_sub(ss, -2, -1)
# [1] "ij" "kl" "mn"
str_sub(ss, 2, 3)
# [1] "bc" "de" "fg"

str_detect(ss, "def")
# [1]  TRUE  TRUE FALSE
str_count(ss, "def")
# [1] 1 1 0
str_locate(ss, "def")
#      start end
# [1,]     4   6
# [2,]     2   4
# [3,]    NA  NA
str_locate_all(ss, "def")
# [[1]]
#      start end
# [1,]     4   6
# 
# [[2]]
#      start end
# [1,]     2   4
# 
# [[3]]
#      start end
# 

str_replace(ss, "def", "DEF")
# [1] "abcDEFghij" "cDEFghijkl" "efghijklmn"
str_replace_all(ss, "def", "DEF")
# [1] "abcDEFghij" "cDEFghijkl" "efghijklmn"

str_to_upper(ss)
# [1] "ABCDEFGHIJ" "CDEFGHIJKL" "EFGHIJKLMN"
str_to_lower(ss)
# [1] "abcdefghij" "cdefghijkl" "efghijklmn"
str_to_title(ss)
# [1] "Abcdefghij" "Cdefghijkl" "Efghijklmn"
str_to_sentence(ss)
# [1] "Abcdefghij" "Cdefghijkl" "Efghijklmn"

ss == str_to_upper(ss)
# [1] FALSE FALSE FALSE
ss == str_to_lower(ss)
# [1] TRUE TRUE TRUE

str_dup(ss, 2)
# [1] "abcdefghijabcdefghij" "cdefghijklcdefghijkl" "efghijklmnefghijklmn"

tt <- str_c(" ", ss, " _1 ")
tt
# [1] " abcdefghij _1 " " cdefghijkl _1 " " efghijklmn _1 "
str_trim(tt)
# [1] "abcdefghij _1" "cdefghijkl _1" "efghijklmn _1"
str_trim(tt, side="left")
# [1] "abcdefghij _1 " "cdefghijkl _1 " "efghijklmn _1 "
str_trim(tt, side="right")
# [1] " abcdefghij _1" " cdefghijkl _1" " efghijklmn _1"

ベクトルやデータフレームについては、また別の記事でまとめたいと思います。

まとめ

一覧

各言語で使用する文字列操作関数等を一覧にまとめます。比較のために、EXCELでの計算も示しました。
s1 = "abc"
s2 = "def"
s3 = "ghij"
s = "abcdefghij"
t = "abcdefghijabcdefghij"
u = "abcDEFghij"
v = "ａｂｃＤＥＦｇｈｉｊ"
w = " d e f "
とします。また、EXCELのセルにそれぞれ
A1セル：="abc"
A2セル：="def"
A3セル：="ghij"
A4セル：="abcdefghij"
A5セル：="abcdefghijabcdefghij"
A6セル：="abcDEFghij"
A7セル：="ａｂｃＤＥＦｇｈｉｊ"
A8セル：=" d e f "
が入力されているものとします。

文字列の基本的操作

	Python	R	R(stringr)	VBA	EXCEL	結果
結合	s1 + s2 + s3	paste0(s1, s2, s3) paste(s1, s2, s3, sep="")	str_c(s1, s2, s3)	s1 & s2 & s3	=A1&A2&A3 =CONCATENATE( A1,A2,A3)	abcdefghij
長さ	len(s)	nchar(s)	str_length(s)	Len(s)	=LEN(A4)	10
反転	s[::-1]			StrReverse(s)		jihgfedcba
繰り返し	'A' * 3		str_dup("A", 3)	String(3, "A")	=REPT("A",3)	AAA
繰り返し	'def' * 3		str_dup("def", 3)		=REPT("def",3)	defdefdef

文字列の取り出し

	Python	R	R(stringr)	VBA	EXCEL	結果
左から	s[8:10] s[0:2] s[:2]	substr(s, 1, 2) substring(s, 1, 2)	str_sub(s, 1, 2)	Left(s, 2)	=LEFT(A4,2)	ab
右から	s[len(s)-2:len(s)] s[-2:]	substr(s, nchar(s)-2+1, nchar(s))	str_sub(s, -2, -1)	Right(s, 2)	=RIGHT(A4,2)	ij
途中	s[3:6]	substr(s, 4, 6)	str_sub(s, 4, 6)	Mid(s, 4, 3)	=MID(A4,4,3)	def

注意）「途中」の文字列の取り出しについて、Python, Rの関数では取り出す文字列を「どこからどこまで」と指定しますが、VBA, EXCELの関数では「どこから何文字分」と指定します。

文字列の検索

	Python	R	R(stringr)	VBA	EXCEL	結果
検索	s.find('def')		str_locate(s, "def")	InStr(1, s, "def")	=FIND("def",A4,1) =SEARCH("def",A4,1)	3,4
後ろからの検索	t.rfind('def')				InStrRev(t, "def")	13,14
カウント	t.count('def')		str_count(t, "def")			2

注意）str_detect, str_locate関数については、上記参照。

文字列の置換

	Python	R	R(stringr)	VBA	EXCEL	結果
置換	s.replace('def', 'DEF')	sub("def", "DEF", s)	str_replace(s, "def", "DEF")	Replace(s, "def", "DEF")	=SUBSTITUTE( A4,"def","DEF") =REPLACE(A4, FIND("def",A4), LEN("def"),"DEF")	abcDEFghij
最初の1つだけ置換		sub("def", "DEF", t)	str_replace(t, "def", "DEF")			abcDEFghij abcdefghij
すべて置換	t.replace('def', 'DEF')	gsub("def", "DEF", t)	str_replace_all(t, "def", "DEF")	Replace(t, "def", "DEF")	=SUBSTITUTE( A5,"def","DEF")	abcDEFghij abcDEFghij

文字列の変換

	Python	R	R(stringr)	VBA	EXCEL	結果
大文字に	u.upper()	toupper(u)	str_to_upper(u)	UCase(u)	=UPPER(A6)	ABCDEFGHIJ
小文字に	u.lower()	tolower(u)	str_to_lower(u)	LCase(u)	=LOWER(A6)	abcdefghij
先頭のみ大文字・それ以外は小文字に	u.capitalize()		str_to_title(u) str_to_sentence(u)	StrConv(u, vbProperCase)	=PROPER(A6)	Abcdefghij
大文字と小文字を入れ替え	u.swapcase()	chartr("A-Za-z", "a-zA-z", u)				ABCdefGHIJ
大文字かどうかの判定	u.isupper()	u == toupper(u)	u == str_to_upper(u)			False
小文字かどうかの判定	u.islower()	u == tolower(u)	u == str_to_lower(u)			False
全角に		chartr("A-Za-z", "Ａ-Ｚａ-ｚ", u)		StrConv(u, vbWide)	=JIS(A6)	ａｂｃＤＥＦｇｈｉｊ
半角に		chartr("Ａ-Ｚａ-ｚ", "A-Za-z", v)		StrConv(v, vbNarrow)	=ASC(A7)	abcDEFghij

文字列のスペース

	Python	R	R(stringr)	VBA	EXCEL	結果
スペース	' ' * 3		str_dup(" ", 3)	Space(3)	=REPT(" ",3)	" "
両側スペース削除	w.strip(' ')		str_trim(s, side="both")	Trim(w)	=TRIM(A8)	"d e f"
左スペース削除	w.lstrip(' ')		str_trim(s, side="left")	LTrim(w)		"d e f "
右スペース削除	w.rstrip(' ')		str_trim(s, side="right")	RTrim(w)		" d e f"

注意）EXCELのTRIM関数は文字列の中のスペースも1つを除いて削除されてd e fとなります。

プログラム全体

参考までに使ったプログラムの全体を示します。
Python, VBAのコードは前回の記事参照。

R(stringr)

R

library(stringr)

# 文字列の結合
s1 <- "abc"
s2 <- "def"
s3 <- "ghij"
str_c(s1, s2, s3)
# "abcdefghij"

# 文字列の長さ
s <- "abcdefghij"
str_length(s)
# 10

# 文字列の取り出し
s <- "abcdefghij"
str_sub(s, 1, 2)
# "ab"
str_sub(s, -2, -1)
# "ij"
str_sub(s, 4, 6)
# "def"

# 文字列の検索
s <- "abcdefghij"
t <- str_c(s, s, sep="") # "abcdefghijabcdefghij"
str_detect(s, "def")
# TRUE
str_detect(t, "def")
# TRUE
str_count(s, "def")
# 1
str_count(t, "def")
# 2
str_locate(s, "def")
#      start end
# [1,]     4   6
str_locate(t, "def")
#      start end
# [1,]     4   6
class(str_locate(t, "def"))
# "matrix"
str_locate_all(t, "def")
# [[1]]
#      start end
# [1,]     4   6
# [2,]    14  16
class(str_locate_all(t, "def"))
# "list"

# 文字列の置換
s <- "abcdefghij"
t <- str_c(s, s, sep="") # "abcdefghijabcdefghij"
str_replace(s, "def", "DEF")
# "abcDEFghij"
str_replace(t, "def", "DEF")
# "abcDEFghijabcdefghij"
str_replace_all(t, "def", "DEF")
# "abcDEFghijabcDEFghij"

# 文字列の大文字・小文字の変換
s <- "abcDEFghij"
str_to_upper(s)    # 大文字に
# "ABCDEFGHIJ"
str_to_lower(s)    # 小文字に
# "abcdefghij"
str_to_title(s)    # 先頭のみ大文字・それ以外は小文字に
# "abcdefghij"
str_to_sentence(s) # 先頭のみ大文字・それ以外は小文字に
# "Abcdefghij"

ss <- "abc def ghij"
str_to_title(ss)
# "Abc Def Ghij"
str_to_sentence(ss)
# "Abc def ghij"

t <- ""
for (i in 1:str_length(s)) {
  stemp = str_sub(s,i,i)
  if (stemp == str_to_lower(stemp)) {
    stemp = str_to_upper(stemp)
  } else if (stemp == str_to_upper(stemp)) {
    stemp = str_to_lower(stemp)
  }
  t <- str_c(t, stemp)
}
t                     # 大文字・小文字の入れ替え
# "ABCdefGHIJ"
s == str_to_upper(s)  # すべて大文字かどうかの判定
# FALSE
s == str_to_lower(s)  # すべて小文字かどうかの判定
# FALSE

# 文字列の反転
s <- "abcdefghij"
t <- ""
for (i in 1:str_length(s)) {
  t <- str_c(t, str_sub(s, -i, -i))
}
t
# "jihgfedcba"

# 文字列の繰り返し
str_dup("A", 3)
# "AAA"
str_dup("def", 3)
# "defdefdef"

# 文字列のスペース
str_c("-", str_dup(" ", 3), "-")
# "-   -"
# "-   -"
s <- str_c(str_dup(" ", 2), "d",
           str_dup(" ", 3), "e",
           str_dup(" ", 4), "f",
           str_dup(" ", 5))
str_c("-", s, "-")
# "-  d   e    f     -"

# 文字列の前後のスペース削除
str_trim(s, side="left")
# "d   e    f     "
str_trim(s, side="right")
# "  d   e    f"
str_trim(s, side="both")
# "d   e    f"


# 文字列ベクトル
s1 <- "abcdefghij"
s2 <- "cdefghijkl"
s3 <- "efghijklmn"
ss <- c(s1, s2, s3)
ss
# [1] "abcdefghij" "cdefghijkl" "efghijklmn"

str_c(ss, "_1")
# [1] "abcdefghij_1" "cdefghijkl_1" "efghijklmn_1" 

str_length(ss)
# [1] 10 10 10

str_sub(ss, 1, 2)
# [1] "ab" "cd" "ef"
str_sub(ss, -2, -1)
# [1] "ij" "kl" "mn"
str_sub(ss, 2, 3)
# [1] "bc" "de" "fg"

str_detect(ss, "def")
# [1]  TRUE  TRUE FALSE
str_count(ss, "def")
# [1] 1 1 0
str_locate(ss, "def")
#      start end
# [1,]     4   6
# [2,]     2   4
# [3,]    NA  NA
str_locate_all(ss, "def")
# [[1]]
#      start end
# [1,]     4   6
# 
# [[2]]
#      start end
# [1,]     2   4
# 
# [[3]]
#      start end
# 

str_replace(ss, "def", "DEF")
# [1] "abcDEFghij" "cDEFghijkl" "efghijklmn"
str_replace_all(ss, "def", "DEF")
# [1] "abcDEFghij" "cDEFghijkl" "efghijklmn"

str_to_upper(ss)
# [1] "ABCDEFGHIJ" "CDEFGHIJKL" "EFGHIJKLMN"
str_to_lower(ss)
# [1] "abcdefghij" "cdefghijkl" "efghijklmn"
str_to_title(ss)
# [1] "Abcdefghij" "Cdefghijkl" "Efghijklmn"
str_to_sentence(ss)
# [1] "Abcdefghij" "Cdefghijkl" "Efghijklmn"

ss == str_to_upper(ss)
# [1] FALSE FALSE FALSE
ss == str_to_lower(ss)
# [1] TRUE TRUE TRUE

str_dup(ss, 2)
# [1] "abcdefghijabcdefghij" "cdefghijklcdefghijkl" "efghijklmnefghijklmn"

tt <- str_c(" ", ss, " _1 ")
tt
# [1] " abcdefghij _1 " " cdefghijkl _1 " " efghijklmn _1 "
str_trim(tt)
# [1] "abcdefghij _1" "cdefghijkl _1" "efghijklmn _1"
str_trim(tt, side="left")
# [1] "abcdefghij _1 " "cdefghijkl _1 " "efghijklmn _1 "
str_trim(tt, side="right")
# [1] " abcdefghij _1" " cdefghijkl _1" " efghijklmn _1"

参考

• R
  • stringr — Rの文字列をまともな方法で処理する