- 投稿日:2022-07-28T22:45:36+09:00
PythonからSlackに通知
PythonからSlackに通知を投稿。 ものすごく簡単だった。 1. WebHookを追加する Slackの「App」から検索し、「Incoming Webhook」を表示。「追加」をクリック 2…
- 投稿日:2022-07-28T22:25:10+09:00
INFORMATION_SCHEMAを活用してテーブル/ビューの最終アクセス日を確認する
BigQueryに作成されるテーブルは放置するとデータ保存必要がどんどん膨らむ。 そのため、テーブルの最終アクセス日を確認するクエリを作成。 プロジェクト横断して結果確認できるように組織権限が必要だ…
- 投稿日:2022-07-28T21:56:12+09:00
VSCodeでPython書いてる人はとりあえずこれやっとけ〜
はじめに Pythonはコードが汚くなりがち(個人的にそう思う) そんなPythonくんを快適に書くための設定を紹介します。 拡張機能編 ここでは Pythonを書きやすくするため の拡張機能を紹…
- 投稿日:2022-07-28T21:11:46+09:00
【図解】ニューラルネットワークって?Part02【初心者向け】
YouTubeでも公開中 この記事の内容は動画で見ることもできます! 前回の続きです。 前回は、ニューラルネットワークの基礎を解説しました。 この内容をベースとして、ニューラルネットワークの中の動…
- 投稿日:2022-07-28T21:04:09+09:00
Cloud Functions のローカル環境開発(Pub/Subからの受信)
Cloud Functions でPub/Subから引数を受け取って発火する関数を ローカルで作成したのでメモ 環境 Ubuntu 22.04LTS python 3.10.4 準備 $ pip i…
- 投稿日:2022-07-28T21:01:27+09:00
CO2センサー(MG-812)を買ったので、CO2濃度測ってみた
秋葉原の秋月電子通商さんで以下のCO2センサーを売ってたので、買ってみた。 https://akizukidenshi.com/catalog/g/gK-16446/ ブレッドボードに差して、ard…
- 投稿日:2022-07-28T18:50:23+09:00
Airflowの日時関連概念おさらい
このところAirflowについて公式資料を読んできた中で、重要概念としてしばしば登場した各種の日付概念をおさらいしておきます。 データ区間(data interval) ワークフロー(DAG)の実行…
- 投稿日:2022-07-28T18:11:58+09:00
(備忘録)M1 Macにおけるpyenvを用いたPython環境構築
はじめに 本稿では表題のとおり、M1 Macにおいてpyenvを用いたPython環境構築の方法を解説する。 筆者が用いたPCのスペックは下記のようである。 * MacBook Pro (14イン…
- 投稿日:2022-07-28T17:47:27+09:00
PyG (PyTorch Geometric) で Graph Autoencoders (GAE) と Variational Graph Autoencoders (VGAE)
グラフ構造を深層学習する PyG (PyTorch Geometric) を Google Colaboratory 上で使ってみました。今回は、Graph Autoencoders (GAE) と…
- 投稿日:2022-07-28T17:02:59+09:00
Julia vs Python 速度比較
結論) 単純演算で約5.6倍(コンパイル含む)。 マシンスペック Mac mini (2018) 3.2 GHz 6コアIntel Core i7 64 GB 2667 MHz DDR4 …
- 投稿日:2022-07-28T16:36:10+09:00
自分用メモ pandas, openpyxl基本
データフレームにする pd.read_excel("ファイルパス") pd.read_csv("ファイルパス") 別シートに出力 with pd.ExcelWriter("hoge.xlsx", m…
- 投稿日:2022-07-28T16:07:20+09:00
python 3.10をAWS EC2にinstallする上ではまったこと
python 3.10がinstall listに表示されない pyenvでpythonのversion管理を行なっている場合pyenv自体をアップデートしないとpython 3.10が表示されま…
- 投稿日:2022-07-28T16:00:50+09:00
Seleniumの通信ログを確認したい(on AWS Lambda)
自動化っていいですよね ブラウザ操作を自動化してくれる「Selenium」。 テストやスクレイピングなどで使われている方も多いかと思います。 便利なんですが、エラーが起きた場合にその原因が分かりに…
- 投稿日:2022-07-28T14:54:06+09:00
nuImagesのプレビューツールを作ってみた
nuImages内の画像をプレビューするツールを作りました. 対象オブジェクトの2D-BBox高さ,マスクエリア,元画像と,2D-BBoxを描画した画像を表示します. https://github.…
- 投稿日:2022-07-28T14:45:03+09:00
CSVファイルから特定のセルを読み込んでグラフ化する
CSVデータの読み込み 特定のセルを読み込みたい場合には ``` import pandas as pd filename = 'filename.csv' df = pd.read_csv(fi…
- 投稿日:2022-07-28T14:25:15+09:00
boto3を使ってファイルを読み込んだ際Overflowになるときの対処法(OverfloawError: signed integer is greater than maximum)
まえがき boto3を使ってS3にあるcsvファイルを読み込もうとしたときに、以下のようなエラーが発生しました。 OverflowError: signed integer is greater …
- 投稿日:2022-07-28T14:22:22+09:00
Python備忘録(多言語との比較)
初めに 久々にPythonを触るときに、「この表現なんだっけ?」とならないための備忘録。 Python独特の記法を中心に書く。 目次 Pythonの特徴 主な予約語 If, else, elseif…
- 投稿日:2022-07-28T13:36:47+09:00
tanθ の 計算方法(Python)
今回はhmathで使用されているtanθの計算方法をご紹介します。 計算式 hmathは次の数式でtanθを定義しています。 math \tan θ = {\frac{\sin θ}{\cos θ}}…
- 投稿日:2022-07-28T13:24:57+09:00
めちゃくちゃかっこいいMA plotを作りたい!
MA plotとは MA plotは、一般的にはx軸を正規化した平均発現量、y軸を発現比とした散布図の一種で、主にRNA-seqやDNAマイクロアレイなどで得られた二群の遺伝子発現量を比較する際に…
- 投稿日:2022-07-28T13:15:21+09:00
Matplotlib可視化 - 育休中の1日のタイムスケジュール
Matplotlib 可視化の練習として、 育休中のとある1日のタイムスケジュールを円グラフにしてみた。 ※ 初心者すぎてコードが美しくないですがご了承ください。 ※ 美しい書き方教えてください。 …
- 投稿日:2022-07-28T13:10:58+09:00
FReLUを過去の活性化関数と比較する
紹介する論文 Funnel Activation for Visual Recognition (ECCV 2020) 論文は以下のURLから参照してください! https://www.ecva.…
- 投稿日:2022-07-28T12:37:13+09:00
【1日目】競プロをSwiftで殴っていたアホが正攻法で再チャレンジするにゃん
にゃーん。猫です。 競プロをPythonでしばいていこうと思います。 Swiftで競プロをぶん殴っていた際はアルゴリズムがわからずつまづいていたので、初日はとりあえず本を買ってみることにしました。 …
- 投稿日:2022-07-28T12:27:37+09:00
Airflow資料抄訳(17):コネクションとフック(Connections & Hooks)
恥ずかしながら最近になって知ったワークフローエンジン Apache Airflow。日本語の紹介記事もちらほら出てきていますが、公式ドキュメントをちょっとずつ抄訳しながら読んでいこうと思います。 1…
- 投稿日:2022-07-28T12:14:16+09:00
【作っておぼえるMIR】TCNで音楽ビート・ダウンビート位置自動推定
DJアプリや自動耳コピソフトにとって、音楽のビート・ダウンビート(=拍・小節線)の位置を正確に特定する技術は欠かせません。 ほかの様々な分野と同様、ビート・ダウンビート位置推定もDNNベースの手法が…
- 投稿日:2022-07-28T12:07:43+09:00
Slackで参加している全チャンネルのログをcsvで保存する
背景 slackの規約改定に伴い,2022年9月より90日間を超えた記録はフリープランだとアクセス出来なくなる. ここに記録を残しておくためのプログラムを書いたので記録として残しておく. 目的 新…
- 投稿日:2022-07-28T11:52:54+09:00
生データ(raw data)からグラフを作る - グルーピング
目的 月ごとに利用者数を折れ線グラフで表現したい。 使用するデータ SIGNATEさんの練習問題として公開されている「レンタル自転車の利用者予測」(https://signate.jp/compe…
- 投稿日:2022-07-28T11:28:29+09:00
windowsでJupyter Notebookを用いてRDKitを使えるようにする方法
方法 Step1 まずはAnaconda3をインストールする。 インストールされたAnaconda Prompt(anaconda3)を開き,以下のコマンドを実行。 conda create -c…
- 投稿日:2022-07-28T09:52:42+09:00
プログラミング未経験者が育休中にKagglerになるまでの記録(1か月進捗 2022/7)
育休中にkagglerになれるかの記録。 kaggleスキルはいずれ海外含めたビジネスシーンで活用したい。 そのため、英語とビジネススキルについても同時並行で習得目指す。 プログラミングやったこと …
- 投稿日:2022-07-28T08:49:12+09:00
【Python】学習時間記録Discord Bot作成(Heroku Postgres連携Ver)
概要 Discord Botを改修した。 以前学習時間記録Discord Botを作成した。 特定のボイスチャンネルを監視し、ユーザ入退室時間を記録、滞在時間を計算して通知するbotである。 ht…
- 投稿日:2022-07-28T01:33:43+09:00
Python3エンジニア認定データ分析模試試験1回目 -間違えた問題-
獲得点数 475/1000点 正答率: 47.5 % ( 19問 / 40問 正解 ) 以下のコードの後に、np.dot(a, b)を実行した場合の出力と同じにならないものを選べ import nu…