20210512のTensorFlowに関する記事は3件です。

docker/mlflowを使った競馬AI開発環境構築(2021年版)※執筆中

どうしてこの記事を書こうと思ったのか 自分専用のAI開発環境が欲しい! きっと誰もが思うことでしょう。かくいう私も競馬AIを開発したいというモチベーションのもと、AI開発環境の構築で試行錯誤を繰り返しました。そしてこの度納得のいく環境を構築できたので備忘も含めて構築手順を残そうと思います。 今回はDockerとmlflowが主な技術要素なんですが、その理由はクラウドを意識したからです。もともとクラウドに構築したかったけど課金されるのは嫌だな→Dockerならクラウド移行が簡単だ、という思いからDockerを採用することにしました。そして、機械学習開発の課題の「実験結果の管理」と「学習済みモデルの管理」を解決するために、mlflowの導入を決めました。この環境を構想から構築するまでに3ヶ月ほど費やしたので、きっと同じ環境を作りたい人がいるだろうなと思い、この記事を執筆することにしました。 ※2021/5/12現在、記事は執筆中で順次コンテンツを増やしていく予定です。 今回構築する環境構成 今回構築する環境は、UIとしてWebブラウザ(Chromeなど)とVScodeを使い、ローカル環境にPython実行環境を構築し、コンテナ環境にデータベースや機械学習の実験モデル管理環境を構築しています。 この環境を構築することで、AIの開発から運用までスムーズに回すことができるようになります。 今回はMac上に環境を構築しましたが、anacondaもdockerもWindowsやLinux環境でも同様に構築できると思われます。(稼働確認は行なっていません) 環境構築手順 次のような流れで環境構築を行います。 [python実行環境構築] 1. ローカル環境にanacondaをインストールする 2. tensorflowをインストールする 3. optunaをインストールする 4. mlflowをインストールする [VScode環境構築] 1. ローカル環境にVScodeをインストールする 2. 拡張機能をインストールする [docker実行環境構築] 1. ローカル環境にdockerをインストールする 2. 分析用データ保存用MySQLとデータ参照用Adminerを設定する(docker-compose) 3. mlflowとデータベース・リポジトリを設定する(docker-compose) ※各手順の詳細は、別記事にて作成予定です。
  • このエントリーをはてなブックマークに追加
  • Qiitaで続きを読む

【MLOps】docker/mlflowを使った競馬AI開発環境構築(2021年版)※執筆中

どうしてこの記事を書こうと思ったのか 自分専用のAI開発環境が欲しい! きっと誰もが思うことでしょう。かくいう私も競馬AIを開発したいというモチベーションのもと、AI開発環境の構築で試行錯誤を繰り返しました。そしてこの度納得のいく環境を構築できたので備忘も含めて構築手順を残そうと思います。 今回はDockerとmlflowが主な技術要素なんですが、その理由はクラウドを意識したからです。もともとクラウドに構築したかったけど課金されるのは嫌だな→Dockerならクラウド移行が簡単だ、という思いからDockerを採用することにしました。そして、機械学習開発の課題の「実験結果の管理」と「学習済みモデルの管理」を解決するために、mlflowの導入を決めました。この環境を構想から構築するまでに3ヶ月ほど費やしたので、きっと同じ環境を作りたい人がいるだろうなと思い、この記事を執筆することにしました。 ※2021/5/12現在、記事は執筆中で順次コンテンツを増やしていく予定です。 今回構築する環境構成 今回構築する環境は、UIとしてWebブラウザ(Chromeなど)とVScodeを使い、ローカル環境にPython実行環境を構築し、コンテナ環境にデータベースや機械学習の実験モデル管理環境を構築しています。 この環境を構築することで、AIの開発から運用までスムーズに回すことができるようになります。 今回はMac上に環境を構築しましたが、anacondaもdockerもWindowsやLinux環境でも同様に構築できると思われます。(稼働確認は行なっていません) 環境構築手順 次のような流れで環境構築を行います。 [python実行環境構築] 1. ローカル環境にanacondaをインストールする 2. tensorflowをインストールする 3. optunaをインストールする 4. mlflowをインストールする [VScode環境構築] 1. ローカル環境にVScodeをインストールする 2. 拡張機能をインストールする [docker実行環境構築] 1. ローカル環境にdockerをインストールする 2. 分析用データ保存用MySQLとデータ参照用Adminerを設定する(docker-compose) 3. mlflowとデータベース・リポジトリを設定する(docker-compose) ※各手順の詳細は、別記事にて作成予定です。
  • このエントリーをはてなブックマークに追加
  • Qiitaで続きを読む

バーチャル背景ライブラリbackscrubをラズパイ4Bに実装

はじめに Deep learningを使用しているバーチャル背景ライブラリ、backscrubをラズパイで実装します。 https://github.com/floe/backscrub backscrubとは MeetやZoomのようなバーチャル背景を作成するライブラリです。 人物の切り取りにtensorflowにを使用しています。 v4l2loopbackで仮想videoデバイスを作ることができます。 使用する学習済みモデルによって差異はありますが、ラズパイ4Bでは7~20FPSぐらいで動きます。 結 論 READMEどおりやってもうまくいかないので、Makefileを修正した後にmakeする必要がある。 install_backscrub.sh sudo apt-get update sudo apt install libopencv-dev build-essential v4l2loopback-dkms curl git clone https://github.com/floe/backscrub.git cd backscrub git clone https://github.com/tensorflow/tensorflow/ sed -i -e "s/build_lib.sh/build_rpi_lib.sh/" Makefile #ラズパイ用のスクリプトに変更 sed -i -e "s/linux_x86_64/rpi_armv7l/" Makefile #ラズパイ用のアーキテクチャに変更 make 実装環境 ハード:Raspberry Pi 4 Model B Revision Release Date Model PCB Revision Memory c03112 Q2 2019 4 Model B 1.2 4 GB OS:Raspbian $ lsb_release -a No LSB modules are available. Distributor ID: Raspbian Description: Raspbian GNU/Linux 10 (buster) Release: 10 Codename: buster 解 説 backscrubはtensorflowを使用しているので、Tensorflow公式ページのRaspberry Pi でネイティブにコンパイルするを参考にしてコンパイルする。 backscrubフォルダ内のMakefileを2箇所変更する必要がある。 ①ラスパイ用のビルドスクリプトに変更。 Makefile #cd $(TFLITE) && ./download_dependencies.sh && ./build_lib.sh cd $(TFLITE) && ./download_dependencies.sh && ./build_rpi_lib.sh ②linux_x86_64をrpi_armv7lに置換する。 ```makefile:Makefile TFLIBS=$(TFLITE)/gen/linux_x86_64/lib/ TFLIBS=$(TFLITE)/gen/rpi_armv7l/lib/ ``` 実 行 $ sudo modprobe v4l2loopback devices=1 max_buffers=2 exclusive_caps=1 card_label="VirtualCam" $ ./deepseg -d -d -c /dev/video0 -v /dev/video1 -m models/selfiesegmentation_mlkit-256x256-2021_01_19-v1215.f16.tflite ※目隠しは自分で加工しました。 だいたい7FPSぐらいで動きます。 ラズパイでこのクオリティはすごいのではないでしょうか。 おわりに ラズパイ4B熱くなりすぎでは?
  • このエントリーをはてなブックマークに追加
  • Qiitaで続きを読む