kerasによる類似画像検索の実装。 まず、類似画像検索とは。 画像から画像を探すことであり、これはCNN等にて作成したモデルを応用して可能である。 類似画像検索のおもしろいのは、学習済モデルの全結合層を用いて実装する形となっている。 VGG19のモデルを以下に記載する。 上記の場合、使用するのは、fc2(Dense)層の値を使用する。 さて、kerasを使用した簡単な実装を記載します。 ①VGG19の重みダウンロード wget https://github.com/fchollet/deep-learning-models/releases/download/v0.1/vgg19_weights_tf_dim_ordering_tf_kernels.h5 ※以降ではvgg19.h5にリネームしています. ②検索対象の作成 類似画像の検索となるため、検索対象を作成します。 自身で画像を持っていれば特定のフォルダにまとめてください。 スレイピング等でも可能ですが、最近は制限が増えているため対象サイトがスクレイピング可能か確認下さい. ③プログラム 今回はQiitaで公開されていたプログラムを一部変更して使用させてもらっています。 誰でも使用できるように、検索対象とターゲット画像をGUIにて操作可能となっていました。 main.py import glob from pathlib import Path import tkinter import tkinter.filedialog #License #The MIT License import keras from keras.models import Model from keras.layers import Input, Dense from keras.preprocessing import image from keras.applications.vgg19 import preprocess_input from keras.models import load_model #License #These weights are ported from the ones released by VGG at Oxford under the Creative Commons Attribution License. #https://keras.io/applications/ from keras.applications.vgg19 import VGG19, preprocess_input #Apache License Version 2.0 #https://github.com/nmslib/nmslib/blob/master/README.md import nmslib #https://numpy.org/license.html import numpy as np current_path = Path.cwd() # refer https://qiita.com/wasnot/items/20c4f30a529ae3ed5f52 # refer https://qiita.com/K-jun/items/cab923d49a939a8486fc def main(): print("データベースを選択してください") print("サブディレクトリ内の画像もすべて検索対象となります") data_folder_path = tkinter.filedialog.askdirectory(initialdir = current_path, title = 'choose data folder') print("データベースと比較したい画像を選択してください") test_img_path = tkinter.filedialog.askopenfilename(initialdir = current_path, #title = 'choose test image', filetypes = [('image file', '*.jpeg;*.jpg;*.png')]) title = 'choose test image', filetypes = [('image file', '*')]) #base_model = VGG19(weights="imagenet") base_model = VGG19(weights="vgg19.h5") #base_model.summary() #outputsを"fc2"と指定し、2番目の全結合層を出力します model = Model(inputs=base_model.input, outputs=base_model.get_layer("fc2").output) test_img = image.load_img(test_img_path, target_size=(224, 224)) x = image.img_to_array(test_img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) test_fc2_features = model.predict(x) #選択したフォルダに存在するpng,jpeg,jpgをサブディレクトリも含めて抽出 png_list = glob.glob(data_folder_path + "/**/*.png", recursive=True) jpeg_list = glob.glob(data_folder_path + "/**/*.jpeg", recursive=True) jpg_list = glob.glob(data_folder_path + "/**/*.jpg", recursive=True) image_list = png_list + jpeg_list + jpg_list fc2_list = [] for image_path in image_list: img = image.load_img(image_path, target_size=(224, 224)) x = image.img_to_array(img) x = np.expand_dims(x, axis=0) x = preprocess_input(x) fc2_features = model.predict(x) fc2_list.append(fc2_features[0]) index = nmslib.init(method='hnsw', space='cosinesimil') index.addDataPointBatch(fc2_list) index.createIndex({'post': 2}, print_progress=True) ids, distances = index.knnQuery(test_fc2_features, k=len(image_list)) result = [image_list[i] for i in ids] #print(ids) #print(distances) #print(result) count = 0 print("選択した画像は " , test_img_path, " です") print("選択した画像に似ている順に表示します") for i, id in enumerate(ids): print(image_list[id], " : 距離： ", distances[i]) count += 1 if count == 5: break main() ④実行結果 結果は、検索対象の画像から類似している上位5つを表示するようにしています。 ****************************************************選択した画像は /home/taroimo/2022/similary/Target/sea.jpg です 選択した画像に似ている順に表示します /home/konosuke/2022/similary/DB/DSC00493.jpg : 距離： 0.49756563 /home/konosuke/2022/similary/DB/PXL_20211015_043202997.jpg : 距離： 0.54518986 /home/konosuke/2022/similary/DB/DSC02634.jpg : 距離： 0.5474366 /home/konosuke/2022/similary/DB/DSC00424.jpg : 距離： 0.5517075 /home/konosuke/2022/similary/DB/PXL_20211014_003302316.jpg : 距離： 0.5669149 以上で、実装終了です。 あまり頭を使わずに類似画像検索を検証できてよかったです。 実際に特定の目的で使用する場合の作成方法を今後は模索しようと思います。 参考サイト