dlibとOpenCVのそれぞれで顔検出した結果比較

12907 ワード
FaceRecognition Python OpenCV dlib MachineLearning Python テキストリンク

はじめに

google-image-downloadで取得した画像ファイルから、学習用の顔画像をファイルに保存するために、OpenCVのHaarCascadeとdlibのface Detetor(HOG)を試して、性能を比較してみました。

開発環境

Ubuntu 18.04.4 LTS
Python 3.6.9
opencv 4.5.1
dlib 19.21.1

比較結果

入力画像ファイル数 正しく検出した顔の数 誤検出した数 処理時間
OpenCV HaarCascade 468 278 8 real 0m28.000s
dlib Face Detector(HOG) 468 841 9 real 9m43.149s

入力画像に含まれている顔の数は様々です。
誤検出したどうかは、切り出し後の画像を目視して確認しました。

  • こちらが検出前のダウンロード画像の一部

  • こちらが検出後に保存した画像の一部

ソースコード


#!/usr/bin/env python3

import cv2
import dlib
import sys
import os
import argparse
import logging

logger = logging.getLogger()

SAVED_IMAGE_SIZE = (200, 200)

class faceDetector:
    pass

class HaarDetector(faceDetector):
    def __init__(self):
        self.__detector = cv2.CascadeClassifier('./cascades/haarcascade_frontalface_default.xml')
    def run(self, img):
        return self.__detector.detectMultiScale(img, 1.08, 5, minSize=SAVED_IMAGE_SIZE)
    def getVertexes(self, face):
        (x, y, w, h) = face
        return (x, y, w, h)

class HogDetector(faceDetector):
    def __init__(self):
        self.__detector = dlib.get_frontal_face_detector()
    def run(self, img):
        return self.__detector(img, 1)
    def getVertexes(self, face):
        x0 = max(0, face.left())
        y0 = max(0, face.top())
        x1 = max(0, face.right())
        y1 = max(0, face.bottom())
        return (x0, y0, x1-x0+1, y1-y0+1)

OpenCV HaarCascadeとglib face detectorのインタフェース差異を吸収するためにfaceDetectorクラスを作成しました。
以下の関数で、入力画像ファイルから顔認識を行い、認識した領域をファイルに保存します。


def detectAndSaveFace(input_dir, output_dir, useHaar):
    logging.basicConfig(level=logging.INFO, format='%(message)s')

    if useHaar:
        detector = HaarDetector()
    else:
        detector = HogDetector()

    files_processed = 0
    faces_detected = 0

    for filename in os.listdir(input_dir):
        orig_img = cv2.imread(os.path.join(input_dir, filename), cv2.IMREAD_GRAYSCALE)  
        if orig_img is None:
            logger.warning('ignoring {0}'.format(filename))
            continue

        faces = detector.run(orig_img)
        logger.debug('Detected({0}) in {1}'.format(len(faces), filename))
        files_processed += 1

        # Save the detected bounding boxes
        for face in faces:
            (x, y, w, h) = detector.getVertexes(face)
            face_img = cv2.resize(orig_img[y:y+h, x:x+w], SAVED_IMAGE_SIZE)
            face_filename = '{0}/{1}.pgm'.format(output_dir, faces_detected)
            cv2.imwrite(face_filename, face_img)
            faces_detected += 1

    logger.info('files processed = {0}, faces detected = {1}'.format(files_processed, faces_detected))

余談

正面を向いた顔画像を保存したかったので、dlibのCNNは試しませんでした。
dlibで検出した画像範囲の座標がマイナスになる場合がありました。

最後に

dlibのHOGによる検出精度が良いのは想定通りでしたが、私のPCでは予想以上に処理時間がかかりました。