内藤竜聖．顔識別と顔のランドマークを用いた疲労の定量化．芝浦工業大学，2021，学士論文．
人間の顔の疲労の検出は，医療および安全の目的で非常に重要である．本論文では，コンピュータビジョンを使用して顔の疲労の定量化を試みた．ここでは，顔のランドマークを利用して疲労を定量化する方法を提案した．加えて，勤怠管理に用いる顔識別の方法も提案した．画像処理にはOpenCVライブラリを使用し，埋め込み抽出にはOpenFaceライブラリ，特徴抽出にはDlibライブラリを使用した．芝浦工業大学システム理工学部市川研究室の学生のデータセットでテストされ，顔識別は満足のいくレベルの精度が得られたが，疲労の定量化は満足のいくレベルの精度には届かなかった.
我が国において，長時間労働による過労死や精神疾患が社会問題となっている．2013年に国際連合の社会権規約委員会は，日本政府に対して，長時間労働や過労死の実態に懸念を示したうえで，防止対策の強化を求める勧告をした ．労働時間の把握に係る自己申告制の不適正な運用等に伴い，過重な長時間労働や割増賃金の未払いといった問題が生じていた ．こうした問題から，労働安全衛生法が改正され，2019年4月より労働時間の客観的な把握が義務化された．
労働者の健康管理の視点から，労働時間の把握だけでは労働者の健康状態の把握が十分であるとは言い難い．同じ労働時間でも業務内容によって負担が異なる場合があり，労働者の健康に及ぼす効果が異なる可能性がある．本研究では，疲労時にまぶたや口角が垂れ下がることを利用し，労働によって生じる疲労を定量化することを目的とする．疲労が蓄積している労働者や過負荷になっている業務を早期に発見し，シフトの組み方の変更や業務内容を改善することにより，労働生産性の向上や精神疾患の予防につながる可能性がある．また，顔認証による勤怠管理と組み合わせることにより，労働時間と疲労度の情報を同時に取得する．
以下は顔識別の提案手法である．最初に，OpenCVライブラリの深層学習顔検出器を用いて顔を検出した．次に，これらすべての顔からGitHubプロジェクトのcnn-facial-landmarkプロジェクトを使用して68点の顔のランドマークポイントを検出した．そして，ランドマークポイントとOpenCVのアフィン変換を使用して，顔の位置合わせを行った後，OpenFaceの深層学習モデルを使用して，埋め込みと呼ばれる128次元の特徴ベクトルを生成した．最後に，これらの埋め込みを，サポートベクターマシン（SVM）で分類するための特徴量として用いた．
以下は疲労度測定の提案手法である．最初に，顔識別と同様に顔の検出とランドマークポイントの検出と位置合わせを行った．次に，位置合わせされた顔から再びランドマークポイントを検出した．そして，目と唇の端の角度，目の開き度合いを測定した．最後に，これらの角度の大きさをデータベース内の偏差値で表し，これを疲労度とした．
芝浦工業大学システム理工学部市川研究室の学生14名の合計3176枚の画像を使用して，顔識別モデルの精度評価を行った．5回の交差検証によって，モデルの汎化性能の評価を行った結果，94.42%の平均正答率を得た．
市川研究室の学生7名の合計244枚の画像を使用して疲労度測定の評価を行った．すべての画像には，7段階の主観的な疲労度と研究時間の情報が紐付けられており，これらと測定された疲労度の相関関係を分析した．正の相関関係があることを期待したが，一部を除き，相関関係は得られなかった．疲労度測定の精度が低くなってしまった原因は2つ考えられる．まず，角度などの特徴量は顔の微妙な変化のため，位置合わせが不十分で，撮影角度に大きく左右されてしまった可能性がある．また，今回使用したデータセットでは，一日の活動時間のうち，研究以外の活動に制限を設けていなかったため，研究以外の活動の影響を受けてしまった可能性がある．
本論文では，顔識別と，顔のランドマーク検出に基づいた疲労の定量化の方法を提案した．疲労度は労働環境の改善に活用でき，業務内容の改善や，業務の適正の判断に用いられることが期待される．