エンジニアの たかはしし です。GoogleのMedia Pipeが面白そうだったので、遊んでみました。

Media Pipe？

Googleが開発を主導している、顔・手・ポーズのリアルタイム検出をしてくれる、オープンソースのMLソリューションだそうです。（解説してるブログ）
今回はハンドトラッキングを試してみます。顔や全身のトラッキングもサポートされているようで、順番に試していきたいです。

PythonでMedia Pipe

Googleのサンプルや個人ブログなどに色々情報があるため、とりあえずPythonで試してみました。

サクッと、各間接に番号を表示し、手のひらの表裏の判定をすることができました。
（表裏の判定：手首→親指ベクトルと手首→中指ベクトルの外積）

この後、よりグラフィカルに検証するためUnityに組み込んでみたのですが、UnityのUIがいろいろと変わっていて苦戦しました･･･。（だいぶ前に2Dゲームのチュートリアルやったくらいで、Unityの経験もほぼ無く…）

Untiy＋Media Pipeの組み合わせで、ジャンケンゲームとか、手話やハンドシグナルの練習アプリとかもいいかも。ほかには、車に電光掲示板をつけて、ハンドシグナルで他の車にメッセージを送るとか？（これをハンドシグナルで操作するような感じで）余談でした！

たかはしし

HIITエンジニア

Javaを5年くらい、最近はPHPをメインに。
趣味はクライミング（最近はボルダリングメイン）です。