Kinect & Violin

https://bitbucket.org/ffuyyo/violin_kinect/overview
なんてものを書いてみました。

動作には、Kinect SDK beta2とFFTするためにAForgeというライブラリを使用しています。

KinectのSkeleton Trackingを使ったものは世の中的に結構あるのだけど、折角カメラセンサとマイクが一緒についているデバイスなので両方使うようなものを作ってみたかったのでした。
何故よりによってバイオリンか？というと、自分がバイオリンを習っているから。。。（教室に通い始めて早２年）

Kinectのカメラ上で左右逆に映っているだけで、決して左右逆に持っているわけではないのです

基本的な動作は右腕の肘と手首と肩の角度をみることで、弓の上下動作をトラッキングしている、ということにしています。上下運動が変化する時に、四角形やら丸の図形を表示させています。

また同時にマイクから音を拾って、FFTの値が一番大きい周波数の値に応じて図形の色を変化させています。周波数は変化もトラッキングして、変化すると５角形の図形が表示させているいるつもりですが、遠くから見ると四角形も円も５角形も似たような形なのでした。。。

やってみて分かったのですが、音を扱うのは難しいです。Skeleton Trackingのように直感的でもないし、処理も原始的なことしかやっていないので（て言うか、音声処理の専門家の方に見られたら、使い方がなってないと怒られそう・・・）、あんまりランダムに色を変えたりするのとさほど変わらない気もしてます。やっぱり音声認識以外は使いどころが難しいのかしら。

Skeleton TrackingのHeadを使って、顔を隠してプライバシーにも配慮してますが、自分の部屋の汚さと、バイオリンの下手さ具合（特に弓の動き、酷過ぎ！！）は筒抜けなのです・・・。


世の中的に（個人で出来る範囲では）やり尽された感を感じなくもないし、Kinectだけ知ってても面白いのは作れないということを感じるので、そろそろKinect以外の別のことも遊ぼうかなあ、、、