ARCoreのLight estimationを利用

ARCoreに初期から搭載されているLight estimation機能を触ってみました。
なお、AndroidビルドのためのUnity設定等々は実施済みです。

キーワード

ARCore, Unity, AR, ビデオシースルー, 環境光推定, Light estimation

Light estimationとは

Light estimation などを参照ください。
カメラ画像から環境光の強さや色合いを推定する機能です。

バージョン情報など

• バージョン情報

• 作業日

  2017年4月上旬 21:30頃(外光はほぼない状態)

環境光推定を利用したアプリ作成

SDK導入

ダウンロードページより、arcore-unity-sdk-v1.1.0.unitypackageをダウンロードしました。
新規プロジェクトを作成し、SDKを全てインポートしました。

プレハブ確認

Assets > GoogleARCore > Prefabs > Environment Light を確認してみました。
EnvironmentalLightなるスクリプトがアタッチされていますので、開いて確認してみたところ、

Frame.LightEstimate.PixelIntensity
Frame.LightEstimate.ColorCorrection

あたりで環境光の推定結果を取得しているようでした。
公式のリファレンスによるとLightEstimateは3つのプロパティを持っているようでした。
PixelIntensityがピクセル強度の平均を0から1の範囲で算出しているので、明るさはこの値を利用できるはずです。

なお、ピクセル強度については強度が低い=より暗い、強度が強い=より明るい程度の理解でいます。

PixelIntensityの確認

とりあえずPixelIntensityの値を確認を行いました。

ARCoreが提供しているプレハブである、ARCore Deviceをシーンに配置しました。
環境光推定値を出力するスクリプトShowPixelIntensity.csを作成し、生成した空のGameObjectにアタッチしました。

方法

シーン上にuGUIのtextを配置し、ここにPixelIntensityの値を表示させました。
また、ARCore内のプレハブに含まれていたEnvironmentalLightで計算されている、
Frame.LightEstimate.ColorCorrectionと最終的にシェーダに適用されている値も表示してみました。

using UnityEngine;
using GoogleARCore;
using UnityEngine.UI;

public class ShowPixelIntensity : MonoBehaviour
{
    [SerializeField]
    private Text pixelIntensityText;
    [SerializeField]
    private Text colorCorrectionText;
    [SerializeField]
    private Text globalColorText;
    private void Update()
    {
        if (Frame.LightEstimate.State == LightEstimateState.NotValid)
            return;

        pixelIntensityText.text = Frame.LightEstimate.PixelIntensity.ToString("#.000");
        colorCorrectionText.text = Frame.LightEstimate.ColorCorrection.ToString("#.000");

        const float middleGray = 0.466f;
        float normalizedIntensity = Frame.LightEstimate.PixelIntensity / middleGray;
        globalColorText.text = (Frame.LightEstimate.ColorCorrection * normalizedIntensity).ToString("#.000");

    }
}

表示用のUIをシーンに追加し、ビルド設定を行いビルドしました。

結果

部屋の明かりを変化させ、値の変化を確認しました。

以下、それぞれの状態のカメラ映像になります。

0.75付近(全点灯)	0.60付近	0.50付近	0.40付近	0.20付近(常夜灯)	0.15付近(側面にモニタ光)	0.08付近

注意点

画像から明るさを類推しているため、白に近いカーテンを見ているときと、黒に近いカーテンを見ている時では、恐らくPixelIntensityの値は変化します。

オブジェクト追加

スケルトン(BSHGAME Skeletons Pack)をお呼びし、明るさに応じて目を光らせて頂きました。
目の光らせ方は、テラシュールブログ様の記事、目やパーツの一部を光らせるを参照します。

スケさんの眼窩付近にFlareSmallを設定したPoint lightを配置しました。

LightEstimate.PixelIntensityが小さくなるほどライトを強くするスクリプトを作成し、先ほど作成したライトを参照しておきます。

[SerializeField]
private Light light;

light.intensity = 1f - (Frame.LightEstimate.PixelIntensity);

感想

• 最後のライト部分がかなり適当ですが、外界の明るさに応じた処理を作成できました。
  外部の影響によって動きが変わるものは、単純でも意外に面白かったです。

• ARCoreではカメラが光量を自動的に調節してしまうので、必ずしも光源に向かった状態がPixelIntensity最大ではありません。
  実際に利用する際は実地でのテストが必須だと思われます。

参考：光源を向いた場合のPixelIntensity

同様の理由で、昼間と夜間の室内を比較した場合、昼間のPixelIntensityの方が常に高いとは限りません。

• 夜間だけ火のつく燈篭とか作れればカッコイイ。

• Motion trackingと組み合わせ、特定の地点から特定の方向を向いた場合の光量を記憶できれば、明るい場所に向かって動くゾンビとか作れそうな気もしました。

• ARCore1.1.0から搭載のInstant Previewが超便利です。
  特に設定していなくてもポップアップが出現し、それに従っていけば勝手に利用できる環境が構築されていました。
  二回目以降はAndroid側でARCore Instant Previewを起動しておく必要があるようです。