SoundAnalysis + Create MLで話者認識

追記1: 本スライドは2019年6月に開催されたイベント向けに作成したものです。

追記2: 「iOS 13の新機能をざっくり把握する本」という電子書籍を

100円

で販売しています。本文84ページ。SoundAnalysisの解説も入っています。

"SwiftUI"でGoogle検索

（日本語・直近1ヶ月）

"SoundAnalysis"でGoogle検索

（日本語・直近1ヶ月）

イマイチ注目されていない😇

音楽向け？

よくわからないユースケース？

・・・と思われているのでは？

話者認識

話者認識とは

「誰が話しているか？」を認識する

cf. 「何を話しているか」・・・音声認識

話者認識ができると・・・

• 議事録・翻訳・字幕
• 動画や音声の無音部分を自動でカット
• 動画や音声から特定話者の部分だけ抽出

etc.

今は静止画しか使用していないアプリでも、動画のサイズの問題が解決すれば、今後動画を利用する可能性も出てくるのでは？

Sound Analysis

Sound Analysisとは

• iOS 13で追加された音声解析のためのフレームワーク
• 今のところ音声の「分類」のみ可能
• "SoundAnalysis"（リファレンス） か "Sound Analysis"（WWDC）かはっきりしない...

何の音声を分類できるのか？

• 特定の種類の音声を分類するためのクラス等は何も用意されていない
• Core MLモデルを自作する必要がある

→ どんな音声でも大丈夫（できるとは言っていない）

音声分類用のCore MLモデルをつくる

Create ML

• ［2019年度版］ドラッグ＆ドロップで機械学習のモデルがつくれる「Create ML」の使い方（macOS 10.15 Catalina） #WWDC19 - その後のその後

Sound Analysisで音声分類を実行する

音声分類を実行する

// ファイル用のアナライザを初期化
let audioFileAnalyzer = try! SNAudioFileAnalyzer(url: url)

// MLModelオブジェクトを渡してリクエストを作成
let request = try! SNClassifySoundRequest(mlModel: HogeSoundClassifier().model)

// リクエストをアナライザに追加
try! audioFileAnalyzer.add(request, withObserver: self)

// 解析開始
audioFileAnalyzer.analyze()

分類結果

SNClassificationResult

• timeRange: CMTimeRange
  • 処理区間の開始時間・終了時間
• classifications: [SNClassification]
  • 各分類クラスのラベル
  • 各分類クラスの信頼度

（デモ） 動画内の話者を識別する

SoundAnalysis + Create MLで話者認識（2019年6月に開催された勉強会向けにつくったデモ） #iOS13https://t.co/qpExce47Ss pic.twitter.com/r2Dg27ueeH

— Shuichi Tsutsumi (@shu223) February 27, 2020