詳細には、深さ学習に基づく2つのソースチャネルの結合符号化について説明する。
概要
経典端対端無線通信システムは下図のようになっています。
ソースxxはソースコードを使用し、冗長性を除いてビットストリームssを得る。
チャンネル符号化（Turbo、LDPCなど）を行うと、yyが得られ、対応する検査ビットが増加してチャネルノイズに抵抗する。
特にストリームyyを変調し（BPSK、16 QAMなど）zzを得て、物理チャネルを介して送信する。
受信側のチャンネル後のシンボル\bar{z}zˉ 復調、復号を行うことで、\bar｛x｝xが得られます。ˉ。
定義されたチャネル方式に従って、深さ学習に基づくソースチャネル連携符号化（Deep JSCC）は、2つのタイプに分類され得る。
第1のクラスは、符号化されていない送信によって啓発され、ソースコード、チャネル符号化、変調を符号化器として設計する。
システムモデルは下図のようになります。
第二のクラスでは、通信システムにおける変調、雑音チャネル、復調モジュールは、離散的なバイナリチャネルとして抽象化される。
システムモデルは下図のようになります。
第1のモデルは物理チャネルベースのシンボル符号化と呼ばれ、第2のモデルは抽象チャネルベースのビット符号化と称される。
一方、ソースは、構造化された特徴を有するかどうかによって、2つのクラスに分けられ得る。ソースの構造化、画像、ビデオなど。 ガウスソースなどの非構造化ソース。 構造化されたソースはDeep JSCCの主な研究シーンである。神経ネットワークは構造化データに対して強い特徴的な取得能力を持つので、様々な構造化データに対して設計されたネットワーク構造の出現がある。
したがって，Deep JSCC相は従来の設計よりも優勢である。
画像／ビデオなどの空間的トポロジ構造ソースは、CNNネットワーク構造に適しており、テキスト／音声などの時間的序列構造ソースは、RNNネットワーク構造に適している。
構造化されていないソースに対しては，Deep JSCCはやや貧弱である。非構造化ソースの内部相関が弱いので，冗長性を除去するのは難しい。
物理チャネルベースの符号化
構造化ソース
Guduzグループ1は、高解像度画像を伝送するDeep JSCCフレームワークを提案する。
送信端と受信端はCNNネットワークを使用しており、トレーニング時にガウス白色雑音とレイリー減衰雑音を加えている。
提出したDeep JSCCフレームは下図の通りです。
実験は，PSNRとSSIMデータから，提案されたソースチャネルの結合符号化は，ソースチャネル分離方式よりも優れており，低信号対雑音比のチャネル環境において特に顕著であることを示した。
Guduzグループ2は、前のスキームに基づいて、雑音フィードバックモジュールを伝送システムに統合して、コーデックの変換信号対雑音比のロバスト性を向上させることを提案する。
デコーダは、ノイズチャネルの一部を介して受信されたシンボル\bar｛z｝zをˉ エンコーダにフィードバックし、エンコーダは\bar{z}zによりˉ 信号対雑音比を再計算し，変換された信号対雑音比環境に適合するように，符号化ネットワークパラメータを改良した。
その通信方式は下図のようになります。
Jankowsky 3は、Deep JSCCを用いて画像検索を行うスキームを提案し、まず画像特徴を抽出し、Deep JSCCを用いて伝送画像特徴子を符号化し、受信側で復号特徴子を受信し、特徴に基づいて画像を検索する。
システムアーキテクチャは下図のようになっています。
非構造化ソース
Saidutta 4は、二重符号化復号構造を適用したDeep JSCC方式を提案し、ガウスソースを符号化して伝送する。
トレーニングにはMSE最適化器を使用します。
システムアーキテクチャは下図のようになっています。
前の動作に基づいて、Saidutta 5は、変分自エンコーダによるガウスソース符号化のDeep JSCCスキームを提案し、受信信号と再構成信号のガウス統計特性を仮定することにより、正則化MSE損失の可変上限証明を与えた。
Xual n 6は、RNN対ガウスソース符号化に基づくDeep JSCCスキームを提案している。
これは、ソースの事前情報を取得する必要がなく、Deep JSCCの有効性を理論的に証明しながら、深さ学習に基づくエンコーダーとカオスダイナミクスシステム（Chotic Dynamical System）に基づく符号化関数との類似性を証明した。
システムフレームは下図のようになります。
抽象チャネルベースのビットコード
従来のシンボルストリームのDeep JSCC方式とは異なり、バイナリチャネルでの離散ビットストリームの伝送は逆伝搬勾配を計算することができない。したがって、離散チャネルの埋め込みも物理チャネルの埋め込みより複雑である。
近年、神経ネットワークの離散化7と離散化自己符号化器8の開発は、上記の難点に対する解決策を提供している。離散化神経ネットワークの問題に対して，簡単な方法は，勾配9の代わりに得点関数推定器を用いることである。この推定分散が高いため、一部の作業では、この問題を解決するために異なる式および制御変数が提案されている。
また、離散ランダム変数を連続化する目的を達成するために、JangおよびMaddisonetは、それぞれGmbel−Soff max分布11およびCocrete方式12を提案している。
構造化ソース
Choi 13は、離散的な自己符号化器を用いて画像を抽象的なチャネルにするビット符号化スキームを提案する。符号化の硬離散性を保持するために，低変差勾配を得るために多様な本変分下界ターゲットを使用した。
システム構造は下図のようになっています。
モデルは、より良いロバスト性を得るために、画像とそのバイナリ表現の相互情報の変分下界を使用して訓練される。
Song 14は、NECSTの圧縮及び誤り訂正能力を増強するために、Infomax Adversarial Bits Flipを提案し、ロバスト性を向上させる。新しい損失関数を提案し，高次元データに対するネットワークのより効果的な最適化を実現した。
Shao 15は、軽量級CNNネットワークに基づいて、計算能力が限られたモバイルデバイスに配備可能な低消費電力Deep JSCCを提案する。
システムアーキテクチャは下図のようになっています。
Farsad 16は、テキストソースを符号化して伝送するために、RNN構造に基づくDeep JSCCスキームを提案する。リード・ソロモン符号を用いてチャネルを符号化する。結果は、符号化ビットが短い場合、この方式は従来の方法よりも低い単語エラー率を有することを示している。
システムアーキテクチャは下図のようになっています。
非構造化ソース
Capi 17は、強化学習に基づくDeep JSCCスキームを提案し、ビットビット反転復号、残差信念伝播、アンカー復号の3つのアルゴリズムを採用し、デコーダをデータ駆動により最適な復号戦略を学習させる。
以上は、深さ学習に基づく2つのソースチャネルの共同符号化の詳細を詳しく解説し、深さ学習に基づく2つのソースチャネルの共同符号化に関する資料については、他の関連記事に注目してください。
経典端対端無線通信システムは下図のようになっています。
ソースxxはソースコードを使用し、冗長性を除いてビットストリームssを得る。
チャンネル符号化（Turbo、LDPCなど）を行うと、yyが得られ、対応する検査ビットが増加してチャネルノイズに抵抗する。
特にストリームyyを変調し（BPSK、16 QAMなど）zzを得て、物理チャネルを介して送信する。
受信側のチャンネル後のシンボル\bar{z}zˉ 復調、復号を行うことで、\bar｛x｝xが得られます。ˉ。
定義されたチャネル方式に従って、深さ学習に基づくソースチャネル連携符号化（Deep JSCC）は、2つのタイプに分類され得る。
第1のクラスは、符号化されていない送信によって啓発され、ソースコード、チャネル符号化、変調を符号化器として設計する。
システムモデルは下図のようになります。
第二のクラスでは、通信システムにおける変調、雑音チャネル、復調モジュールは、離散的なバイナリチャネルとして抽象化される。
システムモデルは下図のようになります。
第1のモデルは物理チャネルベースのシンボル符号化と呼ばれ、第2のモデルは抽象チャネルベースのビット符号化と称される。
一方、ソースは、構造化された特徴を有するかどうかによって、2つのクラスに分けられ得る。
したがって，Deep JSCC相は従来の設計よりも優勢である。
画像／ビデオなどの空間的トポロジ構造ソースは、CNNネットワーク構造に適しており、テキスト／音声などの時間的序列構造ソースは、RNNネットワーク構造に適している。
構造化されていないソースに対しては，Deep JSCCはやや貧弱である。非構造化ソースの内部相関が弱いので，冗長性を除去するのは難しい。
物理チャネルベースの符号化
構造化ソース
Guduzグループ1は、高解像度画像を伝送するDeep JSCCフレームワークを提案する。
送信端と受信端はCNNネットワークを使用しており、トレーニング時にガウス白色雑音とレイリー減衰雑音を加えている。
提出したDeep JSCCフレームは下図の通りです。
実験は，PSNRとSSIMデータから，提案されたソースチャネルの結合符号化は，ソースチャネル分離方式よりも優れており，低信号対雑音比のチャネル環境において特に顕著であることを示した。
Guduzグループ2は、前のスキームに基づいて、雑音フィードバックモジュールを伝送システムに統合して、コーデックの変換信号対雑音比のロバスト性を向上させることを提案する。
デコーダは、ノイズチャネルの一部を介して受信されたシンボル\bar｛z｝zをˉ エンコーダにフィードバックし、エンコーダは\bar{z}zによりˉ 信号対雑音比を再計算し，変換された信号対雑音比環境に適合するように，符号化ネットワークパラメータを改良した。
その通信方式は下図のようになります。
Jankowsky 3は、Deep JSCCを用いて画像検索を行うスキームを提案し、まず画像特徴を抽出し、Deep JSCCを用いて伝送画像特徴子を符号化し、受信側で復号特徴子を受信し、特徴に基づいて画像を検索する。
システムアーキテクチャは下図のようになっています。
非構造化ソース
Saidutta 4は、二重符号化復号構造を適用したDeep JSCC方式を提案し、ガウスソースを符号化して伝送する。
トレーニングにはMSE最適化器を使用します。
システムアーキテクチャは下図のようになっています。
前の動作に基づいて、Saidutta 5は、変分自エンコーダによるガウスソース符号化のDeep JSCCスキームを提案し、受信信号と再構成信号のガウス統計特性を仮定することにより、正則化MSE損失の可変上限証明を与えた。
Xual n 6は、RNN対ガウスソース符号化に基づくDeep JSCCスキームを提案している。
これは、ソースの事前情報を取得する必要がなく、Deep JSCCの有効性を理論的に証明しながら、深さ学習に基づくエンコーダーとカオスダイナミクスシステム（Chotic Dynamical System）に基づく符号化関数との類似性を証明した。
システムフレームは下図のようになります。
抽象チャネルベースのビットコード
従来のシンボルストリームのDeep JSCC方式とは異なり、バイナリチャネルでの離散ビットストリームの伝送は逆伝搬勾配を計算することができない。したがって、離散チャネルの埋め込みも物理チャネルの埋め込みより複雑である。
近年、神経ネットワークの離散化7と離散化自己符号化器8の開発は、上記の難点に対する解決策を提供している。離散化神経ネットワークの問題に対して，簡単な方法は，勾配9の代わりに得点関数推定器を用いることである。この推定分散が高いため、一部の作業では、この問題を解決するために異なる式および制御変数が提案されている。
また、離散ランダム変数を連続化する目的を達成するために、JangおよびMaddisonetは、それぞれGmbel−Soff max分布11およびCocrete方式12を提案している。
構造化ソース
Choi 13は、離散的な自己符号化器を用いて画像を抽象的なチャネルにするビット符号化スキームを提案する。符号化の硬離散性を保持するために，低変差勾配を得るために多様な本変分下界ターゲットを使用した。
システム構造は下図のようになっています。
モデルは、より良いロバスト性を得るために、画像とそのバイナリ表現の相互情報の変分下界を使用して訓練される。
Song 14は、NECSTの圧縮及び誤り訂正能力を増強するために、Infomax Adversarial Bits Flipを提案し、ロバスト性を向上させる。新しい損失関数を提案し，高次元データに対するネットワークのより効果的な最適化を実現した。
Shao 15は、軽量級CNNネットワークに基づいて、計算能力が限られたモバイルデバイスに配備可能な低消費電力Deep JSCCを提案する。
システムアーキテクチャは下図のようになっています。
Farsad 16は、テキストソースを符号化して伝送するために、RNN構造に基づくDeep JSCCスキームを提案する。リード・ソロモン符号を用いてチャネルを符号化する。結果は、符号化ビットが短い場合、この方式は従来の方法よりも低い単語エラー率を有することを示している。
システムアーキテクチャは下図のようになっています。
非構造化ソース
Capi 17は、強化学習に基づくDeep JSCCスキームを提案し、ビットビット反転復号、残差信念伝播、アンカー復号の3つのアルゴリズムを採用し、デコーダをデータ駆動により最適な復号戦略を学習させる。
以上は、深さ学習に基づく2つのソースチャネルの共同符号化の詳細を詳しく解説し、深さ学習に基づく2つのソースチャネルの共同符号化に関する資料については、他の関連記事に注目してください。