Openh 264の使用(1)

1.ISVCEncoderの初期化

ISVCEncoder* encoder_;
int rv = WelsCreateSVCEncoder(&encoder_);
if (0 != rv || !encoder_) {
        //error
}

 ISVC Encoderは、エンコーダの初期化、符号化パラメータの設定、符号化など、一連の符号化に関するインタフェースを提供する.
2.関連パラメータを設定するOpenh 264は2つの構造体を提供して符号化パラメータを設定し、SEncParamBaseとSEncParamExt、SEncParamBaseは最も基本的なパラメータ設定のみを通過し、その定義は以下の通りである.

typedef struct TagEncParamBase {
  EUsageType
  iUsageType;                 ///< application type;1.CAMERA_VIDEO_REAL_TIME:camera video signal; 2.SCREEN_CONTENT_REAL_TIME:screen content signal;

  int       iPicWidth;        ///< width of picture in luminance samples (the maximum of all layers if multiple spatial layers presents)
  int       iPicHeight;       ///< height of picture in luminance samples((the maximum of all layers if multiple spatial layers presents)
  int       iTargetBitrate;   ///< target bitrate desired, in unit of bps
  RC_MODES  iRCMode;          ///< rate control mode
  float     fMaxFrameRate;    ///< maximal input frame rate

} SEncParamBase, *PEncParamBase;

引数iUsageTypeは、次のようなアプリケーションのタイプを示します.

typedef enum {
  CAMERA_VIDEO_REAL_TIME,      ///< camera video for real-time communication
  SCREEN_CONTENT_REAL_TIME,    ///< screen content signal
  CAMERA_VIDEO_NON_REAL_TIME
} EUsageType;

iRCModeは符号レート制御のモードを指定し、openh 264が提供するモードは以下の通りである.

typedef enum {
  RC_QUALITY_MODE = 0,     ///< quality mode
  RC_BITRATE_MODE = 1,     ///< bitrate mode
  RC_BUFFERBASED_MODE = 2, ///< no bitrate control,only using buffer status,adjust the video quality
  RC_TIMESTAMP_MODE = 3, //rate control based timestamp
  RC_BITRATE_MODE_POST_SKIP = 4, ///< this is in-building RC MODE, WILL BE DELETED after algorithm tuning!
  RC_OFF_MODE = -1,         ///< rate control off mode
} RC_MODES;

エンコーダの初期化例は以下の通りである.

SEncParamBase paramBase;
paramBase.iPicWidth = width_;
paramBase.iPicHeight = height_;
paramBase.fMaxFrameRate = fps_;
paramBase.iTargetBitrate = 10 * width_ * height_;
paramBase.iUsageType = CAMERA_VIDEO_REAL_TIME;
paramBase.iRCMode = RC_BITRATE_MODE;
int ret = encoder_->Initialize(&paramBase);
if (0 != ret) {
        //error
}

3.コード
  符号化にはSSourcePictureとSFrameBSInfoの2つの構造体が必要であり、SSourcePictureは符号化が必要なデータ情報を保存するために使用され、SFrameBSInfoは符号化完了後のデータを保存する.SSourcePictureの定義

typedef struct Source_Picture_s {
  int       iColorFormat;          ///< color space type
  int       iStride[4];            ///< stride for each plane pData
  unsigned char*  pData[4];        ///< plane pData
  int       iPicWidth;             ///< luma picture width in x coordinate
  int       iPicHeight;            ///< luma picture height in y coordinate
  long long uiTimeStamp;           ///< timestamp of the source picture, unit: millisecond
} SSourcePicture;

iColorFormat:videoFormatI 420のような色空間のタイプ;

iStride,各planeのstride,planeとstrideの理解はyuv画像のstrideとplaneの解釈を参照することができる.

pDataは、各planeのポインタを指します.

SFrameBSInfo構造体は、符号化前にmemsetで構造体中のデータを0にするだけでよい.定義は次のとおりです.

typedef struct {
  int           iLayerNum;
  SLayerBSInfo  sLayerInfo[MAX_LAYER_NUM_OF_FRAME];

  EVideoFrameType eFrameType;
  int iFrameSizeInBytes;
  long long uiTimeStamp;
} SFrameBSInfo, *PFrameBSInfo;

typedef struct {
  unsigned char uiTemporalId;
  unsigned char uiSpatialId;
  unsigned char uiQualityId;
  EVideoFrameType eFrameType;
  unsigned char uiLayerType;

  /**
   * The sub sequence layers are ordered hierarchically based on their dependency on each other so that any picture in a layer shall not be
   * predicted from any picture on any higher layer.
  */
  int   iSubSeqId;                ///< refer to D.2.11 Sub-sequence information SEI message semantics
  int   iNalCount;              ///< count number of NAL coded already
  int*  pNalLengthInByte;       ///< length of NAL size in byte from 0 to iNalCount-1
  unsigned char*  pBsBuf;       ///< buffer of bitstream contained
} SLayerBSInfo, *PLayerBSInfo;

SFrameBSInfo構造体は比較的複雑であり,具体的な使用状況は以下で説明する.i 420データの符号化プロセス:

  SSourcePicture pic;
  memset(&pic, 0, sizeof(pic));
  pic.iPicWidth = width_;
  pic.iPicHeight = height_;
  pic.iColorFormat = videoFormatI420;
  pic.iStride[0] = pic.iPicWidth;
  pic.iStride[1] = pic.iStride[2] = pic.iPicWidth >> 1;
  pic.pData[0] = (unsigned char *) i420Buffer;
  pic.pData[1] = pic.pData[0] + width_ * height_;
  pic.pData[2] = pic.pData[1] + (width_ * height_ >> 2);
  SFrameBSInfo info;
  memset(&info, 0, sizeof(SFrameBSInfo));
  int rv = encoder_->EncodeFrame(&pic, &info);

  int retSize = 0;
  if (rv != cmResultSuccess) {
        //error info
      return retSize;
  }
 if (info.eFrameType != videoFrameTypeSkip) {
        int type = info.eFrameType;
        for (int i = 0; i < info.iLayerNum; ++i) {
            const SLayerBSInfo &layerInfo = info.sLayerInfo[i];
            int layerSize = 0;
            for (int j = 0; j < layerInfo.iNalCount; ++j) {
                layerSize += layerInfo.pNalLengthInByte[j];
            }
            memcpy((char *) (oBuf + retSize), (char *) layerInfo.pBsBuf, layerSize);
            retSize += layerSize;
        }
    }

i 420 Bufferは元のyuvデータを指すポインタであり、oBufはh 264ストリームバッファを指すポインタである.プロセス全体がいくつかのステップに分かれていることがわかります.

SSourcePictureおよびSFrameBSInfoを定義し、SSourcePictureに値を付与する.

符号化;

符号化が成功したか否かを判断する.

はフレームタイプを判断し、ホップフレームでなければ符号化後のデータを読み出す.

 SFrameBSInfoのパラメータiLayerNumは、符号化されたNALの数を表す.符号化されたh 264データは、SFrameBSInfoのsLayerInfo構造配列に格納され、各構造体のpBsBufは、符号化されたデータを表し、長さは、構造体pNalLengthInByteint配列の合計であり、配列長は、構造体のiNalCountメンバーによって表される.
4.ISVC Encoderを先に呼び出すUninitialize関数を解放し、WelsDestroySVC Encoderを呼び出せばよい.