概要

Pythonコード上で文字列からサロゲートペア文字を取り除く必要がありました。
サロゲートペア文字と、取り除いた対処法についてまとめます。

背景

「特定の条件を満たすメールを受信した場合に外部サービスに起票するシステム」を開発・運用していて、起票対象のメールにiOSの絵文字などサロゲートペア文字が含まれているとBacklogの起票に失敗※してしまいました。

サポートに問い合わせたところサロゲートペア文字に対応していないと回答いただいたので、Backlogへ起票する前にサロゲートペア文字を取り除く処理をいれることにしました。

※失敗時にはAPIからレスポンスとして「code:1 Incorrect String」が返ってきます。Web画面で直接課題を起票した場合は「Backlogがサポートしていない文字「🏣」が詳細に含まれています」といったメッセージが出ます。

サロゲートペア文字とは

通常文字は2バイトですが、サロゲートペア文字は4バイト（2文字分）あります。
Unicodeで「U+16進数5桁（U+10000 ～ U+1FFFFF）」の範囲になります。

iOSの絵文字の大半もサロゲートペア文字です。
下記サイトの「U+1F004」以降の絵文字がBacklogでサポートしていないサロゲートペア文字になります。
https://ja.wikipedia.org/wiki/Unicode%E3%81%AEEmoji%E3%81%AE%E4%B8%80%E8%A6%A7

絵文字以外のサロゲートペア文字の例
https://codezine.jp/article/detail/1592

対処方法

UTF-16 にエンコードした時に2バイトにならない文字を削除する処理を追加しました。
参考にしたQA: https://teratail.com/questions/113796#reply-173241

下記の例では、サロゲートペア文字を UTF-16 に変換すると4バイトになることを利用して削除しています。

s = '「𠀋𡈽𡌛𡑮𡢽😄😃😀😊😉」'    
a = ''.join(filter(lambda c: len(c.encode('utf-16-be')) == 2, s))    
print(a)

## 出力結果
「」

結果

サロゲートペア文字を含んだテストコードを追加して、単体テストと結合テストでサロゲートペア文字が取り除かれることを確認しました。

補足情報

emojiモジュールを使用することも当初考えましたが、絵文字以外もサロゲートペア文字は存在するため、この方法は今回採用しませんでした。
参考にしたQA: https://qiita.com/yoshimo123/items/85331d881aed9ad41020

import emoji

def remove_emoji(text):
    return emoji.replace_emoji(text, replace='')

emojis = '「𠀋𡈽𡌛𡑮𡢽😄😃😀😊😉」'
print(remove_emoji(emojis))

## 出力結果
「𠀋𡈽𡌛𡑮𡢽」