環境

ローカル、リモート共にUbuntu 18.04 TLS
ubuntuに移行して環境作ってる途中でエラーが出たのでその対処法です。
20.04早く使いたいので人柱のみなさん頑張ってください。

対処

.configと秘密鍵の権限を600にする。
GUIの場合は各ファイルのプロパティからパーミッションを選び、所有者に「読み取り、書き込みが可能」を設定してグループその他は禁止。実行権限はチェックを外す。
CUIで設定する場合は

chmod 600 ~/.ssh/config

のようにする。
そもそも所有者がログイン中のユーザーではなくrootなどで編集ができなければ

sudo chown user_name ~/.ssh/config

のようにしてからパーミッションを変更する。（秘密鍵のほうもやっておく）

またconfigと秘密鍵を同じところに置いておくとセキュリティ的に駄目らしいので、パーミッションの設定をしても駄目なら置き場を確認してください。
自分は同じ階層というより同じ階層以下にあるとエラーが消えず全然別のところに置いたところログインできました。

ubuntuではまだ試していませんが、RemoteSSHはwindowsのときにもエラーに悩まされてます。
VSCode insiderを使うと何もしてないのに解決したり、設定ファイルを.ssh/configではなく別に出てくるもう一個の方（パス忘れました）に変更して.ssh/configを削除したら接続できたりと一筋縄ではいかない印象。便利なんですけどね。

あと何度も試行するとエラーの止まり具合によってはリモート側に複数のvscode-serverがインストールされることがあります。
普通は問題ないと思いますが自分のところではrgとかいうnode_moduleの検索するやつ的な何かがCPUを異常に専有してサーバーが落ちるなどの弊害があったので、もしログインできた場合は一旦関係するものをすべて削除してインストール（※ローカルではなく最初のssh接続が成功したときにサーバーにインストールされる方）からやり直したほうがいいかもしれません。複数インストールが原因なのかはちょっとわからないですけど。もし接続中にしばらくしたら切断から再読込のコンボが必ず起きる場合はCPU実行時間えらいことになってます。