いきなり対処法（結論）から

下記を実行する。

1. VirtualBox（とそのExtension）をアンインストールする
2. MacOSをCmd + Rを押し続けながら再起動する（Recovery modeへ入ります）
3. Recovery modeでTerminalを開く
4. 下記のコマンドを実行する

csrutil clear
reboot

この後VirtualBoxをHomebrewなりインストーラを起動するなりでインストールする。
必要に応じてSecurity & PrivacyのGeneralタブからOracle Extensionを許可する。

経緯

MacOS Big SurでVirtualBoxが正常に動作しない問題は現在（2020年12月15日）こちらのチケットで進行中。
Qiitaでも色々な方が対処法を記載して頂いているようです。

• MacOS Big SurにしたらVritualBoxとVagrantが動かなくなったので動かすまでやったこと！
• 【macOSアップデート】vagrant upできない時に一通り試すと良いかもしれない方法
• Vagrant up でエラーが出た(macOSをBig Surにアップデートしたとき)

ただ私の環境だとこれらの対処法では解決せず、VagrantのBackendにVirtualBoxを使っている関係上
かなり困っていました。
4,5時間程度色々な対処法を検索しては試しを繰り返していたのですが、ようやくこちらの手順で解決できました。
どうにも許可設定周りがバグってる感じで、リセットしたくてVirtualBoxに付属のアンインストールスクリプトを実行したり再起動したりしていましたが、
いずれも解決には至りませんでした。

同様に困っている人の助けになれば幸いです。