ambariのkafkaをアンインストールした後にApacheのkafkaをインストールして消費することができません
こしょうげんしょう
バックグラウンドクラスタの規模が小さく、本来ambariでkafkaが使われているのが普通だそうで、開発者はflinkがkafkaバージョンと一致しない(具体的にはscalaバージョンを指す)と言って、HDPのkafkaをambariインタフェースでアンインストールし、最後にapache対応バージョンのkafkaをインストールしました
問題kafkaの「リリース」を変更すると、すべてのトピックが消費できないことがわかりました
問題の調査 kafkaメタデータトピックを表示_consumer_offsetsは、すべてのコピーが存在するbrokerIdフォーマットが10011002フォーマット(HDPkafkaのデフォルトのbrokerIdフォーマット)であることを発見したので、 がクリーンにアンインストールされていないことを心配しています.そして_consumer_offsetsすべてのパーティションleader=-1 describeの各トピックの後、一部のトピックのパーティションコピーが存在するbrokerIDフォーマットは10011002フォーマット、一部は1,2(apacheバージョンのインストール後に手動で設定されたidと推定) であることが分かった. zkノード情報を見るとidsノードのbrokerIdフォーマットはすべて1,2のように 形であることが分かった.これによりメタデータテーマとして確認するbrokerIdは混乱しており、消費グループオフセット量等のメタデータ情報 を正常に保存することができない.
トラブルシューティングはzkに入り、メタデータのトピック__をconsumer_offsetsを削除すればよい、同じ問題の業務topicを削除する listはすべてのトピックを表示し、2つのビジネスtopicがすでに生成されていることを発見しました(パラメータを見て、producerが自動的に作成することを許可しています)、メタデータトピックも自動的に生成されました.消費者が消費すると、彼は作成します(そうであるべきで、あまり確定していません). 生産消費をテストし、すべて正常
バックグラウンドクラスタの規模が小さく、本来ambariでkafkaが使われているのが普通だそうで、開発者はflinkがkafkaバージョンと一致しない(具体的にはscalaバージョンを指す)と言って、HDPのkafkaをambariインタフェースでアンインストールし、最後にapache対応バージョンのkafkaをインストールしました
問題kafkaの「リリース」を変更すると、すべてのトピックが消費できないことがわかりました
問題の調査
トラブルシューティング
，