Kafka HAで、必要なブローカーの最小数が2ではなく3である理由

4
Swap 2019-11-08 05:55.

kafkaクラスターを使用してKafkaHAを実装しようとしています。R&Dを行っているときに、zookeeperとkafkaブローカーに推奨されるノードの最小数は3であることがわかりました。

リーダー選出では最小(n + 1)/ 2ノードが稼働している必要があるため、Zookeeperに最小3ノードが必要な理由を理解しています。

しかし、明確ではありません。なぜ最低3つのkafkaブローカーが必要なのか。2つのkafkaブローカーと3つのzookeeprノードでHAを実装できないのはなぜですか?

2 answers

4
hqt 2019-11-18 14:46.

クォーラム属性のため、Zookeeperのノードの最小数は3です。偶数のノードが使用されていないため、奇妙なはずです。例:合計ノード数が8のZookeeperは7にダウングレードできます。Zookeepersの多くのノードも、コンセンサスアルゴリズムのために適切ではありません。(例:Paxos)

Kafkaクラスターの場合、個人的には2つのブローカーを設定しても問題ないと思います。しかし、それは3つのブローカーでより良いです。ISRを維持するための理由-同期レプリカ。

Kafkaクラスターに2つのブローカーがあるとします。データの高可用性と整合性を維持するために、レプリカとISRの両方を2に設定します。興味深い部分はmin-ISR属性です。min-ISRを1に設定すると、リーダーは失敗します。レプリカが残っていない可能性があります。min-ISRを2に設定すると、リーダーまたはフォロワーのいずれかが失敗した場合、またはプロデューサーとコンシューマーが機能できなくなります。

Kafkaクラスターに3つのブローカーがあり、ISRを3に設定し、min-ISRを2に設定した場合、この構成では、作業中に1つのレプリカ(リーダーまたはフォロワー)を失うリスクを受け入れます。たとえば、リーダーを失った場合、切り替えのために同期しているフォロワーが少なくとも1人います。フォロワーの1人を失った場合でも、min-ISRを2に保つためのフォロワーが残っています。

1
Dina Bogdan 2019-11-18 14:58.

@hqtの回答に加えて:

Kafka HAクラスターは2つのブローカーのみでセットアップできますが、本番環境で推奨されるレプリケーション係数3であるため、これを実現するには3つのブローカー必要です。

また、Confluentがリーダー選挙のKafkaへの移行に取り組んでいることを考慮する必要があります。したがって、将来的にはZookeeperが不要になり、Kafkaブローカーの数が奇数になる可能性があります。

Related questions

MORE COOL STUFF

ダイアナ妃は、8歳でウィリアム王子を寄宿学校に送るという決定に「涙を流した」

ダイアナ妃は、8歳でウィリアム王子を寄宿学校に送るという決定に「涙を流した」

ウィリアム王子が 8 歳のときに寄宿学校に通わせたことについて、ダイアナ妃がどのように感じたかを学びましょう。

シャキール・オニールは、レイカーズのスターが彼のチキン帝国を北テキサスに拡大するにつれて、ダラスの外に永住権を購入しました

シャキール・オニールは、レイカーズのスターが彼のチキン帝国を北テキサスに拡大するにつれて、ダラスの外に永住権を購入しました

Shaquille O'Neal は最近、Big Chicken レストラン帝国を拡大するため、ダラス郊外に住居を購入しました。

「90 日間の婚約者」: イヴが逮捕され、浮気スキャンダルの後、モハメドに対する家庭内暴力の容疑に直面している — 何が起こったのか?

「90 日間の婚約者」: イヴが逮捕され、浮気スキャンダルの後、モハメドに対する家庭内暴力の容疑に直面している — 何が起こったのか?

「90日の婚約者」シーズン9のスター、イヴ・アレラーノが逮捕され、モハメド・アブデルハメドへの暴行容疑で家庭内暴力の罪に問われている.

ナターシャ・リオンは、ピーウィー・ハーマンは「ビジネスで最高のGIFを送る」と言います

ナターシャ・リオンは、ピーウィー・ハーマンは「ビジネスで最高のGIFを送る」と言います

ナターシャ・リオンは、ピーウィー・ハーマン自身、ポール・ルーベンスと親密です。彼らの友情について彼女が言ったことを発見してください。

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

ショーン・ハニティーは「南北戦争」の意味を知らないようです

ショーン・ハニティーは「南北戦争」の意味を知らないようです

写真:APショーン・ハニティーは、彼の悪いテレビ番組を使って、私たちの悪い大統領のために毎晩サクラをしますが、彼はまた、毎日午後3時間の耐え難いほど放送されるラジオ番組を持っています。今日、彼はそのラジオ番組を使って、来たるべき内戦への恐れについて話しました。

シャーロッツビルの攻撃の目撃者を中傷するための訴訟で平手打ちされたインフォウォーズ

シャーロッツビルの攻撃の目撃者を中傷するための訴訟で平手打ちされたインフォウォーズ

バージニア州シャーロッツビルで開催された白人至上主義者集会での反対運動者の恐ろしい殺人の目撃者は、InfoWarsや他のいくつかのメディアを名誉毀損で訴えています。国務省の外交官であるブレナン・ギルモアは、彼が「深い国家」の陰謀の一部であったと主張することによって、アウトレットが彼のキャリアを傷つけたと主張している。

フェラーリは、ディーラーが中古フェラーリの走行距離計を変更することを故意に許可していることを認めています

フェラーリは、ディーラーが中古フェラーリの走行距離計を変更することを故意に許可していることを認めています

昨年、フェラーリが使用済みのフェラーリの走行距離計をロールバックしてその価値を劇的に(そして違法に)増加させる可能性のあるデバイスの使用を許可したと主張した、フェラーリの長年の営業担当者からの訴訟について報告したことを思い出してください。さて、デイリーメールの報告によると、フェラーリが何が起こっているのかを知っていて、それを承認したという証拠があります。

カニエ・ウェストは、私が今あなたに嘘をついているので、私が決して見るつもりはないという有名人の家族の確執のエピソードをちょうど録音しました

カニエ・ウェストは、私が今あなたに嘘をついているので、私が決して見るつもりはないという有名人の家族の確執のエピソードをちょうど録音しました

キム・カーダシアンとカニエ・ウェストは、2016年5月2日にニューヨーク市で開催されたメトロポリタン美術館のManus x Machina:Fashion In a Age ofTechnologyコスチュームインスティテュートガラに出席します。カーダシアン家のお騒がせ、クロエ&ラマー、私はケイト、カイリー、ケンダル・ゴー・ブラックボーイ・フィッシングのエピソードや、カーダシアンのショーの他の反復を見たことがありません。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

水門の修理

水門の修理

天王星と海王星の間の領域に向かって宇宙を 3/4 g の低温で航行しながら、私たちは数週間燃え続けていました。Dawson Trawler の科学者が Yggdrasil ポータルと呼んだもの。

美しいもの

美しいもの

女性として、私は通常、関係を築くことをためらっています。私はいつも彼らに負けないように苦労しました。私は誰かと共有したいという衝動と戦わなければなりません。

逃走中の女性からの発信

最も家が必要なときに家のように感じる場所はありません。

逃走中の女性からの発信

私は誰よりも移動しました。父が住んでいた土地には、父が 1 歳馬を折るミニチュアの競馬場がありました。

死にゆく男から学んだ最大の人生の教訓

彼は、私たちが持っているのはこの現在の瞬間だけであることを知るのが遅すぎました。

死にゆく男から学んだ最大の人生の教訓

ブラッドは、カーキ色のショート パンツとポロ シャツを着たまま、白いゴルフ グローブを両手で高く引っ張ったまま、ベッドルームに入ってきました。彼は満面の笑みを浮かべながら、「今年は私の人生で最高の年だったと思います!」と言いました。通常は保守的な消費者である私たちは、通常とは異なることをしました。

Language