En Kafka HA, por qué el número mínimo de corredores requerido es 3 y no 2

4
Swap 2019-11-08 05:55.

Estamos tratando de implementar Kafka HA utilizando el clúster kafka. Mientras hacíamos I + D, encontramos que el número mínimo de nodos recomendados para los agentes del zookeeper y kafka es 3.

Entendemos por qué zookeeper debe tener un mínimo de 3 nodos, porque para la elección del líder, el mínimo (n + 1) / 2 nodos debe estar en funcionamiento.

Pero no está claro por qué se requieren un mínimo de 3 corredores kafka. ¿Por qué no podemos implementar HA con 2 brokers kafka y 3 nodos zookeepr?

2 answers

4
hqt 2019-11-18 14:46.

El número mínimo de nodos de Zookeeper es 3 debido al atributo de quórum. Debería ser impar porque no se utiliza el número par de nodos. Por ejemplo: Zookeeper con un total de nodos de 8 se puede degradar a 7. Muchos nodos en Zookeepers tampoco son buenos debido al algoritmo de consenso. (por ejemplo: Paxos)

Para el clúster de Kafka, personalmente creo que está bien establecer 2 corredores. Pero es mejor con 3 corredores. La razón es mantener el ISR: réplicas sincronizadas.

Supongamos que su clúster de Kafka tiene 2 corredores. Para mantener la alta disponibilidad y la consistencia de los datos, estableceremos las réplicas y el ISR ambos en 2. La parte interesante es el atributo min-ISR. Si configura el min-ISR en 1, el líder falla, es probable que no tenga réplicas restantes. Si configura el min-ISR en 2, cuando falla el líder o el seguidor, ni el productor ni el consumidor pueden trabajar.

Si nuestro clúster Kafka tiene 3 brokers y establecemos el ISR igual a 3, el min-ISR es igual a 2. Con esta configuración, aceptamos el riesgo de perder 1 réplica (ya sea líder o seguidor) mientras trabajamos. Por ejemplo, si perdemos al líder, hay al menos un seguidor que está sincronizado para cambiar. Si perdemos uno de los seguidores, todavía nos queda un seguidor para mantener el min-ISR en 2.

1
Dina Bogdan 2019-11-18 14:58.

Además de la respuesta de @hqt:

Puede configurar un Kafka HA Cluster con solo 2 intermediarios, pero el factor de replicación recomendado para la producción es 3 , por lo que necesita 3 intermediarios para lograr esto.

También debe considerar que Confluent está trabajando para migrar la elección de líder a Kafka, por lo que en el futuro ya no necesitará Zookeeper, lo que posiblemente implicará tener un número impar de corredores de Kafka.

Related questions

MORE COOL STUFF

Cate Blanchett se acostó con su esposo después de 3 días juntos y sigue casada con él 25 años después

Cate Blanchett se acostó con su esposo después de 3 días juntos y sigue casada con él 25 años después

Cate Blanchett desafió los consejos típicos sobre citas cuando conoció a su esposo.

Por qué Michael Sheen es un actor sin fines de lucro

Por qué Michael Sheen es un actor sin fines de lucro

Michael Sheen es un actor sin fines de lucro, pero ¿qué significa eso exactamente?

¡La estrella de Hallmark, Colin Egglesfield, habla sobre emocionantes encuentros con fans en RomaDrama Live! [Exclusivo]

¡La estrella de Hallmark, Colin Egglesfield, habla sobre emocionantes encuentros con fans en RomaDrama Live! [Exclusivo]

¡La estrella de Hallmark, Colin Egglesfield, habló sobre los emocionantes encuentros con los fanáticos en RomaDrama Live! además de su programa INSPIRE en la convención.

Por qué no puedes transmitir 'Northern Exposure' en línea

Por qué no puedes transmitir 'Northern Exposure' en línea

Tendrás que desempolvar un reproductor de Blu-ray o DVD para ver por qué Northern Exposure se convirtió en uno de los programas más populares de los 90.

Dona tu cabello para ayudar a mantener limpia nuestra agua

Dona tu cabello para ayudar a mantener limpia nuestra agua

Los recortes de cabello de los salones y las donaciones personales se pueden reutilizar como tapetes que absorben los derrames de petróleo y ayudan a proteger el medio ambiente.

Una mirada a las bodas más memorables de la Casa Blanca

Una mirada a las bodas más memorables de la Casa Blanca

Solo unas pocas personas se han casado en la Casa Blanca en los últimos más de 200 años. ¿Quiénes eran y qué se requiere para marcar una boda allí?

¿Cuál es la toronja más dulce: blanca, roja o rosada?

¿Cuál es la toronja más dulce: blanca, roja o rosada?

¿Tu boca se emociona al pensar en comer una toronja jugosa? Bueno, frunce el ceño, porque la toronja está repleta de vitaminas y antioxidantes que tu cuerpo necesita.

¿Cuál es la diferencia entre levaduras secas instantáneas y activas?

¿Cuál es la diferencia entre levaduras secas instantáneas y activas?

La levadura es el componente mágico de la cocción que hace que la masa suba. Pero hay muchos tipos por ahí. ¿Cuál es el adecuado para tu receta?

NetSpot mapea su red Wi-Fi y diagnostica problemas de señal de forma gratuita

NetSpot mapea su red Wi-Fi y diagnostica problemas de señal de forma gratuita

OS X: NetSpot es una utilidad gratuita que facilita el mapeo de su red inalámbrica, realizar un estudio del sitio si tiene una particularmente grande para administrar y visualizar dónde la señal es fuerte y débil, y qué podría estar entrando en el camino. Hemos mencionado NetSpot antes, pero la aplicación ha recorrido un largo camino desde entonces.

Candace Cameron Bure se pelea con una drag queen, y eso es perfecto

Candace Cameron Bure se pelea con una drag queen, y eso es perfecto

Imágenes vía Instagram. Candace Cameron Bure, estrella de Fuller House, hermana de Kirk y ex conservadora rubia simbólica en The View, está actualmente envuelta en una amarga enemistad con la campeona de RuPaul's Drag Race, Bianca Del Rio (también conocida como Roy Haylock cuando se quedó sin drag).

Bueno, las comparaciones de Mike Tyson no estaban del todo mal

Bueno, las comparaciones de Mike Tyson no estaban del todo mal

Sí, eso parece morder. Después de ser nombrado Prospecto del Año 2020 por varias publicaciones, incluidas Sports Illustrated y The Athletic, Edgar Berlanga, de 25 años, fue aclamado como el puertorriqueño Mike Tyson.

Cómo luchar contra Fox News con mercados publicitarios en línea laberínticos

Cómo luchar contra Fox News con mercados publicitarios en línea laberínticos

Digamos que usted es una persona razonable que está razonablemente enojada con el manejo de las noticias por parte de Fox News. Tal vez sea la forma en que sus anfitriones arrojaron mentiras peligrosas en el punto álgido de la pandemia de COVID-19, o la forma en que continúan contando descaradamente la historia de la insurrección del 6 de enero.

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya Wishes Boyfriend Tom Holland Happy Birthday with Cuddly Photo: He 'Makes Me the Happiest'

Zendaya shared a sweet photo in honor of boyfriend Tom Holland's 26th birthday Wednesday

Emma Stone pone a la venta su casa en la playa de Cliffside Malibu por $ 4.2 millones: ¡vea el interior!

Emma Stone pone a la venta su casa en la playa de Cliffside Malibu por $ 4.2 millones: ¡vea el interior!

La casa de mediados de siglo del ganador del Oscar cuenta con tres dormitorios, dos baños y vistas al mar

Jeannie Mai Jenkins dice que "se deprimió mucho, mucho" durante su experiencia de amamantar

Jeannie Mai Jenkins dice que "se deprimió mucho, mucho" durante su experiencia de amamantar

"Te sientes tan derrotada cuando tu bebé tiene hambre que no estás produciendo lo suficiente para el bebé", dijo Jeannie Mai Jenkins sobre amamantar a su hija de 4 meses, Monaco.

La esposa de Bobby Brown, Alicia, no se enfoca en su pasado: "Bobby y Whitney fueron su momento, soy el Yin de su Yang"

La esposa de Bobby Brown, Alicia, no se enfoca en su pasado: "Bobby y Whitney fueron su momento, soy el Yin de su Yang"

La pareja de casi 10 años comparte su historia de amor antes de la nueva serie de realidad de A&E Bobby Brown: Every Little Step, que se estrenará el 31 de mayo.

Notas de inversión: Bioscout AU $ 3m Seed

Notas de inversión: Bioscout AU $ 3m Seed

Bioscout tiene la misión de poner a los agricultores en el asiento del conductor y estamos entusiasmados de respaldar al equipo en su última ronda de semillas junto con Artesian (GrainInnovate) y Uniseed. El problema La pérdida significativa de cosechas por enfermedades fúngicas ha resultado ser un calvario para los agricultores.

Pequeña investigación de mercado 1 | Quick Glimpse Telehealth Market en 2022

Pequeña investigación de mercado 1 | Quick Glimpse Telehealth Market en 2022

La telesalud no es nueva ni siquiera una vertical obsoleta en la era posterior a la pandemia. Pero cuando miramos más de cerca la industria, muestra una fuerte sostenibilidad en la demanda y la oferta y una fuerte curva de crecimiento potencial que sería una revolución constante en los EE. UU.

Clima de financiación de empresas emergentes: ¿Qué sigue para el ecosistema de empresas emergentes de Tailandia?

Clima de financiación de empresas emergentes: ¿Qué sigue para el ecosistema de empresas emergentes de Tailandia?

El año 2021 fue un año récord para la financiación de capital de riesgo (VC) a nivel mundial. El sudeste asiático no fue la excepción, ya que la región acuñó un récord de 25 nuevos unicornios en el año, según DealStreetAsia.

Más allá de la Ley de Moore

Más allá de la Ley de Moore

Existe una brecha que crece exponencialmente entre nuestro apetito por la computación y lo que puede ofrecer la Ley de Moore. Nuestra civilización se basa en la computación: debemos encontrar tecnologías que trasciendan las limitaciones actuales de la arquitectura y la imaginación.

Language