Podcasts News Les Cast Codeurs Podcast LCC 193 - Interview Apache Kafka avec Florent Ramiere

LCC 193 - Interview Apache Kafka avec Florent Ramiere

Published: July 30, 2018, 7:06 a.m.

Florent Rami\xe8re vient discuter avec Emmanuel d\u2019Apache Kafka, de ses usages, son fonctionnement, son \xe9cosyst\xe8me. Et roule ma poule sur piste noire.

Enregistr\xe9 le 19 juillet 2018

T\xe9l\xe9chargement de l\u2019\xe9pisode LesCastCodeurs-Episode\u2013193.mp3

Interview Ta vie, ton \u0153uvre

Florent Rami\xe8re
@framiere
LinkedIn
Confluent

Kafka

Kafka en deux phrases
Apache Kafka
AMQP

Quels sont ses caract\xe9ristiques sp\xe9cifiques Pourquoi pas A-MQ Discussion only-once delivery, at-least-once, exactly once

Les cas d\u2019utilisations

Apache Spark Streaming
Apache flink

Partition

Discussion sur la dualit\xe9 change event / table

Les blogs de Ben Stopford
Debezium - Change Data Capture

La comp\xe9tition

L\u2019utilisation

Comment Kafka s\u2019utilise
Comment on l\u2019installe

Definition des partitions

  • A quoi \xe7a sert fonctionnellement le sharding
  • Comment choisir sa cl\xe9 de sharding

Apache Zookeeper

Comment je publie un message ?
Je dois stocker l\u2019index?

Protocol Kafka

Processing avec Kafka Streams
vs Spark Stream et Flink

Supervision
D\xe9mo de monitoring

Golden ratio

  • lag
  • partitions non r\xe9pliqu\xe9es
  • plusieurs leaders

Devoxx France Comment monitorer Kafka like a pro
Un tour de l\u2019environnement Kafka

Sous la capot

Apache Zookeeper

Pourquoi \xe7a scale ?
R\xe9plication
Batching
Latence

Les top 5/10 probl\xe8mes que tu vois chez les clients

  • pas de monitoring
  • pas compris le syst\xe8me de partition: sous provisionner
  • gestion de l\u2019ordre: li\xe9 \xe0 la production
  • codec: snappy

Producteurs
Pr\xe9sentation sur le producteur Kafka
Format des messages
Schema registry

Retention:

  • en temps
  • en byte

Compaction: avantages / inconv\xe9nients fonctionnels
Crypto-shredding

L\u2019\xe9cosyst\xe8me et la communaut\xe9

Kafka Connect
A Kafka Story

Kafka Stream
KSQL et son GitHub

Confluent Inc vs Apache Kafka

Apache Pulsar

Kafka Improvement Process

Ressources

Monitoring demo
A Kafka Story
Une d\xe9mo complete kafka, broker, ksql, connect etc
D\xe9ployer la stack via ansible
KSQL
Microservices
Resources Kafka
Bouquin Kafka the definitive guide gratuit
Kafka Improvment process
Kafka protocol
Le blog de confluent
Apache Pulsar
Debezium

Nous contacter

Faire un crowdcast ou une crowdquestion
Contactez-nous via twitter https://twitter.com/lescastcodeurs
sur le groupe Google https://groups.google.com/group/lescastcodeurs
ou sur le site web https://lescastcodeurs.com/

\xa0