Aquí describiré un ejemplo de serialización de datos a través de Avro y su transferencia a Kafka. Para Avro hay un serializador de datos para Kafka, utiliza un registro de circuitos en su trabajo y admite el control de versiones en un servidor implementado por separado. Aquí solo habrá un serializador, y el control de versiones si es necesario, por ejemplo, se puede implementar, por ejemplo, en la base de datos.
Proyecto Github
![](https://habrastorage.org/webt/wq/qx/-h/wqqx-hr2x3qaa1ncobvewatfley.jpeg)
Así es como se verían los datos serializados preparados por Avro. Hay una descripción de encabezado de los datos y luego los datos en sí. Resulta compacto y rápido, no hay nombres de campo duplicados, el formato de datos es binario. Los datos se verifican cuando se agregan utilizando un esquema de datos.
Circuito de ejemplo:
{"namespace": "avro",
"type": "record",
"name": "Person",
"fields": [
{"name": "name", "type": "string"},
{"name": "age", "type": ["int", "null"]}
]
}
Usando Spring Shell, en el primer comando agrego a la lista de personas, verificando de acuerdo con el esquema Avro:
@ShellComponent
public class Commands {
private List<GenericRecord> records = new ArrayList<>();
@ShellMethod("add user to list for send")
public void add(String name, int age) {
GenericRecord record = new GenericData.Record(SchemaRepository.instance().getSchemaObject());
record.put("name", name);
record.put("age", age);
records.add(record);
}
GenericRecord es un registro Avro que se forma sobre la base del esquema.
public class SchemaRepository {
private static final String SCHEMA = "{\"namespace\": \"avro\",\n" +
"\"type\": \"record\",\n" +
"\"name\": \"Person\",\n" +
"\"fields\": [\n" +
" {\"name\": \"name\", \"type\": \"string\"},\n" +
" {\"name\": \"age\", \"type\": [\"int\", \"null\"]}\n" +
"]\n" +
"}\n";
private static final Schema SCHEMA_OBJECT = new Schema.Parser().parse(SCHEMA);
private static SchemaRepository INSTANCE = new SchemaRepository();
public static SchemaRepository instance() {
return INSTANCE;
}
public Schema getSchemaObject() {
return SCHEMA_OBJECT;
}
}
Agregar personas de shell a la consola y enviar el tema a Kafka:
![](https://habrastorage.org/webt/yy/zc/zs/yyzczslpgepbwrtvcnvwjvlxvgk.jpeg)
@ShellComponent
public class Commands {
private List<GenericRecord> records = new ArrayList<>();
final private KafkaTemplate template;
public Commands(KafkaTemplate template) {
this.template = template;
}
@ShellMethod("send list users to Kafka")
public void send() {
template.setDefaultTopic("test");
template.sendDefault("1", records);
template.flush();
records.clear();
}
Aquí está el serializador Avro para Kafka:
public class AvroGenericRecordSerializer implements Serializer<List<GenericRecord>> {
private Schema schema = null;
@Override public void configure(Map<String, ?> map, boolean b) {
schema = (Schema) map.get("SCHEMA");
}
@Override public byte[] serialize(String arg0, List<GenericRecord> records) {
byte[] retVal = null;
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
GenericDatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>(schema);
DataFileWriter dataFileWriter = new DataFileWriter<>(datumWriter);
try {
dataFileWriter.create(schema, outputStream);
for (GenericRecord record : records) {
dataFileWriter.append(record);
}
dataFileWriter.flush();
dataFileWriter.close();
retVal = outputStream.toByteArray();
} catch (IOException e) {
e.printStackTrace();
}
return retVal;
}
@Override public void close() {
}
}
Configuración del productor Kafka:
@Bean
public Map<String, Object> producerConfigs() {
Map<String, Object> props = new HashMap<>();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, properties.getBootstrapServers().get(0));
props.put(ProducerConfig.RETRIES_CONFIG, 0);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "com.example.model.AvroGenericRecordSerializer");
props.put("SCHEMA", SchemaRepository.instance().getSchemaObject());
return props;
}
La clase de serialización se especifica aquí: "com.example.model.AvroGenericRecordSerializer"
y el nuevo parámetro "SCHEMA" es un objeto de esquema, se necesita en AvroGenericRecordSerializer para preparar datos binarios
En el lado receptor en la consola, vemos los datos recibidos:
![](https://habrastorage.org/webt/qu/l8/il/qul8ilf8_nekkiexezjjjbdyph4.jpeg)
Deserializador Avro
public class AvroGenericRecordDeserializer implements Deserializer {
private Schema schema = null;
@Override
public void configure(Map configs, boolean isKey) {
schema = (Schema) configs.get("SCHEMA");
}
@Override
public Object deserialize(String s, byte[] bytes) {
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>(schema);
SeekableByteArrayInput arrayInput = new SeekableByteArrayInput(bytes);
List<GenericRecord> records = new ArrayList<>();
DataFileReader<GenericRecord> dataFileReader = null;
try {
dataFileReader = new DataFileReader<>(arrayInput, datumReader);
while (dataFileReader.hasNext()) {
GenericRecord record = dataFileReader.next();
records.add(record);
}
} catch (IOException e) {
e.printStackTrace();
}
return records;
}
}
Y similar al consumidor de Kafka:
@Bean
public Map<String, Object> consumerConfigs() {
Map<String, Object> props = new HashMap<>();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, properties.getBootstrapServers().get(0));
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "com.example.model.AvroGenericRecordDeserializer");
props.put("SCHEMA", SchemaRepository.instance().getSchemaObject());
return props;
}
Kafka usado de Docker wurstmeister / kafka-docker , puede usar cualquier otro
Proyecto Github
avro.apache