General

Google Protocol Buffer

구티맨 2022. 8. 9. 10:57

목차

    개요

    Protocol Buffer는 언어 및 플랫폼 중립적으로 사용할 수 있는 구조화된 데이터를 직렬화 할 수 있는 확장가능한 메커니즘 입니다.

    데이터를 직렬화 하여, 데이터의 크기를 줄이고 빠른 파싱 속도를 장점으로 실제 구글 내부에서도 다양하게 사용을 하고 있으며 ( gRPC, Google Cloud, Envoy Proxy 등 ) Avro 파일 포맷에서도 사용 하고 있습니다.

    Google에서 공식적으로 여러 언어에서 지원(오픈소스)을 할 뿐만 아니라, Third-Praty에 의해 여러 언어에 대해서 지원을 하고 있습니다.

     

    Protocol buffers workflow

    Protocol Buffer는 .proto 파일, 컴파일러, protocol buffer 라이브러리로 구성이 됩니다.

     : .proto 파일에서는 직렬화 할 메시지를 정의

     : 컴파일러는 .proto 파일에 정의된 메시지 값을 설정하고 직렬,역직렬화에 사용할 클래스 코드를 생성해 줍니다.

     : 라이브러리는 실제 직렬화, 역직렬화를 해주는 알고리즘 코드가 들어있습니다.

     

    // .proto file

message Person {
  optional string name = 1;
  optional int32 id = 2;
  optional string email = 3;
}
    // project code using PB Code

Person john = Person.newBuilder()
    .setId(1234)
    .setName("John Doe")
    .setEmail("jdoe@example.com")
    .build();
output = new FileOutputStream(args[0]);
john.writeTo(output);

     

    활용

    하위/상위 호환성이 가능하기 때문에 구조화 된 데이터를 사용한다면 서버간의 통신 뿐만 아니라, 저장소에 데이터를 저장할 때도 유용하게 사용할 수 있습니다.

     

    제약사항

    1. 데이터가 수 MB가 넘어가는 경우는 적합하지 않고, memory에 한번에 올릴 수 있는 데이터 사이즈인지 고려해봐야 합니다.
      직렬화를 위해 여러 data copy가 발생하여 memory spike 하는 상황이 발생할 수 있습니다.
    2. 직렬화된 data는 서로 다른 여러 binary 직렬화를 가지기 때문에 직렬화된 data로는 같고 다름의 비교가 불가합니다.