티스토리 뷰

General

Google Protocol Buffer

구티맨 2022. 8. 9. 10:57

목차

    개요

    Protocol Buffer는 언어 및 플랫폼 중립적으로 사용할 수 있는 구조화된 데이터를 직렬화 할 수 있는 확장가능한 메커니즘 입니다.

    데이터를 직렬화 하여, 데이터의 크기를 줄이고 빠른 파싱 속도를 장점으로 실제 구글 내부에서도 다양하게 사용을 하고 있으며 ( gRPC, Google Cloud, Envoy Proxy 등 ) Avro 파일 포맷에서도 사용 하고 있습니다.

    Google에서 공식적으로 여러 언어에서 지원(오픈소스)을 할 뿐만 아니라, Third-Praty에 의해 여러 언어에 대해서 지원을 하고 있습니다.

     

    Protocol buffers workflow

    Protocol Buffer는 .proto 파일, 컴파일러, protocol buffer 라이브러리로 구성이 됩니다.

     : .proto 파일에서는 직렬화 할 메시지를 정의

     : 컴파일러는 .proto 파일에 정의된 메시지 값을 설정하고 직렬,역직렬화에 사용할 클래스 코드를 생성해 줍니다.

     : 라이브러리는 실제 직렬화, 역직렬화를 해주는 알고리즘 코드가 들어있습니다.

     

    // .proto file
    
    message Person {
      optional string name = 1;
      optional int32 id = 2;
      optional string email = 3;
    }
    // project code using PB Code
    
    Person john = Person.newBuilder()
        .setId(1234)
        .setName("John Doe")
        .setEmail("jdoe@example.com")
        .build();
    output = new FileOutputStream(args[0]);
    john.writeTo(output);

     

    활용

    하위/상위 호환성이 가능하기 때문에 구조화 된 데이터를 사용한다면 서버간의 통신 뿐만 아니라, 저장소에 데이터를 저장할 때도 유용하게 사용할 수 있습니다.

     

    제약사항

    1. 데이터가 수 MB가 넘어가는 경우는 적합하지 않고, memory에 한번에 올릴 수 있는 데이터 사이즈인지 고려해봐야 합니다.
      직렬화를 위해 여러 data copy가 발생하여 memory spike 하는 상황이 발생할 수 있습니다.
    2. 직렬화된 data는 서로 다른 여러 binary 직렬화를 가지기 때문에 직렬화된 data로는 같고 다름의 비교가 불가합니다.

     

     

     

     

     

     

    'General' 카테고리의 다른 글

    gRPC( Google Remote Procedure Call )  (0) 2022.08.10
    Google Protocol Buffer - 주요 상세 내용  (0) 2022.08.09
    스칼라 타입( scalar types )  (0) 2022.08.09
    댓글
    공지사항
    최근에 올라온 글
    최근에 달린 댓글
    Total
    Today
    Yesterday
    링크
    «   2024/11   »
    1 2
    3 4 5 6 7 8 9
    10 11 12 13 14 15 16
    17 18 19 20 21 22 23
    24 25 26 27 28 29 30
    글 보관함