Protocol Buffers

Posted on 2023/07/09, 8:28 AM By admin22

Remote Procedure Call で使われてきたデータフォーマットが、XMLのXML-RPC、JSONのJSON-RPCと使われてきましたが、どちらもHTTPのテキストデータであることから、バイナリデータのサイズが大きくなったり、データ変換の効率が悪かったりしました。そこでgRPCというHTTP/2のストリーム多重化通信の上に、バイナリデータを効率よく送ることができるフォーマットProtocol Buffersを最近よく見かけるようになりました。(gRPCのロードバランシングとか)
そこで、構造データのシリアライズ(marshalling)、デシリアライズ(unmarshalling)をしている部分を実際にためしてみました。（バイナリデータを確認）

「HTTP/2 packet」
https://decode.red/net/archives/79

Protocol Buffersの優れているところは開発言語を選ばないことです。.protoというファイルにデータ構造を定義すると、そのファイルからさまざまな言語のインターフェイスとなるコードを生成してくれます。これを利用してデータ変換をします。
ここではGo言語でテストしました。
またKubernetesの管理KVSであるetcdのValue値にもProtocol Buffersのエンコードが使われているようです。

「kubernetesのetcd上のデータを読み解く」
https://qiita.com/kuro_1116/items/358e82547e25c1c60820

あらゆるデータフォーマットの共通化は、この世界の過去の事例を見ても難しいことですが、データにアクセスする仕組み共通化するというアイディアによって、現実的になった感があります。

環境）
Mac Ventura / M2

参考）
https://qiita.com/nozmiz/items/fdbd052c19dad28ab067

コンパイラのダウンロード
https://github.com/protocolbuffers/protobuf/releases/
https://github.com/protocolbuffers/protobuf/releases/download/v23.4/protoc-23.4-osx-aarch_64.zip

内容

% ls bin
protoc
% ls include/google/protobuf
any.proto duration.proto struct.proto
api.proto empty.proto timestamp.proto
compiler field_mask.proto type.proto
descriptor.proto source_context.proto wrappers.proto

protoc は、＄GOPATH/bin に、include/googleフォルダは、コンパイルする.protoファイルと同じ場所に配置。

プラグインインストール

go get google.golang.org/protobuf/cmd/protoc-gen-go

確認

% protoc –version
libprotoc 23.4
% protoc-gen-go –version
protoc-gen-go v1.31.0

.proto ファイル取得

wget https://raw.githubusercontent.com/protocolbuffers/protobuf/main/examples/addressbook.proto

コンパイル

protoc addressbook.proto –go_out=./

下記に出力

github.com/protocolbuffers/protobuf/examples/go/tutorialpb/addressbook.pb.go

テストプログラム

https://github.com/protocolbuffers/protobuf/tree/main/examples/go/cmd

add_person でユーザ情報をコンソールからインタラクティブに登録してファイルに書き出し、list_peopleでファイルを読み込んで表示します。

addressbook.pb.go　がローカルでインポートできなかったため、（tutorialpbがgithubにないためか・・相対パスは禁止) 禁じ手ですが、/opt/homebrew/Cellar/go/1.20.5/libexec/src/example におきました。(要ソース変更)

実行の様子

—-

.protoファイルから Go言語ソースを生成し、それを呼び出してアプリケーションadd_person.go、list_people.goを作っています。

import変更部分

//pb “github.com/protocolbuffers/protobuf/examples/go/tutorialpb”
pb “example”

バイナリデータを確認できたことで、理解がふかまりました。

アメリカの物理学者リチャード・フィリップス・ファインマンの名言に「自分に作れないものは、理解できない」というものがあります。最近新しい概念やキーワードが飛び交うクラウド関連の学習をしていて特に響く言葉です。
今回のテストでもいろいろとドキュメントはあるのですが、実際に最後までやったものがなかったため、試すことにしました。こういうことはこれまでもよくあります。

まだまだ、調べたいことばかりですが、一つずつ消化していきたいと思います。

addressbook.proto

// See README.md for information and build instructions.
//
// Note: START and END tags are used in comments to define sections used in
// tutorials.  They are not part of the syntax for Protocol Buffers.
//
// To get an in-depth walkthrough of this file and the related examples, see:
// https://developers.google.com/protocol-buffers/docs/tutorials

// [START declaration]
syntax = "proto3";
package tutorial;

import "google/protobuf/timestamp.proto";
// [END declaration]

// [START java_declaration]
option java_multiple_files = true;
option java_package = "com.example.tutorial.protos";
option java_outer_classname = "AddressBookProtos";
// [END java_declaration]

// [START csharp_declaration]
option csharp_namespace = "Google.Protobuf.Examples.AddressBook";
// [END csharp_declaration]

// [START go_declaration]
option go_package = "github.com/protocolbuffers/protobuf/examples/go/tutorialpb";
// [END go_declaration]

// [START messages]
message Person {
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }

  repeated PhoneNumber phones = 4;

  google.protobuf.Timestamp last_updated = 5;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person people = 1;
}
// [END messages]

// See README.md for information and build instructions.

// Note: START and END tags are used in comments to define sections used in

// tutorials. They are not part of the syntax for Protocol Buffers.

// To get an in-depth walkthrough of this file and the related examples, see:

// https://developers.google.com/protocol-buffers/docs/tutorials

// [START declaration]

syntax = "proto3";

package tutorial;

import "google/protobuf/timestamp.proto";

// [END declaration]

// [START java_declaration]

option java_multiple_files = true;

option java_package = "com.example.tutorial.protos";

option java_outer_classname = "AddressBookProtos";

// [END java_declaration]

// [START csharp_declaration]

option csharp_namespace = "Google.Protobuf.Examples.AddressBook";

// [END csharp_declaration]

// [START go_declaration]

option go_package = "github.com/protocolbuffers/protobuf/examples/go/tutorialpb";

// [END go_declaration]

// [START messages]

message Person {

string name = 1;

int32 id = 2; // Unique ID number for this person.

string email = 3;

enum PhoneType {

MOBILE = 0;

HOME = 1;

WORK = 2;

}

message PhoneNumber {

string number = 1;

PhoneType type = 2;

}

repeated PhoneNumber phones = 4;

google.protobuf.Timestamp last_updated = 5;

}

// Our address book file is just one of these.

message AddressBook {

repeated Person people = 1;

}

// [END messages]

addressbook.pb.go

// See README.md for information and build instructions.
//
// Note: START and END tags are used in comments to define sections used in
// tutorials.  They are not part of the syntax for Protocol Buffers.
//
// To get an in-depth walkthrough of this file and the related examples, see:
// https://developers.google.com/protocol-buffers/docs/tutorials

// [START declaration]

// Code generated by protoc-gen-go. DO NOT EDIT.
// versions:
// 	protoc-gen-go v1.31.0
// 	protoc        v4.23.4
// source: addressbook.proto

package tutorialpb

import (
	protoreflect "google.golang.org/protobuf/reflect/protoreflect"
	protoimpl "google.golang.org/protobuf/runtime/protoimpl"
	timestamppb "google.golang.org/protobuf/types/known/timestamppb"
	reflect "reflect"
	sync "sync"
)

const (
	// Verify that this generated code is sufficiently up-to-date.
	_ = protoimpl.EnforceVersion(20 - protoimpl.MinVersion)
	// Verify that runtime/protoimpl is sufficiently up-to-date.
	_ = protoimpl.EnforceVersion(protoimpl.MaxVersion - 20)
)

type Person_PhoneType int32

const (
	Person_MOBILE Person_PhoneType = 0
	Person_HOME   Person_PhoneType = 1
	Person_WORK   Person_PhoneType = 2
)

// Enum value maps for Person_PhoneType.
var (
	Person_PhoneType_name = map[int32]string{
		0: "MOBILE",
		1: "HOME",
		2: "WORK",
	}
	Person_PhoneType_value = map[string]int32{
		"MOBILE": 0,
		"HOME":   1,
		"WORK":   2,
	}
)

(以下省略)

// See README.md for information and build instructions.

// Note: START and END tags are used in comments to define sections used in

// tutorials. They are not part of the syntax for Protocol Buffers.

// To get an in-depth walkthrough of this file and the related examples, see:

// https://developers.google.com/protocol-buffers/docs/tutorials

// [START declaration]

// Code generated by protoc-gen-go. DO NOT EDIT.

// versions:

// protoc-gen-go v1.31.0

// protoc v4.23.4

// source: addressbook.proto

package tutorialpb

import (

protoreflect "google.golang.org/protobuf/reflect/protoreflect"

protoimpl "google.golang.org/protobuf/runtime/protoimpl"

timestamppb "google.golang.org/protobuf/types/known/timestamppb"

reflect "reflect"

sync "sync"

)

const (

// Verify that this generated code is sufficiently up-to-date.

_ = protoimpl.EnforceVersion(20 - protoimpl.MinVersion)

// Verify that runtime/protoimpl is sufficiently up-to-date.

_ = protoimpl.EnforceVersion(protoimpl.MaxVersion - 20)

)

type Person_PhoneType int32

const (

Person_MOBILE Person_PhoneType = 0

Person_HOME Person_PhoneType = 1

Person_WORK Person_PhoneType = 2

)

// Enum value maps for Person_PhoneType.

var (

Person_PhoneType_name = map[int32]string{

0: "MOBILE",

1: "HOME",

2: "WORK",

}

Person_PhoneType_value = map[string]int32{

"MOBILE": 0,

"HOME": 1,

"WORK": 2,

}

)

(以下省略)

add_person.go

(上部省略)

// Main reads the entire address book from a file, adds one person based on
// user input, then writes it back out to the same file.
func main() {
	if len(os.Args) != 2 {
		log.Fatalf("Usage:  %s ADDRESS_BOOK_FILE\n", os.Args[0])
	}
	fname := os.Args[1]

	// Read the existing address book.
	in, err := ioutil.ReadFile(fname)
	if err != nil {
		if os.IsNotExist(err) {
			fmt.Printf("%s: File not found.  Creating new file.\n", fname)
		} else {
			log.Fatalln("Error reading file:", err)
		}
	}

	// [START marshal_proto]
	book := &pb.AddressBook{}
	// [START_EXCLUDE]
	if err := proto.Unmarshal(in, book); err != nil {
		log.Fatalln("Failed to parse address book:", err)
	}

	// Add an address.
	addr, err := promptForAddress(os.Stdin)
	if err != nil {
		log.Fatalln("Error with address:", err)
	}
	book.People = append(book.People, addr)
	// [END_EXCLUDE]

	// Write the new address book back to disk.
	out, err := proto.Marshal(book)
	if err != nil {
		log.Fatalln("Failed to encode address book:", err)
	}
	if err := ioutil.WriteFile(fname, out, 0644); err != nil {
		log.Fatalln("Failed to write address book:", err)
	}
	// [END marshal_proto]
}

(上部省略)

// Main reads the entire address book from a file, adds one person based on

// user input, then writes it back out to the same file.

func main() {

if len(os.Args) != 2 {

log.Fatalf("Usage: %s ADDRESS_BOOK_FILE\n", os.Args[0])

}

fname := os.Args[1]

// Read the existing address book.

in, err := ioutil.ReadFile(fname)

if err != nil {

if os.IsNotExist(err) {

fmt.Printf("%s: File not found. Creating new file.\n", fname)

} else {

log.Fatalln("Error reading file:", err)

}

// [START marshal_proto]

book := &pb.AddressBook{}

// [START_EXCLUDE]

if err := proto.Unmarshal(in, book); err != nil {

log.Fatalln("Failed to parse address book:", err)

}

// Add an address.

addr, err := promptForAddress(os.Stdin)

if err != nil {

log.Fatalln("Error with address:", err)

}

book.People = append(book.People, addr)

// [END_EXCLUDE]

// Write the new address book back to disk.

out, err := proto.Marshal(book)

if err != nil {

log.Fatalln("Failed to encode address book:", err)

}

if err := ioutil.WriteFile(fname, out, 0644); err != nil {

log.Fatalln("Failed to write address book:", err)

}

// [END marshal_proto]

}

list_people.go

(上部省略)  
// Main reads the entire address book from a file and prints all the
// information inside.
func main() {
	if len(os.Args) != 2 {
		log.Fatalf("Usage:  %s ADDRESS_BOOK_FILE\n", os.Args[0])
	}
	fname := os.Args[1]

	// [START unmarshal_proto]
	// Read the existing address book.
	in, err := ioutil.ReadFile(fname)
	if err != nil {
		log.Fatalln("Error reading file:", err)
	}
	book := &pb.AddressBook{}
	if err := proto.Unmarshal(in, book); err != nil {
		log.Fatalln("Failed to parse address book:", err)
	}
	// [END unmarshal_proto]

	listPeople(os.Stdout, book)
}

(上部省略)

// Main reads the entire address book from a file and prints all the

// information inside.

func main() {

if len(os.Args) != 2 {

log.Fatalf("Usage: %s ADDRESS_BOOK_FILE\n", os.Args[0])

}

fname := os.Args[1]

// [START unmarshal_proto]

// Read the existing address book.

in, err := ioutil.ReadFile(fname)

if err != nil {

log.Fatalln("Error reading file:", err)

}

book := &pb.AddressBook{}

if err := proto.Unmarshal(in, book); err != nil {

log.Fatalln("Failed to parse address book:", err)

}

// [END unmarshal_proto]

listPeople(os.Stdout, book)

}

About admin22

Categories: 未分類タグ: Go

About admin22

Recent Posts

Tag

Links

Archive