Проект, над которым я работаю, находится на стадии планирования / прототипирования, и мы хотели бы передать наши данные в Spark 3, используя закодированные в протоколе protobuf сообщения в Kafka и структурированную потоковую передачу. Мы создали прототип с использованием потоковой передачи искр (вместо структурированной потоковой передачи), где мы можем указать классы serde, которые будет использовать Kafka, но со структурированной потоковой передачей это явно другое.
Из того, что я читал до сих пор, кажется, что самым чистым подходом является использование scalapb. Документация для него кажется довольно простой (спасибо!), Однако я не могу определить, будет ли он работать с существующими сгенерированными классами Java protobuf или мне также придется создавать Scala-версии тех же файлов .proto.
Используя пример из документации @ https://scalapb.github.io/docs/sparksql может ли класс Person быть Java или Scala?
