Вопросы по теме 'kryo'
Пользовательская сетевая библиотека и сериализация по сравнению с сериализацией по умолчанию и RMI
У меня есть этот класс, я отправляю этот класс через RMI и через kryonet и kryo, я получаю массив из 10 объектов как в случае rmi, так и в случае возврата удаленного вызова метода и в случае kryonet, эхо от сервера к клиенту с kryonet и крио, у меня...
242 просмотров
schedule
23.09.2022
Java Kryonet [Класс не зарегистрирован Исключение]
Я нашел этот API под названием Kryonet . Что ж, я попытался реализовать пример, представленный на странице проекта. Однако это не увенчалось успехом.
Код сервера:
public class KryoTest {
public KryoTest() throws IOException {
Server...
2811 просмотров
schedule
07.11.2022
Infinispan+kyro/Google Protocol Buffers для более эффективной сериализации с точки зрения пространства и времени?
Если я правильно понимаю, Infinispan/JBoss Cache использует собственный механизм сериализации Java, который может быть медленным и занимает относительно больше места для хранения. Я искал альтернативы, которые могут достичь следующего:...
729 просмотров
schedule
22.09.2022
Доступ к автономному приложению из веб-приложения
Это может быть глупый вопрос. но у меня нет выбора, чтобы прояснить это. У меня есть чат-сервер, работающий в системе локальной сети. И для целей тестирования я развернул свой апплет клиента чата на сервере tomcat. Как получить доступ к серверу с...
141 просмотров
schedule
26.03.2023
Как сериализовать/десериализовать объект с помощью Kryo с помощью интерфейса
Можно ли сериализовать/десериализовать объект с помощью Kryo, зарегистрировав интерфейс вместо конкретного класса?
В concreate мне нужно сериализовать объект Java 7 Path , который определен как в интерфейсе.
Я попытался написать сериализатор,...
941 просмотров
schedule
01.03.2024
Как сериализовать LocalDate Joda-Time с помощью Kryo
Я пытаюсь сериализовать с помощью Kryo класс, содержащий LocalDate из Joda-Time.
Похоже, мне понадобится специальный сериализатор.
Я нашел несколько сериализаторов Joda-Time в https://github.com/magro/kryo-serializers но нет для LocalDate....
925 просмотров
schedule
21.09.2022
Как сериализатор Kryo выделяет буфер в Spark
Пожалуйста, помогите понять, как сериализатор Kryo выделяет память для своего буфера.
В моем приложении Spark происходит сбой на этапе сбора, когда оно пытается собрать около 122 МБ данных для драйвера от рабочих процессов....
35897 просмотров
schedule
24.11.2022
Пользовательская сериализация в Apache Storm
Я пытаюсь добавить собственный сериализатор для своих объектов, который используется в Apache Storm Spouts/Bolts. Прямо сейчас мой код выглядит так:
conf.registerSerialization(MyService.class, MyKryoSerializer.class);
public class...
939 просмотров
schedule
02.05.2023
Опасные разрешения Android SnappyDB
Я обновляю приложение до android targetSdk = 23 и теперь работаю над запросами разрешений. Нужно ли мне получать какие-то опасные разрешения для библиотеки snappyDB (использует библиотека kryo внутри)? Я имею в виду именно эти разрешения:...
494 просмотров
schedule
02.11.2022
Отправка объекта через Kryonet вызывает сбой
Я пытаюсь отправить объекты с помощью Kryonet. Для большинства объектов это работает нормально, но для моей собственной реализации Vector происходит сбой. Класс регистрируется с обеих сторон. Он содержит пустой конструктор, и все переменные...
116 просмотров
schedule
16.03.2023
Как зарегистрировать byte[][] с помощью крио-сериализации для искры
Я пытаюсь полностью использовать крио-сериализацию для искры. Параметр
.set("spark.kryo.registrationRequired", "true")
Это позволит мне узнать, какие классы необходимо зарегистрировать. Я зарегистрировал около 40 классов, некоторые из моих...
2873 просмотров
schedule
09.02.2024
Неверные имена столбцов в наборе данных Spark
У меня есть следующий класс case:
case class Data[T](field1: String, field2: T)
Я использую сериализатор крио со следующими имплицитами:
implicit def single[A](implicit c: ClassTag[A]): Encoder[A] = Encoders.kryo[A](c)
implicit def...
1089 просмотров
schedule
01.04.2023
Сериализация объекта, используемого в foreachRDD() при CheckPointing
Согласно этому вопросу и документации, которую я прочитал, foreachRDD Spark Streaming( someFunction ) будет выполняться сама someFunction ТОЛЬКО в процессе драйвера, хотя, если были операции, выполненные на RDD, они будут выполняться на...
858 просмотров
schedule
27.05.2022
Регистр сериализации Spark kryo Тип данных []
Чтобы заставить Spark использовать сериализацию kryo, можно установить следующий параметр spark.kryo.registrationRequired .
Как я могу зарегистрироваться org.apache.spark.sql.types.DataType[] ?
Class is not registered:...
337 просмотров
schedule
20.12.2022
Потоковая передача Spark: com.esotericsoftware.kryo.KryoException: java.lang.IllegalArgumentException: класс не зарегистрирован: scala.Tuple2 $ mcJZ $ sp
Я пытаюсь использовать Kryo Serializer в искровом потоке. Я прочитал в документации по настройке Spark , что -
Наконец, если вы не зарегистрируете свои собственные классы, Kryo по-прежнему будет работать, но ему придется хранить полное имя...
3198 просмотров
schedule
05.02.2023
Akka Remoting: пользовательский сериализатор Kryo для org.opencv.core.Mat
У меня возникли проблемы с реализацией сериализатора Kryo для объекта org.opencv.core.Mat, представляющего, например. кадр видеофайла. Идея состоит в том, что Akka ActorSystem A отправляет видеокадр в оттенках серого в систему B, чтобы обнаружить в...
380 просмотров
schedule
04.09.2023
Ошибка при создании типизированных преобразований из данных JSON с классом case
Я пытаюсь создать строго типизированный набор данных для класса Case Person. Это мой код прямо сейчас:
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import scala.collection.mutable.ArrayBuffer
import...
1678 просмотров
schedule
16.03.2023
Как я могу получить журнал крио в проекте Akka
У меня есть проект Akka-кластера, разработанный на Java. Где я использовал криосериализацию. Как я могу получить журнал криосериализации? Я хочу знать все классы без сопоставления, потому что здесь idstrategy = "explict". В настоящее время, если я...
200 просмотров
schedule
24.02.2023
KryoException с отсутствующим конструктором без аргументов
Я боролся с проблемой, связанной с Kryo. У меня есть клиент-серверная архитектура и отправка сообщений через JMS с использованием Kryo. В одном из моих классов ответов у меня есть класс, имеющий класс javax.xml.datatype.Duration в качестве...
1255 просмотров
schedule
11.11.2022
Каковы плюсы и минусы сериализации java и сериализации kryo?
В Spark по умолчанию используется java-сериализация, если kryo настолько эффективен, почему он не установлен по умолчанию. Есть ли какие-то недостатки использования kryo или в каких сценариях мы должны использовать сериализацию kryo или java?
3022 просмотров
schedule
16.11.2023
