В PySpark вы можете определить схему и читать источники данных с помощью этой предопределенной схемы, например. грамм.:
Schema = StructType([ StructField("temperature", DoubleType(), True),
StructField("temperature_unit", StringType(), True),
StructField("humidity", DoubleType(), True),
StructField("humidity_unit", StringType(), True),
StructField("pressure", DoubleType(), True),
StructField("pressure_unit", StringType(), True)
])
Для некоторых источников данных можно вывести схему из источника данных и получить фрейм данных с этим определением схемы.
Можно ли получить определение схемы (в форме, описанной выше) из фрейма данных, где данные были выведены ранее?
df.printSchema()
печатает схему в виде дерева, но мне нужно повторно использовать схему, определив ее, как указано выше, чтобы я мог читать источник данных с этой схемой, которая была выведена ранее из другого источника данных.