Python/R: генерировать кадр данных из XML, когда не все узлы содержат все переменные?

pandas

import pandas as pd
from collections import defaultdict
import xml.etree.ElementTree as ET


xml_txt = """<data>
  <obs ID="a">
  <name> John </name>
  <hobby> tennis </hobby>
  <hobby> golf </hobby>
  <skill> python  </skill>
  </obs>
  <obs ID="b">
  <name> Robert </name>
  <skill> R </skill>
  </obs>
  </data>"""

etree = ET.fromstring(xml_txt)

def obs2series(o):
    d = defaultdict(list)
    [d[c.tag].append(c.text.strip()) for c in o.getchildren()];
    return pd.Series(d).str.join('|')

pd.DataFrame([obs2series(o) for o in etree.findall('obs')])

         hobby    name   skill
0  tennis|golf    John  python
1          NaN  Robert       R

Как это работает

• построить дерево элементов из строки. В противном случае сделайте что-нибудь вроде et = ET.parse('my_data.xml')
• etree.findall('obs') возвращает список элементов в структуре xml, которые являются 'obs' тегами.
• Я передаю каждый из них pd.Series конструктору obs2series
• Внутри obs2series я перебираю все дочерние узлы в одном элементе 'obs'.
• defaultdict по умолчанию равно list, что означает, что я могу добавить значение, даже если ключ не был замечен раньше.
• Я получаю словарь списков. Я передаю это pd.Series, чтобы получить серию списков.
• Используя pd.Series.str.join('|'), я конвертирую это в серию строк, как и хотел.
• Мое понимание списка в начале, которое зацикливалось на наблюдениях, теперь представляет собой список серий и готово для передачи конструктору pd.DataFrame.

Общее решение R, не требующее жесткого кодирования переменных.
Использование xml2 и purrr от tidyverse:

library(xml2)
library(purrr)

myxml %>% 
  xml_find_all('obs') %>%      
  # Enter each obs and return a df
  map_df(~{

    # Scan names
    node_names <- .x %>% 
      xml_children() %>% 
      xml_name() %>%
      unique()        

    # Remember ob
    ob <- .x

    # Enter each node
    map(node_names, ~{

      # Find similar nodes
      node <- xml_find_all(ob, .x) %>%
        xml_text(trim = TRUE) %>%
        paste0(collapse = '|') %>% 
        'names<-'(.x)
        # ^ we need to name the element to 
        #   overwrite it with its 'sibilings'

    }) %>% 
      # Return an 'ob' vector
      flatten()        
  })

#> # A tibble: 2 × 3
#>     name       hobby  skill
#>    <chr>       <chr>  <chr>
#> 1   John tennis|golf python
#> 2 Robert        <NA>      R

Что оно делает:

1. Он «входит» в каждый obs, находит и сохраняет имена узлов в этих наблюдениях.
2. Для каждого узла найдите все похожие узлы в obs, сверните их и сохраните в списке.
3. Сглаживает список, перезаписывая элементы с тем же именем.
4. rbind (неявно в map_df()) каждый "плоский" список в результирующий data.frame.

Данные:

myxml <- read_xml('
                  <data>
                  <obs ID="a">
                  <name> John </name>
                  <hobby> tennis </hobby>
                  <hobby> golf </hobby>
                  <skill> python  </skill>
                  </obs>
                  <obs ID="b">
                  <name> Robert </name>
                  <skill> R </skill>
                  </obs>
                  </data>
                  ')

XML

Создайте функцию, которая может обрабатывать отсутствующие или несколько узлов, а затем примените ее к obs узлам. Я добавил столбец id, чтобы вы также могли видеть, как использовать xmlGetAttr (используйте "." для узла obs и ведущий "." для других узлов, чтобы он относился к текущему узлу в наборе).

xpath2 <-function(x, ...){
    y <- xpathSApply(x, ...)
    ifelse(length(y) == 0, NA,  paste(trimws(y), collapse=", "))
}  
obs <- getNodeSet(doc, "//obs")   
data.frame( id = sapply(obs, xpath2, ".", xmlGetAttr, "ID"),
          name = sapply(obs, xpath2, ".//name", xmlValue),
       hobbies = sapply(obs, xpath2, ".//hobby", xmlValue),
         skill = sapply(obs, xpath2, ".//skill", xmlValue))

  id   name      hobbies  skill
1  a   John tennis, golf python
2  b Robert         <NA>      R

xml2

Я не очень часто использую xml2, но, возможно, возьму узлы obs, а затем применю xml_find_all, если есть повторяющиеся теги, вместо использования xml_find_first.

obs <-  xml_find_all(myxml, "//obs")  
lapply(obs, xml_find_all, ".//hobby")

data_frame(
     name = xml_find_first(obs, ".//name") %>% xml_text(trim=TRUE),
  hobbies = sapply(obs, function(x)  paste(xml_text( xml_find_all(x, ".//hobby"), trim=TRUE), collapse=", " ) ),
    skill = xml_find_first(obs, ".//skill") %>% xml_text(trim=TRUE)
)

# A tibble: 2 x 3
    name      hobbies  skill
   <chr>        <chr>  <chr>
1   John tennis, golf python
2 Robert                   R

Я протестировал оба метода с помощью файла medline17n0853.xml на ftp NCBI. Это файл размером 280 МБ с 30 000 узлов PubmedArticle, и XML-пакету потребовалось 102 секунды для анализа опубликованных идентификаторов, журналов и объединения нескольких типов публикаций. Код xml2 выполнялся 30 минут, а затем я его убил, так что это может быть не лучшим решением.

В R я бы, вероятно, использовал

library(XML)
lst <- xmlToList(xmlParse(myxml)[['/data']])
(df <- data.frame(t(sapply(lst, function(x) {
  c(x['name'], hobby=paste0(x[which(names(x)=='hobby')], collapse="|"))
}))) )
#       name           hobby
# 1    John   tennis | golf 
# 2  Robert   

и, возможно, сделать некоторую полировку, используя df[df==""] <- NA и trimws(), чтобы удалить пробелы.

Or:

library(xml2)
library(dplyr)
`%|||%` <- function (x, y) if (length(x)==0) y else x 
(df <- data_frame(
  names = myxml %>% 
    xml_find_all("/data/obs/name") %>% 
    xml_text(trim=TRUE), 
  hobbies = myxml %>% 
    xml_find_all("/data/obs") %>% 
    lapply(function(x) xml_text(xml_find_all(x, "hobby"), T) %|||% NA_character_)
))
# # A tibble: 2 × 2
#    names   hobbies
#    <chr>    <list>
# 1   John <chr [2]>
# 2 Robert <chr [1]>