Psycopg2 – Как включить значения «Null» при вставке словаря списка в таблицу в postgres?

Я анализирую свои файлы xml и сохраняю их в словаре списка, где я буду вставлять их в таблицу в posgres, используя psycopg2. Однако не все строки были вставлены в таблицы (только в наименьшее количество значений в списке). Вот фрагмент словаря списка:

dict_songs = {'title' : ['Need You Now', 'GTFO'...], 'format': ['MP4', 'MP3'...], 'type' : ['Country Pop', 'R&B Pop'..], 'year': [2010,2018..]}

dict_movie = {'title' : ['Searching', 'Sidewalk of New York'...], 'format': ['DVD', 'Blue Ray'...], 'type' : ['Thriller', 'Romcom'..], 'year': [2018..]

Когда я подсчитал длину каждого списка в словаре, выяснилось, что не все списки имеют одинаковую длину, например:

for key, value in dict_songs.items():
    #print value
    print(key, len([item for item in value if item]))

# The result is:
title 300000
format 189700
type 227294
year 227094

Название будет первичным ключом в таблице песен. Когда я вставил этот словарь в postgres, он показывает только 189700 записей, а не 300000. Я хочу, чтобы это было 300000, и поставил Null для нулевых (нет) значений. То же самое касается dict_movie

Это код, который я использую для вставки списка dict в таблицу:

keys = ['title', 'format', 'type','year']
insert_statement = 'insert into song_table (%s) values %s'
for t in zip(*(dict_songs[key] for key in keys)):
   cur.execute(insert_statement3, (AsIs(','.join(keys)),t))
myConnection.commit()

Любые идеи, почему или как это сделать? Благодарю вас!


python psycopg2 postgresql null insert-into
person LOR121    schedule 21.09.2018    source источник
comment
Должен ли проанализированный XML быть представлен в виде словаря списков? Если бы вы могли получить это как список небольших словарей, по одному для каждой записи, кажется, что обработка нулей была бы тривиальной.   -  person Devasta    schedule 21.09.2018
comment
Не совсем, это просто решение, которое у меня было до сих пор. Так что было бы лучше иметь список небольших диктовок? Можете ли вы привести пример того, как это сделать? Спасибо   -  person LOR121    schedule 21.09.2018

Ответы (1)


arrow_upward
0
arrow_downward

Я думаю, что проблема здесь в том, что вы не знаете, где находятся значения None/NULL. Представьте их в списках:

dict_songs = {
  'title' : ['Need You Now', 'GTFO', 'Titletest']
  'type' : ['Country Pop', 'R&B Pop']
}

Ваша таблица может иметь значения NULL в трех позициях, и в списках нет данных, которые могли бы намекнуть на правильное:

+ -------------+-------------+-------------+-------------+
| title        | type        | type        | type        |
+--------------+-------------+-------------+-------------+
| Need You Now | Country Pop | Country Pop | NULL        |
| GTFO         | R&B Pop     | NULL        | Country Pop |
| Jinglebells  | NULL        | R&B Pop     | R&B Pop     |
+--------------+-------------+-------------+-------------+

В ваших списках должны быть значения Нет, чтобы вы знали, куда поместить NULL в таблицу базы данных. Как это:

dict_songs = {
  'title' : ['Need You Now', 'GTFO', 'Titletest']
  'type' : ['Country Pop', None, 'R&B Pop']
}
person cuzi    schedule 21.09.2018
comment
Так должен ли я проверять каждую итерацию, являются ли это нулевыми значениями или нет? - person LOR121; 21.09.2018
comment
Вам необходимо убедиться, что вы добавляете значения None при преобразовании данных XML в списки. Списки должны иметь значения None в правильной позиции (я добавил список примеров в свой ответ). - person cuzi; 21.09.2018
comment
Если список исходит от разбора XML-файлов, как включить эти значения None в код? - person LOR121; 22.09.2018