Как работать с нулевыми значениями в больших данных с помощью Python

У меня есть данные примерно с 1500 столбцами (функциями) и 900 строками данных. Я использую это для удаления значений, имеющих среднее значение менее 80%.

df1 = df.columns[df.isnull().mean() < .8]

Но, тем не менее, мой оставшийся набор данных содержит столбцы, содержащие около 6000 нулевых значений. Какой метод лучше всего использовать для удаления нулевых значений? Пожалуйста, направляйте. И было бы полезно вменять значения в такое большое количество нулевых значений? И я должен удалить нулевые значения при каком пороге? какой из них лучше? Например, у меня есть функции с пропущенными значениями 100 250 1500 2000 3500 4000 6000. нужна ваша инструкция помогите пожалуйста


person Alex    schedule 13.05.2021    source источник


Ответы (1)


Попробуй это

for col in df.columns:
    df = df[~pd.isnull(df[col])]
person Vivs    schedule 13.05.2021
comment
это удалит все столбцы с нулевыми значениями. я не думаю, что это хорошее решение ?? - person Alex; 13.05.2021
comment
Для какого столбца вы хотите удалить ?? - person Vivs; 13.05.2021
comment
конечно, не логично удалять столбец только с 10 или 1 значением, мы можем приписать значения там ... это не зависит от моего желания удалить - person Alex; 13.05.2021