Как преобразовать данные разреженной матрицы в формат файла WEKA arff?

У меня есть разреженный матричный файл .txt, содержащий много чисел, но в основном 0. Вот пример из этого файла .txt:

0 0 0.271178 0 0 0 0.538776 0 -0.631228 0 0 -0.501485 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.438643 0 0 0 0 0 0.287754 0 0 0 0 0 0 0 0 0 0 0 0 -0.498918 0 0 0 0 0 0.475561 0 0 0 0 0 0 0 0 0 0 0 0.370479 0 -0.300765 0 -1.10987 0 0 0.163637 0 0 0 0 0 0 0.304006 0 0.181697 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -0.261758 0 0 0 0.153415 0.17412 0 -0.129725 0 0.17598 0 0 0 0 0 0 0 0.56053 0 0 -0.211302 0 0 0 0 0 0 0 0.213277 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.0698458 0 0 0 0.661972 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.376654 0 0 -0.604655 0 0 0 0 0 0.301025 0 0 -0.431324 0 0 -0.139445 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.404718 0.610013 -0.286108 0 0.46045 0 0 0 0 0 0 -0.193543 0 0 0 0 0 0 0 0.315063 0 0 -0.285598 0 0 0.206607 0

Что мне нужно сделать, так это просмотреть этот файл и преобразовать данные в Узнаваемый файловый формат WEKA, .arff, поэтому я могу запускать алгоритмы интеллектуального анализа данных в наборе данных. Кто-нибудь знает как это сделать? Я нашел несколько похожих вопросов на StackOverflow, которые похожи на мою проблему, однако они используют скрипт на языке AWK, и я никогда раньше не использовал программы .awk, поэтому я не мог заставить эти программы работать правильно. Вот ссылки на эти сообщения: 1 2


awk arff weka converter
person user3205160    schedule 16.04.2014    source источник
comment
Как должен выглядеть выходной файл?   -  person glenn jackman    schedule 16.04.2014

Ответы (2)


arrow_upward
1
arrow_downward

Просмотрел формат файла ARFF и вопросы, на которые вы ссылались.

Вы можете довольно легко встраивать awk-программы в сценарий оболочки, поэтому вы можете сделать это:

#!/bin/sh
file=$1
awk '
    BEGIN {print "@RELATION something\n"} 
    {
        data = sep = ""
        for (i=1; i<=NF; i++) {
            if ($i != 0) {
                printf "@ATTRIBUTE a_%d NUMERIC\n", i
                data = data sep $i
                sep = ","
            }
        print ""
        print "@DATA"
        print data
    }
' "$file"

Вызовите скрипт с помощью: bash script.sh data_file и посмотрите

@RELATION something

@ATTRIBUTE a_3 NUMERIC
@ATTRIBUTE a_7 NUMERIC
@ATTRIBUTE a_9 NUMERIC
@ATTRIBUTE a_12 NUMERIC
@ATTRIBUTE a_33 NUMERIC
@ATTRIBUTE a_39 NUMERIC
@ATTRIBUTE a_52 NUMERIC
@ATTRIBUTE a_58 NUMERIC
@ATTRIBUTE a_70 NUMERIC
@ATTRIBUTE a_72 NUMERIC
@ATTRIBUTE a_74 NUMERIC
@ATTRIBUTE a_77 NUMERIC
@ATTRIBUTE a_84 NUMERIC
@ATTRIBUTE a_86 NUMERIC
@ATTRIBUTE a_124 NUMERIC
@ATTRIBUTE a_128 NUMERIC
@ATTRIBUTE a_129 NUMERIC
@ATTRIBUTE a_131 NUMERIC
@ATTRIBUTE a_133 NUMERIC
@ATTRIBUTE a_141 NUMERIC
@ATTRIBUTE a_144 NUMERIC
@ATTRIBUTE a_152 NUMERIC
@ATTRIBUTE a_185 NUMERIC
@ATTRIBUTE a_189 NUMERIC
@ATTRIBUTE a_207 NUMERIC
@ATTRIBUTE a_210 NUMERIC
@ATTRIBUTE a_216 NUMERIC
@ATTRIBUTE a_219 NUMERIC
@ATTRIBUTE a_222 NUMERIC
@ATTRIBUTE a_238 NUMERIC
@ATTRIBUTE a_239 NUMERIC
@ATTRIBUTE a_240 NUMERIC
@ATTRIBUTE a_242 NUMERIC
@ATTRIBUTE a_249 NUMERIC
@ATTRIBUTE a_257 NUMERIC
@ATTRIBUTE a_260 NUMERIC
@ATTRIBUTE a_263 NUMERIC

@DATA
0.271178,0.538776,-0.631228,-0.501485,0.438643,0.287754,-0.498918,0.475561,0.370479,-0.300765,-1.10987,0.163637,0.304006,0.181697,-0.261758,0.153415,0.17412,-0.129725,0.17598,0.56053,-0.211302,0.213277,0.0698458,0.661972,0.376654,-0.604655,0.301025,-0.431324,-0.139445,0.404718,0.610013,-0.286108,0.46045,-0.193543,0.315063,-0.285598,0.206607

Но вы должны сообщить нам, если это то, что вы хотите вывести.

person glenn jackman    schedule 16.04.2014
comment
+1 за дополнительные 26 миль, чтобы исследовать проблему! Я просто собирался сказать ОП, чтобы он сократил свой ввод и опубликовал ожидаемый результат! - person Ed Morton; 17.04.2014

arrow_upward
0
arrow_downward

Отличный скрипт Glenn, но в нем отсутствует индекс и он помещается в имя атрибута. Что-то типа:

@attribute a_0 numeric
@attribute a_1 numeric
@attribute a_2 numeric
@attribute a_3 numeric
...

@data
{3 0.271178,...}

Это требуемый разреженный формат ARFF, чтобы избежать потери информации о позиции атрибута. Я рекомендую использовать плотный формат (просто CSV) и использовать фильтр WEKA NonSparseToSparse.

person Jose Maria Gomez Hidalgo    schedule 20.04.2014