Форматы данных для обучения и тестирования Vowpal Wabbit

Я пробую Vowpal Wabbit и сейчас выясняю форматы файлов, необходимые для обучения и тестирования. Я следил за руководством из https://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorial и убедитесь, что следующий формат обучающих данных:

0 | price:.23 sqft:.25 age:.05 2006
1 2 'second_house | price:.18 sqft:.15 age:.35 1976
0 1 0.5 'third_house | price:.53 sqft:.32 age:.87 1924

Для данных тестирования у меня нет меток или каких-либо выходных данных, а только функции. Как мне это написать? Я пробовал просто включать такие функции:

price:.23 sqft:.25 age:.05 2006
price:.18 sqft:.15 age:.35 1976
price:.53 sqft:.32 age:.87 1924

Но это дает мне исключения, поскольку это неправильный формат. Я также пробовал следующее, и все они дают мне только 0 в качестве результатов:

| price:.23 sqft:.25 age:.05 2006
| price:.18 sqft:.15 age:.35 1976
| price:.53 sqft:.32 age:.87 1924

0 0 0 | price:.23 sqft:.25 age:.05 2006
0 0 0 | price:.18 sqft:.15 age:.35 1976
0 0 0 | price:.53 sqft:.32 age:.87 1924

Любой формат, к которому я должен стремиться, зная только функции? Спасибо за помощь.


person intl    schedule 15.11.2014    source источник


Ответы (1)


Символ полосы (|) также должен быть в формате для прогнозов:

| price:.23 sqft:.25 age:.05 2006
| price:.18 sqft:.15 age:.35 1976
| price:.53 sqft:.32 age:.87 1924

Если вы не укажете правильные метки, vw, конечно, не сможет вычислить потери при тестировании. Чтобы получить прогнозы, используйте vw -d test_set.vw -t -p predictions.txt. Учебный набор в руководстве (всего три примера) слишком мал для обучения любой разумной модели.

person Martin Popel    schedule 15.11.2014
comment
Спасибо, Мартин. Простое для запоминания правило: думайте о крайнем левом символе | в каждой строке примера как о разделителе между 1) тем, что вы хотите предсказать (которое может быть пустым) слева, и 2) тем, что известно (входные функции), на Правильно. - person arielf - Reinstate Monica; 16.11.2014
comment
Как загрузить существующую модель, которую я вывел во время обучения? Я хочу использовать указанную модель, а также некоторые данные тестирования для вывода прогнозов в файл. - person intl; 17.11.2014
comment
@intl Как описано в github.com/JohnLangford/vowpal_wabbit/wiki/Tutorial vw -i house.model -t -d test.data -p predictions - person Martin Popel; 17.11.2014