Есть ли способ «uniq» по столбцу?

sort -u -t, -k1,1 file

• -u для уникальных
• -t, поэтому запятая является разделителем
• -k1,1 для ключевого поля 1

Результат испытаний:

[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F устанавливает разделитель полей.
• $1 — первое поле.
• _[val] ищет val в хеше _ (обычная переменная).
• ++ увеличить и вернуть старое значение.
• ! возвращает логическое "нет".
• в конце есть неявный отпечаток.

Чтобы рассмотреть несколько столбцов.

Отсортируйте и дайте уникальный список на основе столбца 1 и столбца 3:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : двоеточие является разделителем
• -k 1,1 -k 3,3 на основе столбца 1 и столбца 3

или если вы хотите использовать uniq:

<mycvs.cvs tr -s ',' ' ' | awk '{print $3" "$2" "$1}' | uniq -c -f2

дает:

1 01:05:47.893000000 2009-11-27 [email protected]
2 00:58:29.793000000 2009-11-27 [email protected]
1

Если вы хотите сохранить последний из дубликатов, которые вы можете использовать

 tac a.csv | sort -u -t, -r -k1,1 |tac

Что было моим требованием

здесь

tac будет переворачивать файл построчно

Вот очень прикольный способ.

Сначала отформатируйте содержимое таким образом, чтобы столбец, который будет сравниваться на предмет уникальности, имел фиксированную ширину. Один из способов сделать это — использовать awk printf со спецификатором ширины поля/столбца ("%15s").

Теперь параметры -f и -w uniq можно использовать для пропуска предшествующих полей/столбцов и для указания ширины сравнения (ширины столбцов).

Вот три примера.

В первом примере...

1) Временно сделайте для интересующего столбца фиксированную ширину, большую или равную максимальной ширине поля.

2) Используйте опцию -f uniq, чтобы пропустить предыдущие столбцы, и используйте опцию -w uniq, чтобы ограничить ширину до tmp_fixed_width.

3) Удалите конечные пробелы из столбца, чтобы «восстановить» его ширину (при условии, что перед этим не было конечных пробелов).

printf "%s" "$str" \
| awk '{ tmp_fixed_width=15; uniq_col=8; w=tmp_fixed_width-length($uniq_col); for (i=0;i<w;i++) { $uniq_col=$uniq_col" "}; printf "%s\n", $0 }' \
| uniq -f 7 -w 15 \
| awk '{ uniq_col=8; gsub(/ */, "", $uniq_col); printf "%s\n", $0 }'

Во втором примере...

Создайте новый столбец uniq 1. Затем удалите его после применения фильтра uniq.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; printf "%15s %s\n", uniq_col_1, $0 }' \
| uniq -f 0 -w 15 \
| awk '{ $1=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

Третий пример аналогичен второму, но для нескольких столбцов.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; uniq_col_2=8; printf "%5s %15s %s\n", uniq_col_1, uniq_col_2, $0 }' \
| uniq -f 0 -w 5 \
| uniq -f 1 -w 15 \
| awk '{ $1=$2=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

ну проще, чем изолировать столбец с awk, если нужно удалить все с определенным значением для данного файла, почему бы просто не сделать grep -v:

например удалить все со значением «col2» во второй строке: col1, col2, col3, col4

grep -v ',col2,' file > file_minus_offending_lines

Если этого недостаточно, поскольку некоторые строки могут быть неправильно разделены из-за того, что совпадающее значение отображается в другом столбце, вы можете сделать что-то вроде этого:

awk, чтобы изолировать столбец-нарушитель: например.

awk -F, '{print $2 "|" $line}'

-F устанавливает поле с разделителем в ",", $2 означает столбец 2, за которым следует какой-либо пользовательский разделитель, а затем вся строка. Затем вы можете отфильтровать, удалив строки, которые начинаются с оскорбительного значения:

 awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE

а затем удалить материал перед разделителем:

awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE | sed 's/.*|//g'

(обратите внимание: команда sed небрежна, потому что не включает экранирующие значения. Кроме того, шаблон sed действительно должен быть чем-то вроде «[^|]+» (т. е. что угодно, кроме разделителя). Но, надеюсь, это достаточно ясно.

Сначала отсортировав файл по sort, вы сможете затем применить uniq.

Кажется, файл отлично сортируется:

$ cat test.csv
[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv
[email protected],2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv | uniq
[email protected],2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
[email protected],2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

Вы также можете использовать магию AWK:

$ awk -F, '{ lines[$1] = $0 } END { for (l in lines) print lines[l] }' test.csv
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
[email protected],2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0