Получить шаблоны в одном файле из другого, используя ack или awk или лучший способ, чем grep?

Вот однострочник Perl, который использует хэш для хранения набора нужных ключей из файла1 за O(1) (амортизированное время) поиска за итерацию по строкам файла2. Таким образом, он будет выполняться за время O(m+n), где m — количество строк в вашем наборе ключей, а n — количество строк в тестируемом файле.

perl -ne'BEGIN{open K,shift@ARGV;chomp(@a=<K>);@hash{@a}=()}m/^(\p{alpha}+)\s/&&exists$hash{$1}&&print' tkeys file2

Набор ключей будет храниться в памяти, пока файл2 будет проверяться построчно на соответствие ключам.

Вот то же самое с использованием параметра командной строки Perl -a:

perl -ane'BEGIN{open G,shift@ARGV;chomp(@a=<G>);@h{@a}=();}exists$h{$F[0]}&&print' tkeys file2

Вторая версия, вероятно, немного проще для глаз. ;)

Здесь вы должны помнить одну вещь: более вероятно, что вы привязаны к вводу-выводу, а не к процессору. Таким образом, цель должна состоять в том, чтобы свести к минимуму использование ввода-вывода. Когда весь набор ключей поиска содержится в хэше, который предлагает O (1) амортизированных поисков. Преимущество этого решения по сравнению с другими решениями заключается в том, что некоторым (более медленным) решениям придется запускать ваш ключевой файл (файл1) один раз для каждой строки файла2. Такое решение будет O(m*n), где m — размер вашего ключевого файла, а n — размер файла2. С другой стороны, этот хэш-подход обеспечивает время O(m+n). Это величина разницы. Его преимущество заключается в устранении линейного поиска по набору ключей и дополнительных преимуществах в том, что ключи считываются через ввод-вывод только один раз.

Ну ладно, если мы перешли от комментариев к ответам... ;-)

Вот однострочник awk, который делает то же самое, что и однострочник DavidO на perl, но в awk. Awk меньше и, возможно, компактнее, чем Perl. Но есть несколько разных реализаций awk. Я понятия не имею, будет ли ваш работать лучше, чем другие, или чем perl. Вам нужно будет провести бенчмаркинг.

awk 'NR==FNR{a[$0]=1;next} {n=0;for(i in a){if($0~i){n=1}}} n' file1 file2

Что (должно) это делать?

Первая часть awk-скрипта сопоставляет только строки в файле file1 (где номер записи в текущем файле равен общему количеству записей) и заполняет массив. Вторая часть (которая выполняется в последующих файлах) проходит по каждому элементу в массиве и проверяет, можно ли его использовать в качестве регулярного выражения для соответствия текущей входной строке.

Второй блок кода начинается с «n», который в предыдущем блоке был установлен либо на 0, либо на 1. В awk «1» оценивается как истина, а отсутствующий блок фигурных скобок считается эквивалентным {print}, поэтому, если предыдущий блок нашел совпадение, этот выведет текущую строку.

Если файл1 содержит строки вместо регулярных выражений, вы можете изменить это, чтобы он работал быстрее, заменив первое сравнение на if(index($0,i))....

Используйте с осторожностью. Ваш пробег может отличаться. Создан на объекте, который может содержать орехи.

nawk 'FNR==NR{a[$0];next}($1 in a)' file3 file4

проверено:

pearl.384> cat file3
a
c
e
pearl.385> cat file4
a  1 
b  2 
c  3 
d  4 
e  5
pearl.386> nawk 'FNR==NR{a[$0];next}($1 in a)' file3 file4
a  1 
c  3 
e  5
pearl.387>

TXR может быть еще одним вариантом выполнения ваших требований. Я слишком новичок в этом, чтобы писать то, что вам нужно, но автор часто участвует в StackOverflow. Хотя я уверен, что вы можете делать то, что вам нужно с TXR, но я не уверен, что он будет работать лучше. Вам нужно будет протестировать.

Стоит посмотреть, если вас интересует целый язык, посвященный сопоставлению с образцом. :)

Вы можете преобразовать файл в регулярное выражение для подтверждения с помощью tr. Я использовал sed для удаления символа завершающей трубы.

ack "`tr '\n' '|' ‹ patts | sed 's/.$//'`"

Обратите внимание, что для этого вам нужна пара процессов, поэтому решение awk, вероятно, более эффективно, но его довольно легко запомнить.