Предполагая, что это ваша точная проблема, вы, вероятно, могли бы просто адаптировать свое регулярное выражение и читать построчно (что не загрузит полный файл в память):

import re
matches = []
identifier_pattern = re.compile(r'Identifier: (.*?)$')
with open('huge_file') as f:
    for line in f:
        matches += re.findall(identifier_pattern, line)

print("matches", matches)

Вы можете контролировать формирование чанка и сделать его близким к 1024 * 1024 * 1024, в этом случае вы избежите пропущенных частей:

import re


identifier_pattern = re.compile(r'Identifier: (.*?)\n')
counter = 1024 * 1024 * 1024
data_chunk = ''
with open('huge_file', 'r') as f:
    for line in f:
        data_chunk = '{}{}'.format(data_chunk, line)
        if len(data_chunk) > counter:
            m = re.findall(identifier_pattern, data_chunk)
            print m.group()
            data_chunk = ''
    # Analyse last chunk of data
    m = re.findall(identifier_pattern, data_chunk)
    print m.group()

В качестве альтернативы вы можете пройти два раза по одному и тому же файлу с другой начальной точкой read (первый раз с: 0, второй раз с максимальной длиной совпадающей строки, собранной во время первой итерации), сохранить результаты в виде словарей, где key=[start position of matched string in file], эта позиция будет одинаковой для каждой итерации, поэтому слияние результатов не должно быть проблемой, однако я думаю, что было бы точнее выполнить слияние по начальной позиции и длине совпадающей строки.

Удачи!

Если файл построчный, объект file является ленивым генератором строк, он будет загружать файл в память построчно ( кусками), исходя из этого, вы можете использовать:

import re
matches = []
for line in open('huge_file'):
    matches += re.findall("Identifier:\s(.*?)$", line)

У меня есть решение, очень похожее на ответ Джека:

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

m = []
with open('huge_file', 'r') as f:
    for line in f:
        m.extend(identifier_pattern.findall(line))

Вы можете использовать другую часть API регулярных выражений, чтобы получить тот же результат:

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

m = []
with open('huge_file', 'r') as f:
    for line in f:
        pattern_found = identifier_pattern.search(line)
        if pattern_found:
            value_found = pattern_found.group(0)
            m.append(value_found)

Который мы могли бы упростить, используя выражение генератора и понимание списка

#!/usr/bin/env python3

import re

identifier_pattern = re.compile(r'Identifier: (.*)$')

with open('huge_file', 'r') as f:
    patterns_found = (identifier.search(line) for line in f)
    m = [pattern_found.group(0) 
         for pattern_found in patterns_found if pattern_found]

Если длина совпадающей строки результата известна, я думаю, что самый простой способ - кэшировать байты последнего фрагмента вокруг границы.

Предположим, что длина результата равна 3, сохраните последние 2 символа последнего фрагмента, а затем добавьте его в новый фрагмент для сопоставления.

Псевдокод:

regex  pattern
string boundary
int    match_result_len

for chunk in chunks:
    match(boundary + chunk, pattern)
    boundary = chunk[-(match_result_len - 1):]