Как справиться с ограничениями памяти в iOS 8 Photo Extensions?

Я разрабатываю расширение для редактирования фотографий для своей компании, и мы столкнулись с той же проблемой. Нашему внутреннему движку обработки изображений требуется более 150 МБ для применения к изображению определенных эффектов. И это даже не считая панорамных изображений, которые занимают около 100 МБ памяти на копию.

Мы нашли только два обходных пути, но не фактическое решение.

1. Уменьшение изображения и применение фильтра. Это потребует гораздо меньше памяти, но результат изображения ужасен. По крайней мере, расширение не будет падать.

or

2. Используйте CoreImage или Metal для обработки изображений. Когда мы проанализировали пример расширения для редактирования фотографий от Apple , который использует CoreImage, может обрабатывать очень большие изображения и даже панорамы без потери качества или разрешения. На самом деле, нам не удалось сломать расширение, загрузив очень большие изображения. Пример кода может обрабатывать панорамы с 40-мегабайтным просмотром памяти, что довольно впечатляет.

Согласно Руководству по программированию расширений приложений от Apple. , стр. 55, глава «Обработка ограничений памяти», решение проблемы нехватки памяти в расширениях заключается в просмотре вашего кода обработки изображений. На данный момент мы портируем наш движок обработки изображений на CoreImage, и результаты намного лучше, чем у нашего предыдущего движка.

Я надеюсь, что смог немного помочь. Марко Пайва

Если вы используете «рецепт» Core Image, вам вообще не нужно беспокоиться о памяти, как и сказал Марко. Никакое изображение, к которому применяются фильтры Core Image, не визуализируется до тех пор, пока объект изображения не будет возвращен в представление.

Это означает, что вы можете применить миллион фильтров к фотографии размером с рекламный щит на шоссе, и память не будет проблемой. Спецификации фильтра будут просто скомпилированы в свертку или ядро, и все они будут иметь одинаковый размер — несмотря ни на что.

Непонимание в отношении управления памятью, переполнения и т. п. можно легко исправить, ориентируясь на основные концепции выбранного вами языка программирования, среды разработки и аппаратной платформы.

Для этого достаточно документации Apple, знакомящей с программированием фильтров Core Image; если вам нужны конкретные ссылки на части документации, которые, по моему мнению, относятся именно к вашим проблемам, просто спросите.

Вот как вы применяете два последовательных ядра свертки в Core Image с «промежуточным результатом» между ними:

- (CIImage *)outputImage { 

const double g = self.inputIntensity.doubleValue;
const CGFloat weights_v[] = { -1*g, 0*g, 1*g,
                              -1*g, 0*g, 1*g,
                              -1*g, 0*g, 1*g};

CIImage *result = [CIFilter filterWithName:@"CIConvolution3X3" keysAndValues:
          @"inputImage", self.inputImage,
          @"inputWeights", [CIVector vectorWithValues:weights_v count:9],
          @"inputBias", [NSNumber numberWithFloat:1.0],
          nil].outputImage;

CGRect rect = [self.inputImage extent];
rect.origin = CGPointZero;

CGRect cropRectLeft = CGRectMake(0, 0, rect.size.width, rect.size.height);
CIVector *cropRect = [CIVector vectorWithX:rect.origin.x Y:rect.origin.y Z:rect.size.width W:rect.size.height];
result = [result imageByCroppingToRect:cropRectLeft];

result = [CIFilter filterWithName:@"CICrop" keysAndValues:@"inputImage", result, @"inputRectangle", cropRect, nil].outputImage;


const CGFloat weights_h[] = {-1*g, -1*g, -1*g,
    0*g,   0*g,   0*g,
    1*g,   1*g,     1*g};


result = [CIFilter filterWithName:@"CIConvolution3X3" keysAndValues:
          @"inputImage", result,
          @"inputWeights", [CIVector vectorWithValues:weights_h count:9],
          @"inputBias", [NSNumber numberWithFloat:1.0],
          nil].outputImage;

result = [result imageByCroppingToRect:cropRectLeft];

result = [CIFilter filterWithName:@"CICrop" keysAndValues:@"inputImage", result, @"inputRectangle", cropRect, nil].outputImage;

result = [CIFilter filterWithName:@"CIColorInvert" keysAndValues:kCIInputImageKey, result, nil].outputImage;

return result;

}