Синхронизация AVAudioEngine для воспроизведения и записи MIDI

Для синхронизации аудио/ввода часто бывает лучше создать эталонное время, а затем использовать это время для всех расчетов, связанных с синхронизацией.

AVAudioPlayerNode.play(at:) — это то, что вам нужно для плеера. Для крана вам необходимо отфильтровать (частичные) буферы вручную, используя время, указанное в закрытии. AVAudioSequencer, к сожалению, не имеет средства для запуска в определенное время, но вы можете получить эталонное время, соотнесенное с битом с уже играющим секвенсором, используя hostTime(forBeats). Если я правильно помню, вы не можете установить секвенсор в отрицательное положение, так что это не идеально.

Вот хакерский обходной путь, который должен дать очень точные результаты:

AVAudioSequencer должен быть запущен до получения эталонного времени, сместить все ваши миди-данные на 1, запустить секвенсор, затем сразу же получить эталонное время, соотнесенное с тактом 1, затем синхронизировать запуск проигрывателя с этим временем, а также использовать его чтобы отфильтровать нежелательный звук, захваченный касанием.

func syncStart() throws {
    //setup
    sequencer.currentPositionInBeats = 0
    player.scheduleFile(myFile, at: nil)
    player.prepare(withFrameCount: 4096)

    // Start and get reference time of beat 1
    try sequencer.start()
    // Wait until first render cycle completes or hostTime(forBeats) will err - AVAudioSequencer is fragile :/
    while (self.sequencer.currentPositionInBeats <= 0) { usleep(UInt32(0.001 * 1000000.0)) }
    var nsError: NSError?
    let hostTime = sequencer.hostTime(forBeats: 1, error: &nsError)
    let referenceTime = AVAudioTime(hostTime: hostTime)

    // AVAudioPlayer is great for this.
    player.play(at: referenceTime)

    // This just rejects buffers that come too soon. To do this right you need to record partial buffers.
    engine.inputNode.installTap(onBus: 0, bufferSize: 1024, format: nil) { (buffer, audioTime) in
        guard audioTime.hostTime >= referenceTime.hostTime else { return }
        self.recordBuffer(buffer: buffer)
    }
}

ответ dave234, к сожалению, не сработал для меня, потому что hostTime(forBeats:error:) продолжал падать даже после первого запуска секвенсора. (Это сработало, когда я отправил асинхронно после некоторой задержки, но это вызвало бы дополнительные сложности). Однако это дало ценную информацию о методах синхронизации, и вот что я сделал:

var refTime: AVAudioTime

if isMIDIPlayer {
    sequencer!.tracks.forEach { $0.offsetTime = 1 }
    sequencer!.currentPositionInBeats = 0

    let sec = sequencer!.seconds(forBeats: 1)
    let delta = AVAudioTime.hostTime(forSeconds: sec) + mach_absolute_time()
    refTime = AVAudioTime(hostTime: delta)

    try sequencer!.start()
} else {
    player!.prepare(withFrameCount: 4096)

    let delta = AVAudioTime.hostTime(forSeconds: 0.5) + mach_absolute_time()
    refTime = AVAudioTime(hostTime: delta)

    player!.play(at: refTime)
}

mixer.installTap(
    onBus: 0,
    bufferSize: 8,
    format: mixer.outputFormat(forBus: 0)
) { [weak self] (buffer, time) in
    guard let strongSelf = self else { return }
    guard time.hostTime >= refTime.hostTime else { print("NOPE"); return }

    do {
        try strongSelf.recordFile!.write(from: buffer)
    } catch {
        // TODO: Handle error
        print(error)
    }
}

Некоторое объяснение фрагмента кода:

• Я сделал общий AudioPlayer, который может воспроизводить как MIDI, так и другие файлы песен, и код взят из метода внутри AudioPlayer.
• sequencer используется для воспроизведения MIDI.
• player используется для других файлов песен.

Синхронизация воспроизведения MIDI использует аналогичный метод, например:

midi!.sequencer!.tracks.forEach { $0.offsetTime = 1 }

let sec = midi!.sequencer!.seconds(forBeats: 1)
let delta = AVAudioTime.hostTime(forSeconds: sec) + mach_absolute_time()
let refTime = AVAudioTime(hostTime: delta)

do {
    try midi!.play()
} catch {
    // TODO: Add error handler
    print(error)
}

song2.playAtTime(refTime)

Здесь midi — это объект AVAudioSequencer, а song2 — это AVAudioPlayerNode, который воспроизводит обычную песню.

Работает как шарм!