AVFoundation: Video to OpenGL texture working - How to play and sync audio?

Question

Ich habe es geschafft, eine Videospur eines Films Bild für Bild in eine OpenGL Textur mit AVFoundation . Ich habe die Schritte befolgt, die in der Antwort hier beschrieben sind: iOS4: Wie kann ich eine Videodatei als OpenGL-Textur verwenden? und nahm etwas Code aus dem GLVideoFrame Probe von WWDC2010 die heruntergeladen werden können aquí .

Wie kann ich die Audiospur des Films synchron zum Video abspielen? Ich denke, es wäre keine gute Idee, ihn in einem separaten Player abzuspielen, sondern die Tonspur desselben Films zu verwenden. AVAsset .

AVAssetTrack* audioTrack = [[asset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0];

Ich rufe ein Videoframe und seinen Zeitstempel im CADisplayLink-Callback über

CMSampleBufferRef sampleBuffer = [self.readerOutput copyNextSampleBuffer];
CMTime timestamp = CMSampleBufferGetPresentationTimeStamp( sampleBuffer );

donde readerOutput ist vom Typ AVAssetReaderTrackOutput*

Wie erhält man die entsprechenden Audio-Samples? Und wie kann man sie abspielen?

---

Edit :

Ich habe mich ein wenig umgesehen und denke, dass es am besten wäre, die AudioQueue de la AudioToolbox.framework mit dem hier beschriebenen Ansatz: AVAssetReader und Audio Queue Streaming Problem

Es gibt auch einen Audioplayer in der AVFoundation : AVAudioPlayer . Aber ich weiß nicht genau, wie ich die Daten an das System übergeben soll. initWithData -Initialisierungsprogramm, das Folgendes erwartet NSData . Außerdem glaube ich nicht, dass es die beste Wahl für meinen Fall ist, weil eine neue AVAudioPlayer -Instanz müsste für jedes neue Stück Audio-Samples erstellt werden, so wie ich es verstehe.

Haben Sie noch andere Vorschläge? Wie kann ich die rohen Audiosamples, die ich von der Software erhalte, am besten abspielen? AVAssetReaderTrackOutput ?

Answer 1

Sie wollen eine AV-Komposition machen. Sie können mehrere Medienquellen, die zeitlich synchronisiert sind, in einer Ausgabe zusammenführen.

http://developer.apple.com/library/ios/#DOCUMENTATION/AVFoundation/Reference/AVComposition_Class/Reference/Reference.html