IAMF - Ein offenes 3D-Audioformat ist in Sicht

IAMF steht für „Immersive Audio Model and Formats” und ist ein neues offenes Standardformat für immersives Audio, das häufig auch als 3D-Audio bezeichnet wird. Es wurde von Samsung und Google unter dem Dach der Alliance for Open Media entwickelt, die auch den AV1-Videocodec entwickelt hat. Im Gegensatz zu AV1 ist IAMF jedoch kein neuer Codec, sondern eine codecunabhängige Methode zur Beschreibung von 3D-Audioinhalten und deren beabsichtigter Wiedergabe.

Noch ein weiteres Format?

Da es bereits viele 3D-Audioformate wie MPEG-H, Dolby Atmos, DTS:X und andere gibt, stellt sich natürlich die Frage, warum noch ein weiteres Format benötigt wird. Ein großer Unterschied zu den bestehenden Formaten besteht darin, dass IAMF ein offenes und lizenzgebührenfreies Format ist, was bedeutet, dass für die Nutzung, Implementierung oder Produktion von Inhalten mit diesem Format keine Lizenzkosten anfallen. Es ist auch nicht an einen einzelnen Anbieter gebunden und nicht auf herstellerspezifische Codecs für die Audiodaten beschränkt, sodass Sie offene Codecs wie Opus, FLAC oder LPCM in IAMF verwenden können. Die Offenheit des Formats wird hoffentlich auch die Akzeptanz bei mehreren Anbietern fördern und schließlich den Weg für eine einfache Verbreitung von 3D-Audioinhalten an Endnutzer ebnen und es einzelnen Inhaltserstellern erleichtern, ihre Kreationen zu produzieren und zu verbreiten.

IAMF wurde speziell für den Einsatzbereich 3D-Audio entwickelt und bietet eine größere Flexibilität als bestehende offene Formate, da es verschiedene Arten von 3D-Audio enthalten kann, sei es Mehrkanal- oder Higher Order Ambisonics (HOA), und sogar Informationen darüber enthalten kann, wie diese für die endgültige Wiedergabe gemischt werden sollen. In der Praxis bedeutet dies, dass eine IAMF-Datei beispielsweise verschiedene 5.1.2-Audioelemente mit gesprochenen Inhalten in verschiedenen Sprachen und ein Ambisonic-Audioelement dritter Ordnung mit allen anderen Umgebungsgeräuschen enthalten kann. Diese werden entsprechend dem gewünschten endgültigen Lautsprecherlayout gerendert und dann gemäß den Angaben in der Datei miteinander gemischt. Dies ermöglicht eine effiziente Speicherung der Daten und bedeutet auch, dass keine vorgerenderten Mischungen für alle möglichen Sprachen erstellt werden müssen, was die Produktion vereinfacht. Das bedeutet auch, dass eine IAMF-Datei nicht auf ein bestimmtes Ausgabelayout beschränkt ist, sondern Mischungen für verschiedene Lautsprecherlayouts, Stereo- und binaurale Mischungen für Kopfhörer bereitstellen kann.

Annahme durch die Industrie

Das klingt zwar alles gut, aber es bleibt die Frage, ob IAMF tatsächlich von Verbrauchergeräten und -software unterstützt wird. Wie bereits erwähnt, wird die offene und lizenzgebührenfreie Natur hoffentlich dazu beitragen, die Akzeptanz in der gesamten Branche zu fördern. Google und Samsung sind zwei große Namen, die sich bereits für das Format engagieren und die Unterstützung auf ihren Plattformen und Produkten vorantreiben. Das kürzlich angekündigte Eclipsa Audio basiert auf IAMF und wird von einer kommenden Android-Version, Chrome und verschiedenen Geräten wie den neuen Fernsehern und Soundbars von Samsung unterstützt werden.

Im Open-Source-Bereich bietet FFmpeg in Version 7.0 nun Unterstützung für das Muxen und Demuxen von IAMF, was die Erstellung von IAMF-Dateien erleichtert. Der Open-Source-Mediaplayer VLC wird in der Hauptversion 4.0 ebenfalls die Wiedergabe von IAMF unterstützen, wobei die Rendering-Bibliothek libspatialaudio zum Einsatz kommt. Die nächste große FFmpeg-Version wird auch einen libspatialaudio-gestützten Filter enthalten, der HOA verarbeiten und in Lautsprecherlayouts rendern kann, oder binaurales Rendering für Kopfhörer unter Verwendung einer benutzerdefinierten HRTF-Datei.

Für Content-Ersteller, die sich selbst mit IAMF beschäftigen möchten, stehen Tools und Beispiele im GitHub-Repository IAMF Tools zur Verfügung. Content-Ersteller sind möglicherweise auch bereits mit ADM (Audio Definition Model) vertraut, für das es eine umfangreiche Produktionssuite, das EPS, gibt. Der resultierende ADM-Content kann dann mit den oben genannten IAMF-Tools in IAMF konvertiert werden. Natürlich existiert Audio nicht in einem Vakuum, daher wird IAMF für die endgültige Verteilung in der Regel in ISO BMFF (MP4) gemultiplext, das vollständig spezifiziert ist und die primäre Art der Verteilung darstellt. Dies wird auch bereits vollständig von FFmpeg unterstützt.

Für Projekte, die an der Implementierung von IAMF-Unterstützung interessiert sind, ist die Spezifikation frei verfügbar, und es gibt auch den Open-Source-Referenz-Renderer libiamf. Bemerkenswert ist auch das Projekt libspatialaudio, das für verschiedene 3D-Audio-Rendering- und Mixing-Aufgaben verwendet werden kann. Es ermöglicht das Echtzeit-Rendering von „Soundobjekten” (d. h. Mono-Dateien) über Amplituden-Panning, decodiert HOA in Lautsprecherlayouts oder binaural und kann ein Lautsprecherlayout auf ein anderes abbilden. Das Ziel ist es, Entwicklern auf einfache Weise Zugang zu immersivem Audio-Rendering zu ermöglichen, ohne dass sie über fundierte Kenntnisse der Techniken selbst verfügen müssen. Das binaurale Rendering in libspatialaudio unterstützt das Laden von SOFA-HRTF-Dateien, im Gegensatz zum Referenz-Renderer libiamf, der das Laden einer personalisierten oder bevorzugten HRTF ermöglicht. Dies kann die Qualität des Renderings für den Hörer weiter verbessern.

Und für diejenigen, die einfach nur neugierig sind und das immersive Audio von IAMF heute ohne spezielle Hardware erleben möchten, gibt es die IAMF Binaural Web Renderer Demo, die libiamf kompiliert zu WebAssembly im Browser ausführt und die IAMF-Dateien mit EBU's BEAR und einer vordefinierten HRTF für das Hören mit Kopfhörern rendert. Für diese Demo benötigen Sie also lediglich einen Kopfhörer, um immersives Audio selbst zu erleben. (Mit In-Ear-Kopfhörern funktioniert dies nicht gut.)

Fazit

IAMF ist ein vielversprechendes neues Format in der 3D-Audiolandschaft, das dazu beitragen könnte, immersive Audioerlebnisse einem breiteren Publikum zugänglich zu machen und die Erstellung und Bereitstellung zu erleichtern. Die Unterstützung von IAMF durch YouTube, Android, beliebte Player wie VLC und Tools wie FFmpeg ist ein wichtiger Schritt, um es weit verbreitet nutzbar zu machen, und die Offenheit des Formats wird hoffentlich dazu beitragen, die Akzeptanz weiter zu beschleunigen. Natürlich wird nur die Zeit zeigen, ob es sein Versprechen, immersives Audio für die Massen bereitzustellen, einlösen kann.