ソニーのオーディオを“高音質化”する方法「DSEE」って知ってる？

2023年12月24日9:00 公開

本ページはアフィリエイトプログラムによる収益を得ています

Bluetoothに対応するワイヤレスオーディオでハイレゾ再生が楽しめる環境が拡大しています。そのひとつの例がソニーのAndroidスマートフォンXperiaシリーズや、左右独立型ワイヤレスイヤホン「WF-1000XM5」。これらにはさまざまな音源を“ハイレゾ級”の音質に変換する機能があります。

2007年に誕生して、現在はAI（人工知能）の技術まで組み込んだソニー独自の高音質化技術「Digital Sound Enhancement Engine（DSEE）」が進化してきた過程と、イマーシブオーディオ時代に向けた今後の展望を、「DSEE」の生みの親であるソニーの知念徹氏にインタビューしました。

ソニー（株）パーソナルエンタテインメント事業部の知念徹氏

関連記事: 「WF-1000XM5」についてはこちら

ソニー「WF-1000XM5」ついに発表！小型ボディに世界最高ノイキャンを搭載

ソニーの大人気完全ワイヤレスイヤホン「WF-1000X」シリーズの最新モデル「WF-1000XM5」がついに発表！世界最高ノイキャンを謳う注目モデルを徹底解説します。

2023/07/25 10:06; 「DSEE Ultimate」の試聴レポートはこちら

TWSと組み合わせが最適解!? ソニー小型ウォークマン「NW-A300」の魅力を探る

「DSEE Ultimate」でストリーミングサービスも高音質で楽しめるようになった新型ウォークマン「NW-A300」シリーズ。LDAC対応のTWSと組み合わせてその魅力を探ります。

2023/01/27 11:00

圧縮音源を高音質化するために開発された「DSEE」

「ハイレゾ」（ハイレゾリューション・オーディオ）という言葉も一般に浸透していなかった2007年ごろはMP3にAAC、WMAやソニーのATRACなどの非可逆圧縮方式によるデジタル音楽ファイルが普及していました。当時の圧縮音源は44.1kHz/16bitのCD音質よりも音質が劣っていたことから、「圧縮音源をCD相当まで高音質化する技術」としてソニーが「DSEE」を開発しました。最初はネットワークウォークマン®、据え置きコンポーネントのNETJUKEなどに搭載されました。

2013年にはソニーが初のハイレゾ対応ウォークマン「NW-ZX1」「NW-F880シリーズ」を発売した際、DSEEもハイレゾ対応の「DSEE HX」に最初の大きな進化を遂げています。

「従来のDSEEはCD音質の44.1kHz（ナイキスト周波数は約22.05kHz［※］）をターゲットとして位置付けていました。ところがハイレゾになると96kHz（ナイキスト周波数は48kHz）までがターゲットになるので、予測復元の幅が一気に広がりました。サンプリング周波数が上がると計算量も増えます。総称して「DSEE HX」として呼んでいましたが、ポータブルオーディオ機器の場合は電池の持ちも使い勝手に関わってくるため、製品によって復元可能な周波数帯域の上限は変えています」

※サンプリング周波数の半分の周波数までの再現が可能ということ

ハイレゾ対応の「DSEE HX」を初めて搭載したウォークマン「NW-ZX1」

初のハイレゾ対応ウォークマンにもAIの技術が使われていた

このときにはまだ「DSEE」にAIの技術は載っていなかったのでしょうか。

「『DSEE HX』は音源の高音域をアップスケーリング処理によって予測復元する技術です。この高音域の出方は楽器の種類、あるいは男性・女性のボーカルなどによって違ってきます。そこで、楽曲を構成する楽器の種類、男女のボーカルの違いなどを識別するため、今で言うところのAIの技術を使っていました。10年も前のAI技術なので、現在の最先端のものよりもだいぶシンプルですが、入力されたオーディオ信号を時々刻々と識別して、その結果に基づいて高音域を予測し復元するというアルゴリズムが『DSEE HX』にも採用されていました」

当時オーディオ機器が搭載する演算処理のチップは現在使われているものに比べてパフォーマンスの限界がありました。そのため入力信号を識別判定するところにだけAIの技術が使われていました。機能の名称にもAIを付けずに「楽器自動判定」と呼んでいたそうです。

その後、2020年にはAIの技術を使って周波数帯域を拡張する「DSEE Extreme」が登場します。行っているアップスケーリング処理は「DSEE HX」とどのように違うのでしょうか。

本格的にAIの技術を採用した「DSEE Extreme」。楽器やボーカルの音をディティールまで予測しながらサンプリング周波数のアップスケーリングを行い、ハイレゾ相当の音質に高めます

「DSEE」が本格的なAI対応を実現：「Extreme」と「Ultimate」の違いは？

「『DSEE HX』では先述のとおり、その数は非公表ですが高音域の特性パターンをいくつか持たせて、入力された音源に最適なアップスケーリング処理を行っていました。対する『DSEE Extreme』ではAIのディープ・ニューラル・ネットワーク（DNN）技術を駆使して、入力されたオーディオ信号に応じてスペクトル包絡（エンベロープ）、つまり振幅の外形のパターンを無数に予測します。楽器の演奏の仕方やボーカルのマイキング（マイクの設定）によって異なる音の出方などを細かく解析、予測しながら失われた成分を補完、最適化します」

「DSEE Ultimate」は最初にスマートフォンの「Xperia」に搭載され、後にストリーミング対応ウォークマンに展開された技術です。AIによる拡張処理をサンプリング周波数だけでなくビット深度に対しても行うところが「DSEE Extreme」との違いです。

「ビット深度のAI拡張まで行う『DSEE Ultimate』は演算処理に大きなリソースを必要とします。そのため、パワフルなチップセットや大容量のバッテリーを搭載できる『Xperia 1 II』（2020年発売）から搭載が始まりました。オーディオ向けのチップセットも処理能力や省電力効率が日々向上しているので、ワイヤレスヘッドホンやイヤホンで『DSEE Ultimate』を動かすことも技術上はできますが、製品全体のバッテリー持ちに影響します。アクティブノイズキャンセリングや、ヘッドホンを装着したまま会話をするためのスピーク・トゥ・チャットなど、ユーザーがソニーの最新モデルに求める機能はほかにも沢山あります。限られたチップのパフォーマンスをどの機能に振るのか、製品の特性に合わせて最適化することも大切です。そのため、現在ソニーのワイヤレスヘッドホン・イヤホンには『DSEE Ultimate』ではなく『DSEE Extreme』が採用されています」

サンプリング周波数とビット深度の拡張、両方をAIの技術によって行うDSEE Ultimateを搭載した「Xperia 1 V」

360 Reality Audioの「リアル化」にDSEEが使えないのか

「DSEE Ultimate」は登場から数年が経ち、今は最新モデルの「Xperia 1 V」にも搭載されています。知念氏は圧縮音源の高音質化技術としての「DSEE」は「Ultimateでひと区切りができた」と語っています。かたや、オーディオを必要とするエンターテインメントは今もなお進化を続けています。

たとえばソニーの立体音響技術を活用し、空間で臨場感溢れる音場を実現する音楽体験である「360 Reality Audio」のサウンドも、「DSEE」の技術を使えば「空間を拡張」して、よりリアルな体験になり得るのでしょうか。

知念氏は「現時点では何もコメントできない」としながら、次のように話しています。

「私は『360 Reality Audio』の技術開発にも携わっています。『360 Reality Audio』はまだ生まれたての技術です。現在は世界のクリエイターの方々に『360 Reality Audio』による音楽制作に取り組んでもらいながら、再生可能な環境を拡大することに注力しています。そのためまだ音源を“復元”するという段階には至っていないと考えています」

360度全天球周囲からサウンドに包まれるようなリスニング感を特徴とするソニーの「360 Reality Audio」。「DSEE」の技術を投入すればさらに豊かな没入体験が楽しめそうです

「DSEE」を必要とする環境は拡大している

ソニー・ホンダモビリティが日本では2026年中に発売を予定するスマートEV（電気自動車）の「AFEELA（アフィーラ）」のプロトタイプには、「360 Reality Audio」に対応する車載エンターテインメントシステムが搭載されています。次世代モビリティの車内空間に心地よい音を満たすために、「DSEE」をベースとする高音質化技術をさらに発展させる計画はないのか、知念氏に水を向けてみました。

「当然考えるべきですが、2つのスピーカーによるステレオ再生の信号処理で完結するヘッドホンやイヤホンに対して、自動車の場合は車内に数多くのスピーカーが配置されています。DSPの演算量も途方もない規模になるため、従来とはまた違うアプローチが求められると思います」

ソニー・ホンダモビリティの「AFEELA」プロトタイプは「360 Reality Audio」にも対応するリッチなサウンドシステムを搭載したスマートEVです

あるいはメタバースの中でアバター同士で会話を交わす際に、「DSEE」の技術で「声のリアリティ」を求めることも考えられそうですが、そこにある課題を知念氏が指摘しています。

「『DSEE』はもとより音楽リスニングの音質改善を目的に開発されているため、音声の信号処理にともなう遅延の発生を想定していません。メタバースの空間内で音声チャットを楽しむような用途を考えた場合、音声の品質改善を図るためには、同時にワイヤレスの双方向通話時に付いて回る『遅延』の課題解決を考える必要があります」

ハイレゾに対応する音楽ストリーミングサービスは、フランスの「Qobuz（コバズ）」が日本本格上陸を迎える（※）こともあって、再び盛り上がりつつあります。いっぽうで、元がハイレゾではない楽曲も、「DSEE Extreme」を搭載するワイヤレスイヤホンやヘッドホンで聴くことで、多くの音楽ファンが「いい音」をより身近に感じられるようになれば、これもまた意義深いことだと思います。リッチなオーディオ体験をさまざまなコンテンツとデバイスで楽しめる環境をつくってきた「DSEE」の今後の展開にも注目しましょう。

※「Qobuz」の日本でのサービス開始は2023年12月25日現在、延期が告知されています。

「DSEE Ultimate」「DSEE Extreme」に対応するソニーの現行主力モデル

【DSEE Ultimate】

SONY
Xperia 1 V SIMフリー
価格.com最安価格144,100円（発売日：2023年7月14日）
売れ筋ランキング184位

価格.comで見る

SONY
Xperia 5 V SIMフリー
価格.com最安価格129,800円（発売日：2023年10月27日）
売れ筋ランキング55位

価格.comで見る

SONY
Xperia 1 IV SIMフリー
価格.com最安価格- 円（発売日：2022年9月16日）
売れ筋ランキング- 位

価格.comで見る

SONY
Xperia 10 V SIMフリー
価格.com最安価格- 円（発売日：2023年8月4日）
売れ筋ランキング- 位

価格.comで見る

SONY
NW-WM1ZM2 [256GB]
価格.com最安価格314,626円（発売日：2022年3月25日）
売れ筋ランキング13位

価格.comで見る

SONY
NW-WM1AM2 [128GB]
価格.com最安価格143,763円（発売日：2022年3月25日）
売れ筋ランキング10位

価格.comで見る

SONY
NW-ZX707 [64GB ブラック]
価格.com最安価格70,759円（発売日：2023年1月27日）
売れ筋ランキング3位

価格.comで見る

SONY
NW-A306 [32GB]
価格.com最安価格33,780円（発売日：2023年1月27日）
売れ筋ランキング1位

価格.comで見る

SONY
NW-A307 [64GB]
価格.com最安価格43,500円（発売日：2023年1月27日）
売れ筋ランキング9位

価格.comで見る

【DSEE Extreme】

SONY
WF-1000XM5
価格.com最安価格25,062円（発売日：2023年9月1日）
売れ筋ランキング1位

価格.comで見る

SONY
LinkBuds S WF-LS900N
価格.com最安価格18,280円（発売日：2022年6月3日）
売れ筋ランキング71位

価格.comで見る

SONY
WH-1000XM4
価格.com最安価格29,776円（発売日：2020年9月4日）
売れ筋ランキング32位

価格.comで見る

Writer 山本敦: オーディオ・ビジュアル専門誌のWeb編集・記者職を経てフリーに。最新情報は足で稼ぐことを信条とするIT・テクノロジー系ジャーナリスト。AppleやGoogle、Amazonのデバイスやサービスまで幅広く取材しています。海外は特に欧州の最新エレクトロニクス事情に精通。外国語は英語とフランス語が話せます。

記事一覧へ