LINE WORKS、効率的にLLMの知識が転送できる新しい手法を考案。音声・音響信号処理の国際学会「ICASSP 2024」にて論文が採択

2024.02.01 LINE WORKS Corp.

ビジネス現場のコミュニケーションツール「LINE WORKS」を提供するLINE WORKS株式会社（本社：東京都渋谷区、代表取締役社長：増田 隆一、以下「当社」）は、音声・音響信号処理における世界最大規模の国際学会「ICASSP 2024」にて論文が採択されたことをお知らせいたします。

今年で49回目の開催となる「ICASSP」(International Conference on Acoustics, Speech, and Signal Processing)は、米国電気電子学会の中で最も長い歴史を持つ信号処理学会である「IEEE Signal Processing Society」が主催する国際学会です。

今年は4月14日から19日にかけて韓国・ソウルにて学会が開催され、当社の論文についても発表を行う予定です。なお、当社から国際的なトップカンファレンスに論文が採択されたのは今回が初めてとなります。

本論文は、当社のリサーチエンジニアであるヘンツェル・ミヒャエルが2022年から研究した成果をまとめたもので、奈良先端科学技術大学院大学からのインターン生であった西川勇太さん、LINEヤフー株式会社の小松達也さん、藤田雄介さんとの共著になります。

■当社が発表した論文について
既存の手法よりも効率的にLLMの知識が転送できる新しい手法を考案。より高度で正確な音声認識を実現する提案に評価

M . Hentschel “KEEP DECODING PARALLEL WITH EFFECTIVE KNOWLEDGE DISTILLATION FROM LANGUAGE MODELS TO END-TO-END SPEECH RECOGNISERS”
https://arxiv.org/abs/2401.11700

本論文は音声認識技術にフォーカスしています。音声認識の分野では、近年深層学習モデルが音声から文字列を直接予測するEnd-to-End型と呼ばれる方式が主流になりつつあり、当社が提供する「CLOVA Note」 （AI技術を活用した音声記録のテキスト化・管理サービス）でも本方式を採用しております。

End-to-End型の音声認識では、音声とその発話内容を示すテキストの対を数百〜数千時間集めて深層学習モデルを学習します。一方、近年発展が著しい大規模言語モデル（LLM）は、テキストだけで学習できるために音声認識のモデルよりも遥かに多くのデータを利用して学習することができます。

そこで本論文では、大量のテキストを使って学習したLLMの知識を音声認識のモデルに転移することで、音声認識の学習データでは不足していた知識を補完することを考えました。

これまでの手法では、音声認識に使用される深層学習モデルの出力層から入力層に向かってLLMの知識を蒸留する※1ことがありましたが、本論文では、深層学習モデルを構成する多層のエンコーダの各層に知識を蒸留する新しい手法を提案し、これによって既存の手法よりも効率的にLLMの知識が転送できることを確認しました。

※1  ここでは、LLMが理解したテキストデータの情報を、音声認識モデルが学ぶ際の手助けとして活用しているということ。この手法により、既存の手法よりも効率的にLLMの知識を音声認識モデルに導入でき、より高度で正確な音声認識が可能となります。

 

■当社が提供するAIサービス、研究開発について
当社では、ビジネス現場のコミュニケーションツール「LINE WORKS」に加え、「LINE WORKS AiCall（電話応対AIサービス）」や「LINE WORKS OCR（AI-OCRサービス）」などのAI技術を活用したサービスを提供しています。

また、サービスの提供だけではなく、AI技術そのものの研究開発活動にも注力しています。今後は、今回論文で提案した手法をさらに発展させると共に、弊社のプロダクトへの適用、この活動で培ったAI技術を活用した新たな機能・サービスの創出に努めてまいります。

 

■会社概要
社名：LINE WORKS株式会社
本社：東京都渋谷区神宮前1-5-8 神宮前タワービルディング11F
設立：2015年6月
代表者：代表取締役社長 増田 隆一
資本金：55億2,000万円
URL：https://line-works.com/jp/
※記載の会社名、製品名は、それぞれの会社の商標または登録商標です。
※本プレスリリース記載の情報は発表日現在の情報です。予告なしに変更されることがありますので、予めご了承ください。