数発部、台湾主権AI訓練語料庫に2000万tokensの客家語語料を追加

数位発展部が推進する「台湾主権AI訓練語料庫」は、このほど客家委員会と協力し、正式に客家語の言語資源、出版物、文史資料、研究報告などの貴重なコンテンツを公開しました。初回で約2000万tokensの高品質な訓練語料を追加し、台湾主権AI語料に多様な文化と言語の生命力を注入しました。これにより、AIが客家語および客家文化をより深く理解できるようになり、客家語の知能カスタマーサポートや教育学習など多様な応用が可能になります。

客家語は我が国の国家言語の一つであり、深い歴史と文化的背景を持っています。今回、客家委員会が提供した語料は非常に象徴的で、主に以下の内容を含んでいます。詩集の創作、客家の風俗、客家語教育用図書などの政府刊行物。客家語能力認定試験の各レベルの語彙教材や問題集、口語収録テキスト、文化アーカイブ、そして客家語の復興、政策の発展、文化ガバナンスに関する学術的・政策的研究資料などです。

数発部は、これらの語料が我国における客家文化保存の豊かな成果を示しているだけでなく、AIモデルが客家語のさまざまなアクセント、意味、文化的文脈を理解し、生成する能力を高めると指摘しています。今後は、客家語の知能カスタマーサポート、地域文化の知識サービス、公共政策など、AIを活用したさまざまな革新応用に広く活用されることが期待されます。

数発部によると、「台湾主権AI訓練語料庫」は公開以来、累計で15億tokens以上の語料を蓄積しています。今後も政府機関と連携して高品質な語料を継続的に公開するとともに、官民連携をさらに深化させ、民間からの語料収集を計画的に推進し、台湾の主権を体現し、専門的知識を備えたデータ基盤を段階的に構築していくとしています。