為AI時代提供金融基礎設施的Finatext集團成員Nowcast公司宣布，已開始研討將其「本地LLM文本處理基礎設施」商業化，該設施能在不將個人資訊和高度敏感的文本數據傳送至外部的情況下，進行AI處理。

Nowcast在內部AI競賽中開發了此技術的原型，並以信用卡消費明細中的商家名稱對應業務為對象，驗證了其實用性。該驗證成功實現了與OpenAI API相比降低95.7%的成本，以及減少約98%的人工確認作業。基於此成果，Nowcast將把此技術通用化，以解決金融業共通的「無法將文本數據傳送至外部進行AI處理」的課題。

背景 隨著生成式AI的進化，利用LLM自動化處理文本分類、名稱對應、資訊提取等業務正迅速發展。然而，金融業存在許多即使想利用LLM，也無法將數據傳送至外部的業務。在處理如信用卡消費明細的商家名稱、客戶的地址姓名資訊、法人交易數據、保險理賠文件文本等業務中，由於隱私和安全考量，不允許將數據傳送至ChatGPT等雲端LLM API。這造成了一個結構性問題：儘管LLM的能力獲得認可，卻無法應用，導致人工作業被保留。此外，對大規模數據應用雲端LLM API進行文本處理會產生高昂費用，也是應用進展緩慢的原因之一。

基於這樣的問題意識，Nowcast在內部AI競賽中開發了一個原型，利用本地LLM自動化處理信用卡消費明細的商家名稱對應業務。該原型無需將機密資訊傳送至外部，便達成了高精準度及相較於OpenAI API降低95.7%的成本，達到了可立即應用於內部業務的水平。因此，Nowcast決定不僅將此技術局限於商家名稱對應，而是作為一個能應對金融業在導入LLM文本處理時共通課題的通用基礎設施，進行商業化的研討。

「本地LLM文本處理基礎設施」概覽 此基礎設施在企業自有的環境（本地部署或封閉雲端）內運行開源權重的大型語言模型，對有外部傳送限制的文本數據執行分類、名稱對應、資訊提取等AI處理。

◯ 基礎設施特點 1. 透過完全本地處理保護數據 所有LLM推論皆在自有環境內完成，處理對象的文本數據絕不會被傳送至外部。此設計易於符合FISC安全對策基準及個人資訊保護法的要求。

2. 壓倒性的低成本 與目前公開的OpenAI API中最便宜的模型gpt-5-nano相比，已驗證可節省95.7%的成本。即使讓LLM處理大量數據，費用也能控制在現實範圍內。

3. 基於信賴度的人機協作設計 系統為LLM的處理結果賦予信賴度分數，採用分階段判斷流程：高信賴度的案例自動確認，僅低信賴度的案例轉交人工確認。兼顧了處理精準度與業務效率。

4. 不依賴特定模型的架構 處理流程採用模型無關的設計，可根據開源權重模型的進化靈活切換模型，避免被特定AI供應商鎖定。

5. 透過業務範本進行水平擴展 設計上可針對不同業務設定文本處理的任務定義、信賴度閾值和後處理規則，實現單一基礎設施應用於多種業務。

「信用卡商家名稱對應自動化」原型驗證結果 內部AI競賽中開發的原型，目標是將信用卡消費明細上記載的商家名稱與其正式品牌名稱進行關聯的「對應」業務。

◯ 挑戰 信用卡商家名稱常以不同於正式品牌名稱的格式記錄（如簡稱、片假名、含終端機特定代碼的字串等），因此在支付數據分析前，人工對應作業不可或缺，Nowcast每月約需處理30萬件。

◯ 驗證結果 - 處理通量：每秒15.1件（處理100萬件約需18.4小時） - 正確率：信賴度90以上的案例超過95% - 人工檢查削減率：約98% - 處理成本（100萬件）：約4,500日圓（基於電費及GPU折舊費） - 相對OpenAI API的成本削減率：約95.7%（與使用gpt-5-nano進行相同處理的比較）

◯ 補充：並用網路搜尋 對於LLM單獨難以推斷的案例（如新店鋪、特殊簡稱等），系統會輔助性地透過網路搜尋獲取品牌名稱候選，以提高正確率。搜尋查詢僅使用低敏感度的品牌名稱候選，商家名稱本身不會傳送至外部。

預期應用領域 此基礎設施不僅限於商家名稱對應，預期可應用於金融機構面臨的所有「無法傳送至外部的文本處理」業務。 - 商家名稱對應：信用卡公司、支付處理商、家庭記帳本服務 - 地址標準化：所有金融機構、房地產、物流 - 法人名稱對應：信用管理、反洗錢檢查、CRM - 交易摘要分類：銀行、會計外包服務 - 舞弊偵測文本分析：保險、證券、信用卡公司 - 文件OCR後的結構化：保險理賠審核、貸款審查

預期導入效果 在Nowcast內部，僅商家名稱對應一項業務預計每年可節省超過2,500萬日圓，若擴展至其他業務，預計每年可節省超過4,000萬日圓。

關於商業化研討 Nowcast已開始研討將此基礎設施對外提供給金融機構和數據業務公司。具體考慮以下提供形式： - 支援本地部署環境導入（包括基礎設施建構、業務範本設計、營運支援） - 在封閉雲端環境提供代管服務 - 授權提供業務專用的對應資料庫及詞典

未來展望 Nowcast擁有超過10年處理信用卡支付數據和POS數據等另類數據的經驗，並有應對數據持有者嚴格安全要求的實績。透過結合此經驗與本地LLM技術，Nowcast將致力於提供一個即使是處理個人資訊和機密數據的業務也能受益於AI的環境。

FACT BOX · 重點整理

  • 來源：PR TIMES
  • 分類：新品
  • 相關組織：OpenAI