產(chǎn)品即服務

Product as a Service

DataElit

DataIns

實訓平臺

大模型

產(chǎn)品簡介

大模型主要在數(shù)據(jù)中臺和業(yè)務應用系統(tǒng)層面進行交互。大數(shù)據(jù)中臺可以提供各類數(shù)據(jù)，形成特定場景的知識庫，與已有大模型一起，構建形成適合特定需求的模型。大模型對外提供服務能力，如虛擬助手、語音助手、搜索引擎、AI智能助理等；也為業(yè)務應用系統(tǒng)提供服務支持，如數(shù)據(jù)統(tǒng)計分析服務。

產(chǎn)品功能

數(shù)據(jù)開發(fā)服務

通過質量模板、質量規(guī)則、質量任務配置和質量告警實現(xiàn)數(shù)據(jù)質量檢測、數(shù)據(jù)整改。支持跨庫數(shù)據(jù)質量校驗，支持多維度質量報告自動生成，支持數(shù)據(jù)質量問題趨勢預測分析。

數(shù)據(jù)質量服務

大模型應用分析

目前大模型人工智能應用主要可以分為工具型應用、通用軟件、行業(yè)軟件、智能硬件、AI助手五大類。
從產(chǎn)品形態(tài)上看，它們將沿著AIGC（內容生成）、Copilot（智能助手）、Insight（知識洞察）和Agent（數(shù)字代理）等重要方向演進。

工具型應用包括聊天機器人、搜索引擎、文本工具、AI作畫和代碼工具等，主要面向消費者市場。這些產(chǎn)品的同質化程度較高，底層模型的能力對產(chǎn)品的受歡迎程度至關重要。競爭優(yōu)勢的建立來自于差異化的產(chǎn)品定位和持續(xù)訓練更強大的底層模型和算法。

通用軟件包括辦公軟件、企業(yè)服務、IT運維、軟件開發(fā)、網(wǎng)絡安全、數(shù)據(jù)智能等領域。各行業(yè)的頭部廠商已經(jīng)推出了標桿產(chǎn)品，常見的產(chǎn)品形態(tài)是AI智能助理（Coplilot）。目前各個賽道競爭格局相對穩(wěn)定，未來競爭的關鍵在于AI與場景/工作流的深度融合。通用軟件領域正在處于進入商業(yè)化落地的關鍵階段。

行業(yè)軟件涉及金融、醫(yī)療、教育、工業(yè)、游戲、法律等多個行業(yè)。在游戲、法律、教育和電商等C端場景中，生成式人工智能有較多結合點；而在醫(yī)療、金融和工業(yè)等B端場景中。

AI助手（Coplilot）在這些領域也得到廣泛應用。在金融、醫(yī)療和工業(yè)等領域，具有前景的應用將來自于數(shù)據(jù)分析和知識洞察工具。

智能硬件包括智能汽車、機器人和智能終端等。生產(chǎn)式人工智能與智能硬件的結合主要分為語音助手和數(shù)字代理AI Agent兩大類別。語音助手廣泛應用于智能座艙、智能音箱和家用機器人等各類智能終端，大模型和生成式人工智能技術提升了感知和生成能力，改善了用戶體驗。數(shù)字代理AI Agent在感知與決策能力方面仍存在挑戰(zhàn)，應用空間的打開關鍵在于計算機視覺和具身智能等底層技術的突破。

構建自有大模型挑戰(zhàn)

在垂直行業(yè)領域的大模型問答效果仍有待提升，對于數(shù)字化場景來說，不同場景也有不同的特點，因此需要構建自己的數(shù)字化場景大模型。
構造垂類大模型直接的解決方案之一就是注入領域知識。
知識注入方法可以分為領域微調（Fine-Tuning）和外掛知識庫（Knowledge Base）兩種。

領域微調是通過少量的增量數(shù)據(jù)對基礎模型進行進一步訓練，需要有足夠的標記數(shù)據(jù)。
訓練中的問題在于成本過高問題，有研究人員分析過，假設普通人想用云計算來訓練一個谷歌的PaLM，參數(shù)量為5400 億，需要準備900~1700 萬美元。
外掛知識庫本質上不去修改基座的模型參數(shù)，而是讓給你模型分析知識庫后再返回答案。
這里就不涉及到重新訓練問題，成本比較低。而且回答精度更高，適應性也更強。

通用方案流程

實現(xiàn)的基本流程大致如下：
首先通過Langchain加載場景各類數(shù)據(jù)，LangChain對于不同格式的數(shù)據(jù)源內置了不同的解析腳本，最終這些數(shù)據(jù)都將轉換為純Txt文本格式，以實現(xiàn)文本標準化。
然后進行文本拆分成文本塊。文本拆分后，需要將文本進行向量化表示，將其映射為低維稠密的向量并存儲到向量數(shù)據(jù)庫中。向量數(shù)據(jù)庫選用無需注冊的Faiss。
最后，就能根據(jù)構建好的向量數(shù)據(jù)庫召回對應文本片段，即語義檢索匹配過程；將Prompt喂給模型進行推理得到答案。

總體架構實現(xiàn)