GenAI應用關鍵技術有哪些？

在GenAI領域中，有四種關鍵技術：模型訓練(Model Training)、微調(Fine Tuning)、檢索增強生成(RAG)和提示詞工程(Prompt Engineering)。

1.模型訓練

模型訓練類似于AI系統開發的基礎階段(例如重新開發一個ChatGPT)。它涉及從零開 始構建AI模型的過程，類似于將種子培育成長成一棵大樹。這個過程非常重要，因 為它奠定了AI的基本能力和智能。 主要適用的場景包括： 1. 新領域：當涉足現有模型不適用或不足的領域時。例如，開發一種尚未被探索 的新型醫學診斷AI 2. 基于獨特數據集應用：在數據對特定需求具有獨特性的情況下，例如公司使用 客戶數據來預測購買模式。 3. 創新和研究：非常適合研究和開發，用于測試新理論或模型。模型訓練是人工 智能發展的基石，提供了無與倫比的定制化和創新潛力。然而，它需要大量數 據和GPU計算資源和開發資源，成本很高，并帶有固有的風險，因此更適用 于需要定制解決方案或在人工智能應用領域開辟新天地的情況。

2.微調

微調類似于磨練技藝嫻熟的藝術家，使其在特定類型中表現出色。它涉及對經過預 訓練的模型進行調整，即對已經從大規模數據集中學到一般模式的模型進行專門任 務或數據集方面的進一步提高。這一過程對于將通用人工智能模型適應特殊需求至 關重要。例如基于醫學文獻訓練微調成一套更適合回答健康護理相關的問題。 微調主要的適用場景包括: 1. 特定任務應用：適用于需要模型的一般理解與特定需求相匹配的任務，例如 使語言模型適應醫學術語。 2. 有限資源：適用于無法負擔完整模型訓練所需的大量資源的情況。 3. 提升模型性能：當您需要提高預訓練模型在特定領域準確性時。 在 GenAI 中，微調是將通用模型轉變為專業模型的藝術。它在效率和性能增強之 間取得平衡，非常適合有針對性改進的場景。這種方法最適用于基礎扎實但需要特 定專業知識的情況。

3.RAG

（1）RAG介紹 RAG，即檢索增強生成（Retrieval-Augmented Generation），是一種結合了信息檢 索（Retrieval）和文本生成（Generation）的人工智能技術。RAG是GenAI領域的重 大進展，它通過整合外部知識源來增強傳統的大語言模型 (LLM)。這種方法 拓寬了人工智能的視野，使其能夠訪問和利用除初始訓練數據之外的大量信息。可 以將 RAG 想象為一位學者，除了擁有自己的知識外，還可以即時訪問到一座全面 的圖書館。

RAG架構的工作流程，整體分為五步： 1. 用戶向Chatbot（LLM應用）提出問題 2. 根據問題在向量數據庫(提前將知識庫的文檔向量化)檢索匹配相關的上下 文段落信息 3. 將檢索結果的top_k條段落進行排序,，將提示詞和組裝的段落以及用戶問 題三者形成最終的提示詞prompt 4. 將prompt提交給大模型 5. 大模型生成輸出并返回給Chatbot，進而返回給用戶。

RAG的優勢： 1. 提高答案準確性：通過引用外部知識庫中的信息，RAG可以提供更準確的回 答 2. 增加用戶信任：用戶可以通過引用的來源來驗證答案的準確性 3. 便于知識更新和引入特定領域知識：RAG通過結合LLM的參數化知識和外部 知識庫的非參數化知識，有效地解決了知識更新的問題 4. 減少幻覺問題：RAG能夠減少語言模型中的幻覺問題，使生成的響應更準 確、可靠。

RAG的應用場景： 1. 問答系統：在問答系統中，RAG通過檢索大量信息并生成精準、詳細的答 案，提高了回答的準確性和信息的豐富度 2. 內容創作：RAG可以根據給定的主題或關鍵詞生成豐富且有深度的文章， 節省大量的時間和人力資源 3. 數據分析與挖掘：RAG能夠在大規模數據集中快速檢索信息，為數據分析 提供了一個強大的工具 RAG技術通過結合最新的大語言模型和外部知識庫，為AI在自然語言處理領域 的應用提供了新的可能性，尤其是在需要處理大量信息和提供準確回答的場景 中。

其中Graph RAG（Graph Retrieval-Augmented Generation）是一種結合知識圖譜和圖數 據庫的檢索增強技術。它通過構建圖模型的知識表達，將實體和關系之間的聯系用圖 的形式進行展示，并利用大語言模型（Large Language Model, LLM）進行檢索增 強。Graph RAG的核心在于將知識圖譜等價于一個超大規模的詞匯表，其中實體和關 系對應于單詞，使得在檢索時能夠將實體和關系作為單元進行聯合建模。

raph RAG的處理流程劃分為兩個主要階段： 1. 第一階段，Index in time。該階段中系統不僅將知識以圖譜的形式進行存儲，以 便于后續的檢索和引用，同時還會執行傳統 RAG 流程中的 Split & Embedding操 作。 2. 第二階段，Query Time。Split & Embedding 的操作帶來的最大益處在于能夠迅速 鎖定與查詢最為相關的知識點。此外，通過利用知識圖譜（KG）中知識點之間 的關聯關系或語義鏈接，系統可以快速地識別出在語義層面上相關或接近的知 識。這些知識點隨后被提供給大語言模型，從而使其能夠生成更為貼切的答案。 同時，這一過程也有助于防止語言模型產生虛假或不合邏輯的回答，提高了結果 的可靠性。

Graph RAG的主要特點： 1. 知識圖譜集成：Graph RAG利用知識圖譜來增強語言模型的理解能力，使得模型 能夠更好地理解實體間的關系和上下文信息。 2. 檢索增強：通過結合圖數據庫的查詢能力，Graph RAG能夠提供更準確、相關和 多樣化的信息來滿足用戶的需求。 3. 上下文學習：Graph RAG支持In-Context Learning，即在向模型提出問題時，提供 相關的上下文信息作為背景知識，從而生成更符合預期的響應。 4. 處理復雜查詢：Graph RAG特別適合處理復雜或多義詞查詢，因為它能夠利用知 識圖譜中的結構化信息來解決歧義問題。 5. 表達和推理能力提升：通過圖技術構建的知識圖譜，Graph RAG能夠幫助大語言 模型更好地理解實體間的關系，提升模型的表達和推理能力。 6. 適應性強：Graph RAG技術可以適配不同的大語言模型框架，如Llama Index、LangChain等，使得開發者可以專注于LLM的編排邏輯和pipeline設計。 Graph RAG作為一種新興的技術，正在逐漸展現出其在信息檢索和處理領域的潛力， 尤其是在需要處理大量結構化數據和復雜上下文信息的場景中。隨著技術的進一步 發展，Graph RAG有望在更多領域得到應用和推廣。

4.提示詞工程

提示詞工程（PromptEngineering，縮寫為PE）是一種AI技術，它通過設計和改進AI的 提示詞來提高AI的表現。PE關注提示詞的開發和優化，幫助用戶將大模型用于各場 景和研究領域。

提示詞（prompt）在人工智能場景下指給模型的一個初始輸入或提示，用于引導模型 生成特定的輸出。提示詞可以是一個問題、一段文字描述，甚至可以是帶有一堆參數 的文字描述。AI模型會基于提示詞所提供的信息，生成對應的文本，亦或者圖片。 比如，我們在ChatGPT中輸入：中國的首都是什么？ 這個問題就是提示詞。掌握了提 示詞工程相關技能將有助于用戶更好地了解大模型的能力和局限性。

5.LangChain

在人工智能領域，大語言模型（LLMs）如GPT-3.5和GPT-4等已經成為了自然語言 處理（NLP）的強大工具。它們能夠生成連貫的文本、回答問題、甚至創作詩歌和 故事。然而，盡管這些模型在處理語言方面表現出色，但它們在實際應用中的潛力 仍然受限。為了克服這些限制并充分發揮LLMs的能力，LangChain應運而生。 LangChain是哈里森-蔡斯（Harrison Chase）于2022年10月發起的一個基于LLM的應 用開發框架開源項目，是目前大模型應用開發的最主流框架之一。它提供了一套工 具和組件，使得開發者能夠將LLMs與外部數據源和計算能力結合起來，從而創建 更加智能和功能豐富的應用。LangChain圍繞將不同組件“鏈接”在一起的核心概 念構建，通過統一的接口簡化了與 GPT-3.5、GPT-4、llama、文心一言、通義千問 等 LLM 合作的過程，使得開發者可以輕松創建定制的高級用例。

截至2024年3月，LangChain平臺已實現了與包括亞馬遜、谷歌及微軟Azure在內 的主 流云存儲系統的深度整合，并且封裝了涵蓋新聞資訊、影視資料和氣象信息的多樣 化API接口。此外，LangChain提供了對Google Drive文檔、電子表格及演示 文稿內容 的自動化總結、抽取與創建能力；同時涵蓋了Google搜索與Microsoft Bing搜索引擎 的網絡信息檢索功能。在自然語言處理領域，它成功對接了OpenAI、 Anthropic 和 Hugging Face等多家知名機構的語言模型資源。 在編程與 代碼管理方面，LangChain支持Python與JavaScript代碼的自動生成、靜態分 析與調試功能，并采用Milvus與Weaviate向量數據庫系統分別用于存儲與檢索高維向 量嵌入及緩存相關對象。為加速數據訪問性能，系統配備了Redis作為緩存數據存儲 方案，并通過Python Requests Wrapper及其他API請求手段確保了與各類服務的 無縫 交互。在并發處理層面，該平臺能夠實時追蹤并記錄線程與異步子進程運行中的堆 棧符號信息。截至2024年3月，LangChain已具備讀取超過50種不同文檔類型和數據 源的強大能力，展現出廣泛的應用潛力和卓越的技術適應性。