最近必須使用一個LLM的API來做一個RAG應用,但是LangChain沒辦法直接接外部的LLM API,必須自己實作一個客製化的LLM Class來配合LangChain其他的功能。
這篇文章將會介紹如何在LangChain使用外部的LLM API自訂LangChain的LLM Class。
最近必須使用一個LLM的API來做一個RAG應用,但是LangChain沒辦法直接接外部的LLM API,必須自己實作一個客製化的LLM Class來配合LangChain其他的功能。
這篇文章將會介紹如何在LangChain使用外部的LLM API自訂LangChain的LLM Class。
Retrieval Augmented Generation (RAG) 介紹
LLM具有強大的自然語言處理能力,許多應用也開始加入LLM來提升與人的互動能力。然而LLM也有其侷限性。他可能會產生幻覺且不會有來源佐證,且資訊不一定是up to date的,因為他的訓練資料以經是固定的。
這樣的侷限性會導致沒辦法好好利用他很厲害的語言能力,所以有一些研究者提出了一些方法來解決這個問題,其中一個方法就是使用Retriever Augmented Generation (RAG)。
因為最近在搞RAG,所以會需要研究一下Vector Databases,這篇文章就來筆記一下vector databases的概念和用途。