去年末以來,引起了廣泛關注的ChatGPT以及其內部版本GPT-3.5和GPT-4,都是由名為OpenAI的美國企業獨家提供的大規模語言模型(LLM),並得到了Microsoft的強力支持。
與此相應,Meta公司推出了LLaMA(LaMa),隨後出現了一系列衍生模型,包括在LLaMA與ChatGPT的13,000次對話數據上進行微調的Alpaca(阿爾帕卡),以及在Alpaca和ShareGPT(與GPT的對話由志願者公開提供的數據)上進行微調的Vicuna(維庫尼亞)等。
然而,由於Meta公司的意向,LLaMA被限制為「僅限學術用途」。此外,
根據OpenAI的使用條款,GPT的輸出結果不能用於創建能夠對抗GPT的強大人工智能,這就限制了Alpaca和Vicuna在學術研究目的以外的應用(有時也被形容為「污染」)。
特別是Vicuna經過志願者的不斷改進,可以在家庭使用的計算機上運行,如果能應用於企業內部信息系統或遊戲軟件等領域,將會非常有用。因此,限制其僅用於學術目的是非常可惜的。
為了克服這種情況,Databricks公司創建了一個由其5000名員工創建的「乾淨」的1.5萬次對話數據集,並以「Dolly-v2」的形式對外公開。這是首個完全開放且自由的大規模語言模型。