StableLM 是稍早由 Stability AI 推出的 AI 語言模型,官方儲存庫包含了正在開發及持續更新的同系列語言模型,並會不斷增加新的檢查點。
GitHub:https://github.com/stability-AI/stableLM/
“一個隨機的鸚鵡,扁平設計,向量藝術”- Stable Diffusion XL
目前官方發布了最初的 StableLM-alpha 模型,包括 3B 和 7B 參數。15B 和 30B 模型正在製作中。基本模型採用 CC BY-SA-4.0 授權發布。在 HuggingFace Spaces 上嘗試與 7B 模型 StableLM-Tuned-Alpha-7B 聊天:https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
StableLM-Alpha 模型是基於 The Pile 構建的新數據集進行訓練的,該數據集包含 1.5 兆個令牌,大約是 The Pile 的 3 倍。這些模型的上下文長度為 4096 個令牌。
即將推出的技術報告將記錄模型規格和訓練設置。