阿联酋在科技及教育产业方面投入的预算一直不菲,近日,阿联酋科技创新研究所(TII)打造出了400亿参数的语言模型Falcon-40B,在Hugging Face的OpenLLM排行榜上排名第一,并持续霸榜,赢过此前LLaMA、StableLM和RedPajama等竞争者。据称,Falcon-40B使用了384颗GPU来进行2个月的训练、利用将近5亿个Token训练而成。为提高训练过程的质量,团队还自己组建了一套工作流程来筛选出“最高质量的的资料”供给 AI 模型训练。经多个基准测试,表现比LLaMA、Vicuna和Alpaca更加出色。IT之家注意到,Falcon模型已经在huggingface上开源,目前开源的版本有Falcon-7B-Instruct和Falcon-40B-Instruct等。