微软表示,Phi-3 Mini的性能轻松超越了之前的Phi-2小型模型,并且与Llama 2等大型模型不相上下。令人惊讶的是,这款新模型的响应能力接近于那些参数规模是其10倍的模型。
研究团队在论文中指出,这一创新的关键在于他们所使用的训练数据集。该数据集以Phi-2模型为基础,但融入了“经过严格过滤的网络数据和合成数据”。这种独特的数据集构建方式受到了儿童读物的启发,这些读物使用更简单的语言来阐述复杂的主题,从而有效地使较小的语言模型能够发挥更高的效能。
尽管Phi-3 Mini在某些方面可能还无法与云驱动的大型语言模型相媲美,但它在从数学到编程再到学术测试的各项任务中,都展现出了超越Phi-2和其他小型语言模型(如Mistral、Gemma、Llama-3-In)的实力。更重要的是,这款模型可以在像智能手机这样简单的设备上运行,而且无需互联网连接。
然而,Phi-3 Mini的主要限制在于其“事实知识”的广度,这主要是由于其训练数据集相对较小。因此,在“TriviaQA”测试中,它的表现并不出色。尽管如此,对于那些只需要处理较小内部数据集的模型来说,这仍然是一个不小的进步。微软希望,通过推出这样的模型,能够让那些无力承担云连接大型语言模型费用的公司也能接触到人工智能技术。
目前,Phi-3 Mini已经在Azure、Hugging Face和Ollama等平台上提供。微软接下来还计划发布功能更为强大的Phi-3 Small和Phi-3 Medium模型,它们分别拥有70亿和140亿个参数。
相关:
中国寓言文学大会:儿童文创 内容为先 中新网温州4月24日电 (张益聪)“在孩子心中成为经典,却不知故事的创作者,这或许是对中国寓言文学的高度赞誉。”日前,在浙江温州龙港市举办的中国寓言文学大会现场,中国寓言研究会会长孙建江如是说。 ..
越剧《万婴之母》踏上“回家之旅” 中新网福州4月24日电 (刘可耕 郑淇)由福建省文化和旅游厅出品、福建芳华越剧院创作演出的原创现代越剧《万婴之母》,近日在林巧稚大夫的故乡——厦门鼓浪屿演出。 该剧目以越剧艺术独有的视角和富有诗..