Hugging Face上周公布可在手机上履行的最新一代说念话模子SmolLM2眷属开云kaiyun.com。

这是继7月初度问世后，SmolLM眷属最新版块，包括参数目135M、360M与1.7B三种限制，其中135M参数模子分红基础及Instruct版，而360M与1.7B参数模子则分红基础、Instruct及GGUF（GPT-Generated Unified Format）版，共11个模子，王人以Apache 2.0授权开源。

135M、360M与1.7B都所以公开数据集和Hugging Face编排的数据集如FineWeb-Edu、DCLM和The Stack，以监督式微调（supervised fine-tuning）要领考试，1.7B版块还多了些数学与要领代码数据集。数据集的量远隔为2兆、4兆与11兆字词。Hugging Face还诓骗平直偏好优化（Direct Preference Optimization，DPO）算法来强化。

三个限制的模子考试的软件架构王人是Transformer decoder，硬件架构而言，其中135M与360M模子履行于64颗H100的办事器，而1.7B版块则为256颗H100的环境。

一如第一代，SmolLM2亦然可履行在征战上的轻量级模子，但在提示服气、常识与明白智力优于第一代。而拜Argilla的数据集如Synth-APIGen-v 0.1之赐，Instruct模子另外还守旧改写、贫寒节录、与函数调用等任务。

字据Hugging Face的数据，在多项基准测试上，以SomlLM2-1.7B而言，不但优于第一代，也越过参数目更多的Llama-1B-Instruct及阿里巴巴的Qwen2.5-1.5B-Instruct。

固然智力更擢升，但新一代SmolLM依然有些不及。现在SmolLM2模子只可明白和生成英文现实。此外也还存在事实准确性、逻辑一致性以及偏差等问题。Hugging Face残暴用户只可用于扶植器用开云kaiyun.com，且应杰出防备评估其产出现实。