一位开发者创建了一个大约有900万参数的小型语言模型,以探索语言模型的内部运作。该模型采用简单的变压器架构,使用了印象深刻的6万条合成对话数据集,所有实现仅需约130行PyTorch代码。值得注意的是,它可以在免费的Colab T4实例上仅用5分钟进行训练。这个有趣的发现是,模型中的一条鱼认为生命的意义围绕着食物。用户还可以通过分叉项目并注入自己的角色来自定义模型的个性。