Register and share your invite link to earn from video plays and referrals.

阿西_出海
@axichuhai
🚀关注 LLM、Agent、AI 应用场景 💡全网同名:阿西_出海 商务合作联系:yi19931232
Joined December 2024
212 Following    25.1K Followers
发现一个开源小模型,在GitHub上已经斩获 5w star,还登上了Trending榜单。 用它可以让你只用3块钱、花两个小时,就能训练出一个仅有25.8M参数的超小语言模型。 主打极致轻量化,最小版本体积只有 GPT-3 的 1/2700。 而且还开源了 tokenizer 分词器训练,包含 Pretrain、SFT等全过程训练代码,甚至拓展了视觉多模态的MiniMind-V。 所有训练脚本均为 PyTorch 原生实现,兼容MoE混合专家模型架构,基本实现了对大语言模型全阶段的开源复现
Show more