TinyLlama

“TinyLlama: An Open-Source Small Language Model” 近日，新加坡科技设计大学（SUTD）发表了 TinyLlama，11亿参数量，使用大约 3 万亿个 token 上预训练而成。“仅”需 1...