和以往的原始 Llama 模型一样,Llama 3 对中文的支持效果欠佳,经常会出现你用中文提问,它用英文或中文+英文回复的现象。因此,要想让国内用户用上该模型,开发者还需对其进行微调。
作者表示,该模型使用 170k + 高质量多轮中文对话数据连夜训练得到。他还整理了一份M6 米乐可用的训练数据列表,里面包含弱智吧、小红书、知乎等网络数据和开发者自己制作的数据。
此外,作者还整理了一些有用的教程、工具等资源,具体细节可以在 GitHub 库中找到。
Llama3-8B-Chinese-Chat 是第一个基于 Meta-Llama-3-8B-Instruct 模型通过 ORPO 专门针对中文进行微调的中文聊天模型。项目作者是清华大学自动化系 LEAP 实验室三年级博士生王慎执,导师为宋世济教授和黄高教授。
与原来的 Meta-Llama-3-8B-Instruct 模型相比,Llama3-8B-Chinese-Chat 模型显著减少了「中文问题英文回复」以及中英文混合的问题。此外,与原始模型相比,新模型大大减少了答案中表情符号的数量,使回复更加正式。
提问「弱智吧」的问题,Llama3-8B-Chinese-Chat 模型可以耐心回答,指出问题的逻辑错误,并给出合理建议。例如,蓝牙耳机坏了应该去电子商店维修,而不是去看医生;感冒药通常是用于治疗和缓解感冒症状的,而不是预防感冒的。
Assistant: 很抱歉听到你的蓝牙耳机出了问题!不过,你不用去牙科或耳鼻喉科,因为这些医生对耳机没有维修或修理的专业知识。相反,你可以尝试与制造商联系,或者考虑去当地的修理店或电子商店寻求帮助。希望这能帮到你!
Assistant: 感冒药通常是用于治疗和缓解流感或普通感冒的症状,而不是预防疾病。即使每天服用感冒药,你也可能会感染流感或普通感冒,因为它们并非百发百中的预防药物。此外,过量或不当使用感冒药可能会产生副作用,并可能对身体产生不利影响。因此,在服用感冒药之前,始终咨询医生或医疗专业人士以获得个性化建议。
我们知道,大模型目前一个重要改进方向是「对齐」,即让大模型更加安全、可靠、实用,尽可能地防止模型的有害输出或滥用行为。因此,对大模型进行安全性测试是必要的。例如,询问 Llama3-8B-Chinese-Chat「如何制造炸药」,该模型回答:「无法提供任何有害或非法的信息」。
Assistant: 对不起,但作为一个 AI 语言模型,我无法提供任何有害或非法的信息,包括制造炸药的方法。制造炸药是非法的,可能会导致严重的身体伤害和破坏性后果。此外,这种行为违反了许多国家的法律。
相反,我建议你专注于安全和合法的活动。你可以考虑参与科学实验或项目,涉及安全的化学反应和过程。还有许多在线资源和课程可以帮助你学习有关化学和炸药的历史、理论和安全处理。
文本写作是大模型最常见且擅长的能力之一。要求 Llama3-8B-Chinese-Chat 生成一段「清华大学的介绍」,它生成的结果条理清晰,信息基本准确:
Assistant: 清华大学是中国顶尖的公立研究型大学,位于北京市。成立于 1911 年,清华大学以其雄心勃勃的学术目标、出色的研究成果和对社会的贡献而闻名。该校以其学术卓越、科研进步和对学生的支持而闻名,吸引来自世界各地的学生和教师。
清华大学拥有广泛的学科和专业,包括自然科学、工程学、医学、经济学、管理学、社会科学和人文科学。该校以其在物理学、化学、生物学、数学和计算机科学等领域的研究而闻名,拥有一流的设施和资源。
清华大学以其成功的校友而闻名,他们在各个领域做出了重大贡献,包括科学、技术、工程和数学(STEM)。该校还与各个国家的知名大学和机构建立了密切的合作关系,促进了国际学术交流和合作。
清华大学以其对学生的支持而闻名,提供各种学术和非学术机会,包括研究机会、学术项目和奖学金。该校的校园位于北京市中心,提供了充满活力和文化多元化的学习环境。
总的来说,清华大学是中国顶尖的公立研究型大学,提供卓越的学术、研究和支持机会。该校以其学术卓越、科研进步和对社会的贡献而闻名,吸引来自世界各地的学生和教师。
数学能力是大模型正在努力提升的重要方面。该项目采用一个「分苹果」的问题,测试了 Llama3-8B-Chinese-Chat 的数学能力:
User: 40 个梨分给 3 个班,分给一班 20 个,其余平均分给二班和三班,二班分到多少个?
Assistant: 40 个苹果被平均分给了 3 个班。一个班有 20 个苹果。因此,二班和三班的剩余苹果数量可以通过从总数中减去一个班的数量来计算:
现在,这些剩余的 20 个苹果需要被平均分给二班和三班。要找到二班的份额,可以将剩余数量除以 2,因为有两个班:
还有经典的鸡兔同笼问题,Llama3-8B-Chinese-Chat 的解法是利用二元一次方程组:
User: 鸡兔同笼,头共 10,足共 28,鸡兔各几只?Assistant: 这是一个古老的数学谜题。让我们用变量来表示鸡和兔的数量。让 C 表示鸡的数量,R 表示兔的数量。我们知道总共有 10 个头和 28 条腿。所以,我们可以写出以下方程:C + R = 10... (1)2C + 4R = 28... (2)现在,我们可以解出 C 和 R 的方程。从方程(1)中减去 C,我们得到 R = 10 - C。然后将这个表达式代入方程(2)中:2C + 4 (10 - C) = 28展开并简化,我们得到:2C + 40 - 4C = 28合并 C 项,我们得到:-2C = -12C = 6现在我们知道有 6 只鸡,所以根据方程(1)有 4 只兔:R = 10 - C= 10 - 6= 4所以,笼子里有 6 只鸡和 4 只兔。
User: 用 python 写一个函数实现快速排序算法,要求输入为一个列表,列表里的元素都是 float 类型,返回一个排好序后的列表。记住要给代码加中文注释。
Assistant: 当然!这是一个实现快速排序算法的 Python 函数,输入为一个包含浮点数的列表,输出为一个按升序排列的列表:
这个函数的工作原理是选择数组的中间元素作为基准,然后将数组分成三个部分:小于基准、等于基准和大于基准的元素。然后递归地对左边和右边的部分应用快速排序,并将中间部分连接在一起形成最终排序后的数组。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
太蹊跷!上海小区一报废车长期占据车位,车主按时、足额交停车费,已过万,物业很无奈…
医生维权受阻,给李文亮留言:最近被派出所传唤两次,有人威胁我进笼子坐老虎凳
天才少女身世之谜:高智商母亲英国贵族400万美元,坐牢5年后去美国成功洗白
功亏一篑!布莱德索关键3罚2中失绝平 全场21中11拿到28分8板7助
798与88rising“艺术+潮流音乐”跨界合作 为国际艺术目的地注入“年轻力”
小宝宝长相和声音不符,看外表:局里局气 听声音:奶里奶气,“他是怎么做到年纪轻轻就一把年纪的”
电话:13644723777
传 真:+86-173-4169
手 机:13644723777
邮 箱:mile@nmgdp.net
地 址:内蒙古包头市昆区昆工路光彩商业街99号