1月29日，百川智能宣布超千亿参数的大发言模子Baichuan 3。多个专业评测显示，Baichuan 3不只英文恶果到达切近GPT-4的秤谌，还正在多项通用中文职责的浮现上杀青了对GPT-4的超越。

　　根源才具方面半岛BOB百川智能揭晓超千亿大模子Baichuan 3，Baichuan 3正在多个英文评测中浮现增光，到达切近GPT-4的秤谌。而正在CMMLU、GAOKAO、HumanEval和MBPP等多个中文评测榜单上，超越GPT-4显示了其正在中文职责上的上风。

　　与百亿、几百亿级别参数模子演练分别，超千亿参数模子正在演练进程中对高质地数据，演练安宁性、演练效力的哀求都跨过几个量级。为更好办理闭系题目，百川智能正在演练进程中针对性地提出了“动态数据拔取”、“紧张度仍旧”以及“异步CheckPoint存储”等多种立异技巧权谋及计划，有用擢升了Baicuan 3的各项才具。

　　正在医疗范围，大模子的万能性情发扬着至闭紧张的效率。大模子医疗背后蕴藏着庞杂的社会代价和家当代价，从疾病的诊断、调治到患者照顾与药物研发，大模子不只能以帮帮医师提升诊疗效力和质地，帮帮患者得回更好的任事和体验，还能帮帮社会消浸医疗本钱和危急，帮力医疗资源杀青普惠宁静权。而且医疗题目专业性强、常识更新速率速、切实性哀求高、个别区别大，能充表现大模子的各项才具，被称为“大模子皇冠上的明珠”。

　　Baichuan 3正在多个巨擘医疗评测职责中浮现优异，不只MCMLE、MedExam、CMExam等中文医疗职责的评测成果领先GPT-4，USMLE、MedMCQA等英文医疗职责的评测成果也亲切了GPT-4的水准。

　　语义领悟和文本天生，行为大模子最根源的底层才具，是其他才具的支柱。为擢升这两项才具，业界实行了多量摸索和执行，OpenAI、Google以及Anthropic等引入的RLHF(基于人类反应的加强练习)和RLAIF(基于AI反应的加强练习)便是个中的环节技巧。

　　加强练习演练框架方面，百川智能自研了演练推理双引擎调和、多模子并行调动的PPO演练框架，可以很好支柱超千亿模子的高效演练，演练效力比拟业界主流框架擢升400%半岛BOB半岛BOB。偏序数据方面，百川智能立异性的采用了RLHF与RLAIF联结的方法来天生高质地优质偏序数据，正在数据质地和数据本钱之间得回了更好的平均。

　　正在此根源上，看待“摸索与欺骗”这一基础离间，百川智能通过PPO摸索空间与Reward Model评判空间的同步升级，杀青“迭代式加强练习”(iterative RLHF&RLAIF)。基于加强练习的版本爬坡半岛BOB，能够正在SFT的根源进取一步发扬底座模子的潜力，让Baichuan 3的语义领悟和天生创作才具大幅擢升。

　　以文本创作中最具离间的唐诗宋词为例智能，行为中国古板文明的宝贝智能，诗词不只正在体例、平仄、对偶、韵律等方面均有着庄苛的束缚要求，而且实质高度凝练、含义深远。借使仅通过SFT的微调练习，一方面高质地诗词的创作数据必要极高的专家本钱，另一方面不行正在平仄、对偶、韵律等多个方面杀青较好的束缚领悟和用命。别的智能，古板的单次RLHF范式正在唐诗宋词眼前也碰到极大离间，PPO正在演练进程中天生的Response有可以超越Reward Model的评判局限导致“摸索”的进程失控。

　　Baichuan 3联结“RLHF&RLAIF”以及迭代式加强练习的手腕，让大模子的诗词创作才具到达全新高度。看待宋词这种体例多变，构造深细、韵律充分的高难度体裁，天生的实质亦能工致对仗、韵脚协和。其精准、浓密的创作功底，将让每一面都可以轻松创作出咏物、寄思的五言律诗、七言绝句，写下的言志、抒情的“沁园春”、“定风云”，这不只能够擢升群多的人文素养，还能帮力中华古板文明正在大模子时期真正地“活”起来。

　　行为参数周围领先千亿的大发言模子，Baichuan 3通盘的通用才具以及正在医疗范围的庞大浮现，将为百川智能打造“超等使用”，把大模子技巧落地到诸多杂乱使用场景供给有力支持。