加速替代CUDA！摩尔线程开源vLLM
我要评论11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
相关文章
曝雷军挖了个95后天才少女“AI小萝莉”：开出千万年薪 恶补大模型
12月29日消息，小米在大模型赛场，频频按下快进键。先是，“雷军亲自重金挖人，开出千万年薪”的风传。据国内媒体报道，雷军开出千万年薪招揽了一位95后AI天才少女—&2024-12-29
11月2日讯此前官方宣布，阿莫林成为曼联新任主教练，对此，在接受采访的时候阿莫林谈到了自己的想法。阿莫林说：“我只有三天的时间来决定改变我生活的选择。我提出的唯一要求就是赛季结束后再离开葡萄牙体育，但2024-12-29
终于淘汰LCD！苹果iPad mini 8首次升级OLED屏幕
10月25日消息，屏幕供应链咨询公司DSCC的首席执行官罗斯·杨(Ross Young)昨日在社交媒体上发文表示，苹果的下一代iPad mini将配备OLED屏幕。与此前iPad mini所采用的LC2024-12-29
在欧冠1-4输给巴萨后，拜仁后卫阿方索-戴维斯更新社交媒体发表感言。在与巴萨的比赛中，阿方索-戴维斯首发出战并打满全场，最终拜仁客场1-4告负，队史首次遭遇欧冠客场三连败。北京时间今日凌晨，阿方索-戴2024-12-29
12月22日讯热刺队长孙兴慜接受采访时，谈到了加盟球队的18岁韩国同胞梁民革。热刺在今夏签下了梁民革，他目前已经跟随热刺进行训练，热刺将在1月份为他注册。孙兴慜表示道：“我会尽我最大的努力帮助他），显2024-12-29
一路跌跌撞撞，但好在有你们的支持，球队才能完成保级目标。3万余人来到青春球场给了我们最大的动力！2024感谢每一位海牛球迷，2025春暖花开再相逢！2024-12-29
最新评论