新闻网讯 近日,计算机学院2021级数据科学与大数据技术专业本科生陈东平、2020级计算机科学与技术(卓越班)本科生逯润雨的论文被国际机器学习顶级会议ICML录用。
ICML作为机器学习领域的三大顶级会议之一,是中国计算机学会(CCF)认定的A类会议,今年共接收到9473篇投稿,录用率仅为27.5%。该会议致力于发布高质量、具有创新性的高水平研究成果,并追求快速传播机器学习社区的顶尖研究成果。
陈东平作为共同第一作者的论文“MLLM-as-a-Judge : Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark”,由我校万瑶副教授和美国里海大学孙力超教授共同指导。陈冬平介绍,在探索多模态大语言模型(MLLMs)的评估领域,我们的团队首次提出并开发了全新的基准——MLLM-AS-A-JUDGE。这一研究工作不仅关注评分评估、配对比较和批量排序这三个核心任务,而且还深入探讨了MLLMs在这些判断任务中的性能表现。此外,该研究是首个深入分析使用多模态大语言模型作为评估者的工作,并且研究了在执行任务时可能出现的偏见(Bias)和幻觉(Hallucination)问题。为了进一步推动该领域的研究,该工作还发布了两个数据集:MLLM-AS-A-JUDGE-HQ 和 MLLM-AS-A-JUDGE-HARD,分别包含与人类判断高度一致和存在明显偏差的模型响应,为未来的研究提供了丰富的测试场景。
逯润雨作为第二作者的论文“MuxServe: Flexible Multiplexing for Efficient Multiple LLM Serving”,在加利福尼亚大学圣迭戈分校(UCSD)张昊教授、加利福尼亚大学伯克利分校(UC Berkeley) Ion Stoica教授、香港中文大学林达华教授, 北京大学李秀红教授、香港中文大学博士生段江飞的合作指导下完成。逯润雨介绍,在大模型GPU推理加速领域,团队首次提出并开发了全新的LLM Serving推理框架MuxServe,一种灵活的时空复用系统,用于高效的Serving Multiple LLM。背后的关键见解是考虑到LLM在复用内存资源方面的popularity,对它们进行共置,同时分割GPU流式多处理器SM用来服务不同的模型的不同任务prefill/decoding来加速总体推理性能。MuxServe 正式阐述了复用分割GPU计算/显存资源问题,并提出了一种新颖的放置算法和自适应批量调度策略来识别最佳并置并最大化利用率。