LLMs and Agentic AI 研究方向

围绕大模型自主交互学习、训练框架、强化学习、知识增强与运行时系统,构建面向科研与产业场景的 LLMs and Agentic AI 技术体系。

研究方向

围绕大模型自主交互学习、训练框架、强化学习、知识增强、运行时系统与应用落地,构建面向科研与产业场景的 LLMs and Agentic AI 技术体系。

人类学习启发的大模型自主学习

探究大模型从模型及人类反馈中进行自主交互学习的机制及方法,以实现能力持续提升。

🧭
环境探索学习(e.g., Agentic RL)

在开放任务环境、工具环境和沙盒环境中自主探索、执行行动并接收反馈,形成可学习轨迹、策略经验和奖励信号。

🔁
同行模型学习(e.g., OPD)

通过模型间讨论、批判、修正、蒸馏和偏好比较,获取多样化推理轨迹、解题策略和协作学习信号。

💬
人类反馈学习(e.g., RLHF)

主动识别知识缺口并向专家提问,将专家反馈转化为领域知识、偏好信号和高质量训练数据。

AgenticRL优化算法

研究多轮交互中的优势估计、信用分配与奖励机制,提升长程任务的策略优化效率与稳定性。

🧮 多轮交互轨迹表示
🔁 优势估计 · 信用分配 · 过程奖励
🚀 策略优化策略设计

AgenticRL数据优化

研究面向智能体能力提升的数据基础设施,打通多源轨迹采集、质量评估、数据策划与训练供给。

📈 数据质量评估体系构建
🧩 数据选择与合成
🗂️ 数据配比与调度

AgenticRL训练框架

研究面向多轮工具交互的统一训练系统,打通环境执行、轨迹采样、奖励反馈与策略更新。

🎯 工作流 · 环境 · 轨迹 · 优化模块解耦
🔧 步级交互建模 · 灵活上下文管理 · 多算法支持
📄 代表项目:Agent-R1

人类反馈与环境交互驱动的大模型持续进化

面向开放复杂任务,探索人类反馈、大模型推理与环境交互协同驱动的持续学习机制,实现智能体系统能力动态演化。

🤝
人类反馈建模与主动对齐学习

如何从少量反馈中高效学习?真实科研或教育场景中,专家反馈成本很高,不可能大量标注。如何让模型主动向人提问?不是被动等人纠错,而是在不确定、冲突、缺信息时主动寻求反馈。

🧠
经验记忆交互

通过历史经验沉淀、记忆检索与交互式更新,支持经验复用、跨任务迁移和持续迭代,在不更新参数的情况下提升长期任务处理能力。

💾
Memory 记忆模块

构建工作记忆、情景记忆与语义记忆协同的统一模块,支持记忆写入、检索、更新、压缩与遗忘,为长程规划、个性化交互和跨任务持续学习提供稳定上下文。

Science of LLMs and Agentic AI

围绕大模型思维链推理机理与大模型智能体机理展开研究,关注推理链路、任务分解、工具调用、记忆与反思之间的协同关系。

🧠 思维链推理机理 · 多步推理路径 · 决策过程解析

研究大模型复杂推理中的任务理解、子问题分解、证据整合、路径依赖与错误传播机制。

🧭 智能体行为动力学 · 执行轨迹 · 工具-记忆协同

研究智能体在规划、工具调用、记忆读写、环境反馈和反思修正中的动态行为演化规律。

🛡️ 可靠可控智能体 · 失败预警 · 运行时干预

研究智能体的失效模式、早期风险信号、记忆漂移、可靠性边界与可控演化机制。

Retrieval-based Agentic AI

KDD Cup、Paper Search 与 DeepResearch 的系列RAG工作介绍。

🥈 KDD Cup 2024 CRAG 银牌 · Task 2&3 第二名
📚 Paper Search · 科技文献检索 · 结构化证据获取
🗞️ DeepResearch · 多步检索 · 报告生成

Coding-based Agentic AI

代码生成、沙箱执行与结构化表格数据推理的系列Coding Agent工作介绍。

🎯 Coding Generation · Data Agent · TableMind
🔧 Coding Sandbox · Tool Use · Execution Feedback
📄 TableMind · 表格理解 · 数据分析代码生成