RLChina 2024 WORKSHOP

近年来，强化学习研究正逐步从理论探索迈向实际应用，但此过程面临多重挑战。本报告聚焦于Safe RL与Offline RL两大领域，针对策略安全性不足及分布外数据泛化难度大的问题，深入探讨了有界信念状态估计、可扩展的约束策略优化，以及在离线环境下如何抑制过度泛化并拓宽泛化边界等内容，旨在为提升强化学习算法的安全性能与泛化能力提供新的思路。

操作能力是通用机器人必备的重要能力之一，尤其是在处理长序列复杂任务时，智能操作面临着巨大的挑战。基于强化学习的操作技能学习已经展现了显著成效，但强化学习的奖励设计往往依赖大量专家的先验知识，如何自动化生成奖励函数仍是一个亟待解决的问题。除了自动化奖励生成，模仿学习作为一种无需设计奖励函数的操作技能学习范式，而如何通过模仿学习生成具备高鲁棒性的操作技能则是另一个重要的研究难题。此外，单一操作技能只能应对简单的子任务，如何对现有技能进行规划以完成长序列的复杂现实任务，具有重要的研究意义。本报告将从三个方面展开讨论：包括强化学习的奖励自动生成、鲁棒的视觉模仿学习以及基于大模型的任务规划。

强化学习近年来成为复杂多智能体任务的强有力解决途径之一，在军事国防、智慧城市与低空经济等领域有广泛需求。以往的大量研究虽然在游戏等展示出良好的协作能力，但在实际任务中却难以应用。其主要障碍在于，面向封闭环境设计的算法难以应对实际应用场景中的开放条件， 其中的重要因素可能会发生改变，存在“交互繁杂”、“环境动荡”、“协作多变”等特点。本报告将从多智能体强化学习、开放环境下的多智能体强化学习方面展开，并展望在多智能体世界模型学习、多智能体具身智能方面的未来的研究方向。

Most existing provably sample-efficient RL algorithms are based either on the principle of optimism in the face of uncertainty (OFU) or on Thompson sampling. In contrast, this talk introduces an alternative and principled exploration strategy known as information-directed sampling (IDS). Inspired by foundational concepts in information theory, IDS tackles the exploration-exploitation tradeoff by requiring the agent to balance the policy’s sub-optimality (exploitation) and the acquired information about a learning target (exploration). IDS is applicable not only to single-agent RL (MDP) but also to multi-agent RL (Markov games) and reinforcement learning from human feedback (RLHF). Theoretical analysis demonstrates that IDS-based algorithms can achieve near-optimal regret bounds of order O(\sqrt{T}) over T episodes in all these settings, showcasing their sample efficiency and expanding the set of known algorithms that satisfy an O(\sqrt{T}) regret bound.

尽管强化学习技术发展迅猛，但因其高度依赖虚拟环境的特性以及在处理不同类型任务时难以实现标准化开发和训练，强化学习长期以来一直处于定制化服务的阶段，造成其产业化和商业化的问题。因此，本次报告将从AI领域产品化的角度出发，结合南栖仙策在强化学习领域的生产实践，探讨如何通过技术创新和流程标准化等手段加速强化学习的产业化进程，促进科技价值与商业价值的对接，并分享我们在实现强化学习产业化过程中的探索和思考。

本报告聚焦“AI Agent业界进展和发展趋势”。首先，以实例分析当前AI Agent在业界的最新进展情况。接着，对其未来发展趋势进行展望，探讨可能出现的新技术突破方向和应用场景。希望为相关行业从业者、研究者及决策者提供有价值的参考和洞察。

本报告探讨了离线强化学习在决策智能领域的应用与发展。离线强化学习是一种通过利用已有的数据集来训练智能体的方法，避免了在线学习过程中对环境的实时交互需求，从而显著提升了决策效率和安全性。本文首先概述了离线强化学习的基本概念及其与传统在线学习的区别，随后，报告将重点讨论当前的研究进展，包括离线数据的标注与优化、离线训练算法的设计以及在线快速调优等。接着，报告分析了将强化学习和离线强化学习应用在各类实际场景中的优势与挑战。结合未来的研究方向，指出离线强化学习在推动大模型时代下智能决策系统智能化、泛化性和适应性方面的潜力。

以ChatGPT为代表的大语言模型是人工智能领域最火爆的研究热点之一，而AI Agent是大语言模型最有潜力的应用方式之一。本报告以智能体（Agent）为线索，首先梳理基于强化学习的决策智能体和多智能体研究，其次介绍基于大语言模型的AI Agent和AI Agents研究，最后在不泄露公司机密的前提下分享一些企业实践中的心得体会。

Social norms play a crucial role in guiding agents towards understanding and adhering to standards of behavior, thus reducing social conflicts within multi-agent systems (MASs). However, current LLM-based (or generative) MASs lack the capability to be normative. In this paper, we propose a novel architecture, named CRSEC, to empower the emergence of social norms within generative MASs. Our architecture consists of four modules: Creation & Representation, Spreading, Evaluation, and Compliance. This addresses several important aspects of the emergent processes all in one:(i) where social norms come from,(ii) how they are formally represented,(iii) how they spread through agents’ communications and observations,(iv) how they are examined with a sanity check and synthesized in the long term, and (v) how they are incorporated into agents’ planning and actions. Our experiments deployed in the Smallville sandbox game environment demonstrate the capability of our architecture to establish social norms and reduce social conflicts within generative MASs. The positive outcomes of our human evaluation, conducted with 30 evaluators, further affirm the effectiveness of our approach.

Smartphone agents are becoming increasingly vital for enabling users to manage devices efficiently, with (M)LLM-based agents emerging as front-runners. In this talk, I will introduce an extensive benchmark for smartphone agents, specifically designed to evaluate the performance of MLLM-based agents in end-to-end setting. To address the computational limitations of smartphones, we propose the lightweight multi-modal App control architecture. This involves integrating a compact action transformer with a lightweight MLLM for real-time decision-making and task execution. Finally, I will unveil a novel framework aimed at enhancing the efficiency of online reinforcement learning for smartphone agents. This framework employs a distributed RL approach to seamlessly bridge the gap between offline training and dynamic, real-time interactions.

大语言模型的快速发展涌现出了与人类相似的上下文学习和常识推理能力。在此背景下，智能体工作流（Agentic Workflow）的设计成为了释放大语言模型应用潜力的重要途径。然而，现有研究普遍面临智能体推理开销大、难以自主适应不同领域等重要挑战。针对这些挑战，讲者将在本次报告中重点探讨人类认知理论启发的智能体推理框架，通过有效协同云端大模型和本地小模型实现智能体高效推理。此外，本报告还将介绍大模型智能体的自动化设计框架，实现任务自适应的智能体工作流优化搜索。

决策智能在油气行业生产经营领域中一些研究探索和案例分享

本报告以复杂博弈智能决策为主题，从博弈理论和强化学习相结合的技术路线出发，探讨博弈决策系统的智能性、拟人性、可解释性以及人机协同方面的研究进展。报告最后介绍复杂博弈决策技术在军事、金融等重大领域的应用。

杀伤网是一种针对敌方威胁目标，我方各对抗要素根据规定的编排架构，按特定顺序依次发挥效能，从而实现对目标软硬杀伤的任务模式。本报告针对远距意图推理、中距轨迹预测、近距动作识别，提出基于博弈的动态杀伤网敏捷构建技术，主要介绍动态敏捷杀伤网体系架构设计、异构资源动态组织运用、时敏目标快速搜索与打击、杀伤网打击效能评估等关键技术，以及未来的研究展望。

本报告简要介绍人工智能大模型方面的现状与挑战，进而介绍机器人自主学习与多智能体协同决策领域中取得的研究进展。针对稀疏奖励探索效率低问题，提出了基于信赖域经验回访的机器人自主策略优化方法以及基于数据蒸馏的持续学习方法。在多智能体协同决策中，多智能体系统通过与环境交互提升协同认知和联合行为能力，但存在交互不稳定、策略评估不准确等问题，针对以上问题我们提出了基于贪婪值函数表征的多智能体最优协作方法，构建了最优一致性指标，即使非完整表征，依然能使得多智能体协同达到最优；进一步提出了可微的有向无环通信图作为意图分享的基础，并根据这一层级通信图，分别构建了联合策略、联合值函数的分解方法，提升了信息交互的效率。此外，报告还简要介绍相关方法在多人游戏、航空与航天等领域上的应用。

多智能体团队零和博弈的问题特点是团队内部存在协同合作，而团队之间是零和竞争关系。相比于个体的零和博弈，团队零和由于智能体数量的增加决策空间成组合爆炸，而且智能体之间复杂交互关系显著增加了博弈求解的计算复杂度。本次报告梳理了动态博弈场景的典型博弈均衡求解方法，并基于博弈论中两人零和理论和多智能体强化学习设计了面向两团队零和博弈的分解原理和在线学习方法，在离散动作空间和连续动作空间问题上实现个体策略学习优化。为了将相关理论与方法从游戏仿真环境向现实世界应用，团队搭建了基于实体机器人的无人博弈对抗系统，在感知、规划、控制等功能的支撑下，将提出的博弈决策方法应用在机器人群体博弈对抗上，取得超越传统方法的效果。

人形机器人作为人工智能技术的通用载体和终极形态，体现了人类长久以来希望构造出与自身形象相似的智能机器的理想。它有望成为通用机器人平台，解决家政服务、康复辅助、安全巡检和工业制造等多个领域因劳动力短缺带来的挑战。具身智能技术是实现机器人智能化的关键，能够使机器人通过与环境的感知和交互，自主完成各类任务。然而，如何将人形机器人发展为具身智能技术的通用终端载体，是一个极具挑战性的课题。本次报告将重点介绍我们团队在人形机器人领域的初步探索，涵盖四个核心研究方向：多模态感知、学习与决策（大脑）、仿人运动控制（小脑）、灵巧的五指操作，以及物理仿真与虚实融合。同时，我们将分享团队对具身智能技术的理解，并探讨如何通过人形机器人作为智能载体，推动具身智能技术的发展。希望通过本次报告，促进与领域内专家的深入交流，推动人形机器人和通用人工智能技术的进一步创新与发展。

广泛存在于LLM隐层表征和自注意力机制中的信息冗余是许多方法加速LLM计算的关键，例如KV缓存压缩或注意力值修剪。在本次演讲中，我们将首先回顾LLM出现之前的诸多加速算法和模型，并从基于变换的方法的角度，展示LLM隐层表征中的信息冗余。接着，我们将介绍现在流行的纯解码器LLM架构中发展出来的算法级KV缓存压缩方法及相关研究工作。

检索增强（RAG）通过引入外部知识能有效提升了模型的回答准确性与知识广度，在解决大型语言模型（LLM）幻觉问题及增加模型知识容量方面扮演着重要作用。然而，RAG为什么有效、边界在哪尚不清楚，现阶段关于RAG工作机制的研究相当匮乏，这一定程度上限制了RAG算法的进一步优化和改进。本报告将从原理上阐明RAG能提升LLM的推理能力，但对于复杂推理任务提升效果有限。在此基础上，进一步探究在检索文档有噪音情况下，RAG的推理表现，并给出了可能算法改进路径。

We introduce a novel framework of combinatorial multi-armed bandits (CMAB) with multivariant and probabilistically triggering arms (CMAB-MT), where the outcome of each arm is a d-dimensional multivariant random variable and the feedback follows a general arm triggering process. Compared with existing CMAB works, CMAB-MT not only enhances the modeling power but also allows improved results by leveraging distinct statistical properties for multivariant random variables. For CMAB-MT, we propose a general 1-norm multivariant and triggering probability-modulated smoothness condition, and an optimistic CUCB-MT algorithm built upon this condition. Our framework can include many important problems as applications, such as episodic reinforcement learning (RL) and probabilistic maximum coverage for goods distribution, all of which meet the above smoothness condition and achieve matching or improved regret bounds compared to existing works. Through our new framework, we build the first connection between the episodic RL and CMAB literature, by offering a new angle to solve the episodic RL through the lens of CMAB, which may encourage more interactions between these two important directions. This work is published at ICML 2024.

This paper studies off-policy evaluation (OPE) in the presence of unmeasured confounders. Inspired by the two-way fixed effects regression model widely used in the panel data literature, we propose a two-way unmeasured confounding assumption to model the system dynamics in causal reinforcement learning and develop a two-way deconfounder -- an algorithm that leverages the temporal and individual dependence among the latent factors to achieve consistent policy value estimation. Two-way deconfounder devises a relational neural network to simultaneously learn both the unmeasured confounders and the system dynamics, based on which a model-based estimator can be constructed to estimate the policy value. We illustrate the effectiveness of the proposed estimator through a combination of theoretical results and numerical experiments.

匹配市场问题在人才培养、资源分配等多个领域扮演着至关重要的角色，是计算机科学和经济学领域重点关注的多智能体博弈场景。由于市场中单个参与者对其他参与者的了解有限，依据不确定性偏好信息计算出的匹配关系难以保持长期稳定。为了解决这一问题，多臂赌博机算法近年来在匹配市场的研究中受到广泛关注，旨在高效学习参与者的偏好，同时确保市场快速收敛至均衡状态，从而提高市场整体的效率和稳定性。 本文分别考虑了一对一和多对一匹配市场，有效将玩家间的博弈交互耦合进玩家个体的学习过程，设计了高效的学习算法并理论证明其稳定懊悔及激励兼容性水平。本文所提出算法的稳定懊悔结果大幅提升了领域已有结果，完善了匹配市场中多臂赌博机问题的理论框架。

We study reinforcement learning (RL) for the purpose of learning a Quantal Stackelberg Equilibrium (QSE) in an episodic Markov game with a leader-follower structure. Specifically, at the start of the game, the leader commits to a policy, which is observed by the follower. In response, the follower adopts a quantal response policy by solving an entropy-regularized policy optimization problem influenced by the leader's policy. The leader’s objective is to identify her optimal policy, maximizing expected total return by interacting with the follower and learning from the data. A central challenge of this problem is that the leader cannot directly observe the follower’s reward and must infer the follower’s quantal response model from their actions in response to the leader's policies. We propose sample-efficient algorithms for both online and offline settings, within the context of function approximation. Our algorithms rely on two key components: (i) learning the quantal response model via maximum likelihood estimation, and (ii) applying model-free or model-based RL to solve the leader's decision-making problem. We establish that these algorithms achieve sublinear regret bounds. Additionally, we quantify the uncertainty in these estimators and use it to develop optimistic and pessimistic algorithms for online and offline learning. Moreover, in the linear and myopic setting, our algorithms are also computationally efficient.

随着大模型的发展，越来越多的智能体（AI Agents）研究关注计算机控制，包括浏览网页、操作智能手机、玩游戏等。然而，已有研究依赖软件内部API获取输入，并输出预先定义好的动作，无法真正像人类一样通过眼、脑、手的配合操控计算机。要构建能完成计算机上一切任务的通用智能体，必须使用最通用和最标准的输入输出与计算机进行交互。但是通用性带来了很多操作上的难度并成为构建通用计算机控制智能体（GCC Agents）的挑战。Cradle是迄今为止第一个既能玩多种商业游戏又能操作各种软件应用的AI框架。在这个全新的通用计算机控制框架加持下，AI Agent无需训练便能像人一样直接控制键盘鼠标，不依赖任何内部API，实现任意开闭源软件交互。Cradle的论文、项目、代码均已开源。

城市是一个典型的动态开放环境，不同于其他环境，城市环境同时兼具物理要素和社会要素，城市环境中的具身智能体能力可以分为基础感知推理决策能力、第一视角环境交互的物理具身能力、第一视角与其他智能体乃至真人交互的社会具身能力等多个层次。另一方面，城市环境所需的具身智能能力与大模型表现出的外部环境感知、个性推理思考、类人行动决策能力等契合。本次报告，将围绕城市环境中的具身智能体，介绍面向城市具身智能的仿真环境与大模型智能体的研究进展。

近年来，以自动驾驶、智慧物流为代表的智能无人平台的快速发展，引领了人工智能由单纯的感知智能或决策智能向“感知-决策-控制一体化”（感决控一体）智能转变。并且，伴随单个智能体能力得到提高，多智能体之间的有机合作成为可能。利用多个协同的感决控一体平台构建多机协同系统，可以提升环境的感知范围和动作能力。然而多机协同系统面临通信、感知、数据、计算等资源受限的挑战，需要面向平台中的通信与组网、计算与存储、定位与导航、感知与探测、规划与控制等多个层面进行基础理论和关键技术研究。 目前多机协同系统的研究处于起步阶段，面临缺少基础设施和评价指标、缺少稳定场景和任务场地、缺少无人系统集成标准等挑战，无法针对协同智能任务进行系统层面的快速部署、快速验证和快速测试。针对以上挑战，团队构建了面向协同智能的无人平台开发系统，在基础设施层面，设计了云机器人和云测试场中间件，将测试场地、基础仪器设施、智能机器人本体进行虚拟化共享，支持硬件平台的远程时分复用。并基于上述平台，开展了通信受限下的多机环境探索、全向无人机集群自主避障、无人机飞行速度建模验证等研究。

扩散与优化模型驱动的具身智能生成与决策，本次报告将介绍我们在该方向上做得一些深度学习基础理论与算法应用。1）融合球面高斯约束的条件扩散方法：揭示了在使用基于损失函数引导条件扩散在采样时会出现流形偏移现象，通过优化有效地限制扩散过程处于中间数据流形内，并推导出该优化问题的解析解，可以即插即用无需训练，修改几行代码显著提高条件生成性能。适应于包括图像补全、超分辨率、图像去噪、文生图等各种条件生成任务。该方法目前还成功应用于多种手物交互生成和机器人扩散策略操控任务中。2）基于扩散模型的在线强化学习新范式：扩散模型因其强大的表达能力和多模态性而在强化学习领域中引起了广泛关注，但是现有的研究主要集中在离线强化学习领域，由于缺乏样本标签，扩散模型的训练目标无法用于在线强化学习中。我们提出了基于Q加权变分策略优化的在线强化学习算法，引入了等价强化学习策略目标的Q加权变分损失，并设计了用于扩散模型的熵正则化项，提高了扩散策略的探索能力和样本效率。3）融合优化模型到神经网络协同训练方法：将人类知识建模为带约束的优化问题，并作为神经网络结构中优化层，有助增强神经网络的可解释性和鲁棒性，我们提出交替微分训练新方法，能大幅提升优化层的训练速度，并理论推导出了交替微分的截断误差上界。在优化层基础上，提出了首个能解决复杂硬约束的连续控制任务的安全强化学习算法，确保约束得到满足。

大模型作为颠覆性创新技术，其下一阶段的关键议题在于解决开放域问题。近期的研究和实践表明，以大模型为基础的智能体（大模型智能体）是迈向这一目标的核心技术路径，具有广阔的研究与应用前景。本报告将分析大模型智能体在开放域中所面临的主要挑战，阐述智能体-环境-用户的统一对齐原则，并结合实际案例介绍相关探索成果，展望未来发展方向。

几十年来，人类一直在寻求创造接近或超越人类智力的人工智能（AI），智能体被誉为实现这一目标的一条有希望的道路。大语言模型（LLM）越来越被视为通用人工智能（AGI）发展的潜在催化剂，激发了创建多功能智能体的希望。本次报告将介绍基于大模型的智能体的综合框架，讨论确保这些智能体符合人类能力和价值观的策略，并提供对此类智能体未来发展的见解。

Recent years have witnessed the great success of RL with deep feature representations in many challenging tasks, including LLMs, computer games, robotics, and so on. Yet, solely focusing on the optimal solution based on a reward proxy and learning the reward-maximizing policy is not enough. Diversity of the generated states is desirable in a wide range of important practical scenarios such as dialogue systems, drug discovery, recommender systems, etc. For example, in typical RLHF scenarios, the proxy reward function can be uncertain and imperfect itself (compared to the gold reward model). Therefore, it is not sufficient to only search for the solution that maximizes the return. Instead, it is desired that we sample many high-reward candidates, which can be achieved by sampling them proportionally to the reward of each terminal state. The Generative Flow Network (GFlowNet) is a probabilistic generative model proposed by Yoshua Bengio in 2021 where an agent learns a stochastic policy for object generation, such that the probability of generating an object is proportional to a given reward function, i.e., by learning a reward-matching policy. Its effectiveness has been shown in discovering high-quality and diverse solutions in LLM alignment, molecule generation, etc. The talk concerns my recent research works about how we tackle three important challenges in such decision-making systems. Firstly, how can we ensure a robust learning behavior and value estimation of the agent? Secondly, how can we improve its learning efficiency? Thirdly, how to successfully apply them in important practical applications such as computational sustainability problems and combinatorial optimization?

以 ChatGPT 为代表的大语言模型通过使用超大规模模型参数和海量数据进行训练，涌现出很强的上下文学习能力和思维链推理能力，并与外部环境和工具进行交互，形成大模型智能体，在手机、PC、智能汽车等端侧设备上取得了较为广泛的应用。本报告将以手机智能体为例，从模型、系统、评测基准等多个方面介绍我们在大模型驱动的端侧智能体方面的工作。

异质性主体动态宏观经济学模型涉及复杂的动态规划和数值模拟。我们把异质性模型放入抽象的无穷维分布空间中，财富分布作为描述经济系统的状态变量。经济系统的跨期转移关系被非线性Fokker-Planck方程描述。我们研究了带有加总冲击宏观经济中的税制设计。以测度流方程为约束条件，我们使用无穷维状态空间随机动态规划技术，对Krusell-Smith经济中的最优税制进行了刻画。数值模拟过程发现深度学习和强化学习是求解复杂宏观模型的有用工具。

We study cooperative games where players join sequentially, and the value generated by those who have joined at any point must be irrevocably divided among these players. We introduce two desiderata for the value division mechanism: that the players should have incentives to join as early as possible, and that the division should be considered fair. For the latter, we require that each player’s expected share in the mechanism should equal her Shapley value if the players’ arrival order is uniformly at random. When the value generation function is submodular, allocating the marginal value to the player satisfies these properties. This is no longer true for more general functions. Our main technical contribution is a complete characterization of 0-1 value games for which desired mechanisms exist. We show that a natural mechanism, Rewarding First Critical Player (RFC), is complete, in that a 0-1 value function admits a mechanism with the properties above if and only if RFC satisfies them; we analytically characterize all such value functions. Moreover, we give an algorithm that decomposes, in an online fashion, any value function into 0-1 value functions, on each of which RFC can be run. In this way, we design an extension of RFC for general monotone games, and the properties are proved to be maintained.

We study the maximin share (MMS) fair allocation of m indivisible chores to n agents who have costs for completing the assigned chores. It is known that exact MMS fairness cannot be guaranteed, and so far the best-known approximation for additive cost functions is 13/11 by Huang and Segal-Halevi [EC, 2023]; however, beyond additivity, very little is known. In this work, we first prove that no algorithm can ensure better than min{𝑛,log 𝑚/loglog 𝑚}-approximation if the cost functions are submodular. This result also shows a sharp contrast with the allocation of goods where constant approximations exist as shown by Barman and Krishnamurthy [TEAC, 2020] and Ghodsi et al. [AIJ, 2022]. We then prove that for subadditive costs, there always exists an allocation that is min{𝑛,⌈log 𝑚]}-approximation, and thus the approximation ratio is asymptotically tight. Due to the hardness result for general subadditive costs, we turn to study specific subadditive costs, e.g., vertex cover, which is called the fair surveillance assignment problem, and more. For these settings, we show that constant approximate allocations exist.

We consider the fairness perspective of facility location games where agents report their information while the mechanism needs to output a facility location that is fair and strategyproof. Various recent works will be discussed along the fairness perspective.

报告主要介绍人形/四足机器人技术与产业的发展背景、趋势与技术挑战，分析了腿足机器人不同时间的主要特点，以及当前的主要技术挑战。报告重点介绍了基于端到端强化学习算法下的人形机器人和四足机器人在感知与控制的最新研究进展和未来的发展趋势。

强化学习是智能体策略学习的重要途径。然而，强化学习策略依据特定任务的奖励函数，在不同任务中难以进行快速适应。如何学习通用策略并使其在下游任务中快速泛化是一项重要的挑战。此外，在强化学习的具身应用中，机器人需将仿真环境中学习的策略迁移到真实环境中，如何在特权信息缺失和环境动态变化中进行具身策略迁移是现实的挑战。在大模型快速发展的背景下，视觉基础模型和大语言模型将有望进一步提升策略对具身环境的理解能力和泛化能力。本报告将结合最新研究进展从三个方面进行讨论，包括技能学习和技能泛化，跨域度量和仿真-真实泛化，基础模型驱动的策略泛化等。

本报告介绍基于机器学习的无人机自主决策与智能控制研究最新进展。我们的研究聚焦单机控制和多机协同两大领域，探讨了六个关键科学问题：基于强化学习的安全性和稳定性控制、利用扩散模型进行动力学建模、面向边缘计算的在线动力学模型学习、空中机械臂自适应控制、基于多智能体合作理论的无人机围捕，以及超大规模无人机集群的分布式学习预测控制。通过在不同四旋翼无人机平台验证，我们的研究成果为智能系统控制领域提供了新的思路和方法。

在互联网时代，跨领域的知识获取和跨地区的信息传递非常便捷高效，使得在线学习模式越来越受欢迎。进入AI时代，我们对于“学习什么知识和技能、怎样赢得持久竞争力、如何增进身心健康和幸福感”有了更高的期盼，本报告将分享和讨论我们最新的思考和建议。

Beautimeter（美度计）是一个利用生成预训练转换器 (GPT) 技术开发的新工具，旨在进行自我镜像测试 (MOST) 来评估建筑和城市之美。MOST基于克里斯托弗·亚历山大的中心理论，该理论认为所有环境在某种程度上都有其内在的生命感，并促使个体评估特定空间是否反映了其内在的自我感。Beautimeter集成了GPT的高级自然语言处理功能，使得可以对建筑和城市之美进行广泛且细致的分析。通过ChatGPT，Beautimeter帮助用户实施MOST，并解析结果，生成对建筑和城市空间美感及一致性的见解。这种方法不仅自动化了MOST，还扩展了其规模，创造了理解建筑与人类体验之间关系的新方式。我们进行了一系列案例研究，通过评估多种建筑和城市环境，揭示了人们对美的感知的相关性和模式。研究结果表明，通过利用GPT 技术，Beautimeter可以成为建筑师、城市规划师和设计师的有力工具，帮助他们创建能与人产生深刻共鸣的空间。本文探讨了这种技术在建筑和城市设计中的应用，并强调了其在增强设计流程和评估建筑环境方面的潜力。

当前AI已成为新一轮产业升级的核心驱动力，车联网、XR和移动机器人等场景都需要泛在智能。当前“外挂式AI”存在效率低、通用性差、可扩展性不足等问题，难以满足网络内外高实时差异化的AI服务需求。为此，6G将构建一套内生于网络架构的高效率、高性能AI服务供应系统，以异构硬件云化作为底座，实现资源的池化、虚拟化和动态调度，以端到端服务化为基因，实现个性化和定制化的按需服务，以通、算、数、智资源协同调度为引擎，为用户提供高实时、高性能AI服务，以数字孪生作为保障，解决AI泛化性差、试错成本高的问题。

深度学习近年来在多个领域取得了显著突破，生物信息学也不例外。然而，当前广为人知的研究仍主要集中在蛋白质结构预测（如AlphaFold）和药物发现等领域。相比之下，基因组数据分析方向虽然数据量更为庞大、任务更为复杂，却未能得到同等深度的研究和应用。其主要挑战包括基因组数据的多样性和复杂性，缺乏完善的数据库以支持深度学习模型的开发，以及基因组相关任务定义的不明确性。在本报告中，我们将介绍我们在基因组与三维基因组数据挖掘中的最新进展，探讨如何克服这些挑战。此外，还将展示如何基于ChatGPT等大语言模型开发智能体来辅助生物数据处理与交互式分析，从而推动生物数据分析的智能化和自动化。

了解人类出行行为的变化是有效智慧城市规划的关键。本讲座重点介绍有关诠释旅行模式转变的理论框架，例如理性选择理论、行为经济学和习惯形成。它探讨了这些模型如何解释因技术、环境问题和社会经济变化等产生的影响。通过研究个人如何调整他们的出行决策（模式、频率和距离），我们可以深入了解流动性的动态变化。该讲座强调需要将这些理论整合到可持续城市规划的适应性规划中。

以图论与组合为代表的离散优化问题一直是应用数学和计算机科学的重要内容，也是人工智能，特别是符号主义、推理证明等方向的基础之一。本报告将介绍讲者近年来在离散优化领域，结合机器学习的一些探索与应用，以及一些思考。包括问题的表征、学习与求解。相关工作也得到了科技部、基金委重大项目的支持。

We propose a game model for selfish routing of atomic agents, who compete for use of a network to travel from their origins to a common destination as fast as possible. We follow a frequently used rule that the latency an agent experiences on each edge is a constant transit time plus a variable waiting time in a queue. A key feature that differentiates our model from related ones is an edge-based tie-breaking rule for prioritizing agents in queueing when they reach an edge at the same time. We study both nonadaptive agents (each choosing a one-off origin-destination path simultaneously at the very beginning) and adaptive ones (each making an online decision at every nonterminal vertex they reach as to which next edge to take). On the one hand, we constructively prove that a (pure) Nash equilibrium (NE) always exists for nonadaptive agents, and show that every NE is weakly Pareto optimal and globally {first-in-first-out}. We present efficient algorithms for finding an NE and best responses of nonadaptive agents. On the other hand, we are among the first to consider adaptive atomic agents, for which we show that a subgame perfect equilibrium (SPE) always exists, and that each NE outcome for nonadaptive agents is an SPE outcome for adaptive agents, but not vice versa.

图上的组合优化问题在现实中的网络分析、控制与决策等问题上应用广泛，但大部分图上的组合优化问题都是NP-hard的，传统方法在求解的时效性、规模性和通用性等方面的不足日益凸显。随着以图网络、强化学习为代表的人工智能技术兴起，这类问题有了新的求解思路。本报告首先介绍学习型组合优化问题求解的现状和优势，然后介绍团队设计的数智驱动的新型求解框架，及在此框架下的几个具体问题的求解，最后介绍该框架的开源软件实现。

介绍阿里达摩院通用优化求解器MindOpt中优化求解技术的最新进展，以及典型复杂业务场景中的应用情况。

人工智能与机器学习技术被广泛应用于优化和增强各种工业场景中决策过程的质量与效率。随着相关技术的迅猛发展，工业决策智能正从传统的启发式方法转变为基于深度学习的方法，并迅速向基于大模型的方法演进。大模型能够整合丰富的人类先验与深厚的领域知识，通过合理的建模方式，有望应对大规模且动态变化的工业数据与决策环境。本报告将重点探讨在芯片设计、运筹优化等工业领域中，决策智能从启发式方法向大模型方法的演变过程、面临的挑战，以及我们在相关方向的前沿探索。

介绍真格基金及在AI领域的投资布局，通过展示全球独角兽企业与创始人的相关数据、分享真格基金投资的科学家创业案例，探讨科学家创业的机遇与挑战，更强调取得成功的关键因素，并提供融资前的准备与建议。

人工智能大发展的时代背景下如何从数据要素价值挖掘和落地产业赋能的视角中找准创业定位

穹彻智能是一家专注于开发和应用具身智能技术的前沿科技公司，聚焦“以力为中心”的具身智能大模型和相关基础设施的研发，为不同行业的客户提供创新的通用机器人智能解决方案和服务，以解决现实世界中的复杂问题。2024年9月穹彻智能宣布完成累计数亿元人民币的天使轮和Pre-A轮两轮融资。

在城市化快速发展的背景下，传统建设与运维模式面临诸多挑战，包括资源浪费、效率低下和环境影响等。本报告将分享我的创业故事，探讨如何利用GenAI与多智能体技术重塑城市建设的未来。

随着大语言模型的的飞速发展， 生成式 AI（Gen AI）与对话式 AI （Conversational AI) 的结合正在重塑商业模式，开启前所未有的创业机遇。 Linda 将分享在全球各个行业的应用场景以及探讨创业者在这一领域面临的核心挑战，如用户信任、数据隐私和商业化路径。

可控音乐生成大模型，可生成标准五线谱，方便阅读和二次编辑，专业音乐人的音乐创作助手

在当今快速变化的软件开发环境中，维护和优化代码质量的需求变得尤为紧迫。无限思维科技有限公司开发的智能大模型软件质量维护平台CoOps，通过结合大语言模型（LLM）和搜索优化技术，提供了一种革命性的解决方案。该平台不仅能够高效生成高质量的代码，还能通过自动化流程减少维护时间和成本，显著提升开发效率。通过实际案例，我们将展示CoOps如何帮助企业应对遗留系统更新、技术债务增加等挑战，推动软件维护向人工超智能（ASI）的演进。