---
title: 用 REA 构建 RL 环境
url: https://rea.tools/zh-CN/guides/rl-environments/
---

[首页](https://rea.tools/zh-CN/) / [指南](https://rea.tools/zh-CN/guides/) / RL 环境

# 构建 RL 环境。

把录制的 Web 应用会话转换为可运行的环境，用于训练和测试 AI 智能体。

[在 X 上观看发布视频](https://x.com/reatools/status/2112574822584918075?s=20)

## REA 构建的内容

智能体无需运行原应用即可练习查找问题、创建文件夹或编辑记录。REA 会构建供智能体调用的工具、这些工具使用的本地数据，以及用于检查环境能否启动并响应的基础测试。

1. 01 · 录制

   使用测试应用

   捕获请求、响应以及变更产生的结果。
2. 02 · 用 REA 构建

   创建工具和本地状态

   连同录制数据和测试一起导出可运行的 AgentEnv 文件夹。
3. 03 · 用 AgentEnv 运行

   把环境交给智能体

   添加任务目标和奖励检查，用于评测或强化学习训练。

录制内容决定了环境能够支持哪些操作。只有当录制记录确认了变更效果时，相应的修改操作才会受支持。

## 开始之前

[将 REA 与你的编程助手完成配置](https://rea.tools/get-started/)。要录制应用，你需要准备基于 Chromium 的浏览器和一个正在运行的测试实例，且允许智能体在其中创建、编辑和删除数据。REA 只负责录制你提供的应用，应用的启动和测试数据准备由你完成。

要运行导出的环境，请先安装 [AgentEnv 框架](https://github.com/scaleapi/agentenv-framework#install)并启动 Docker。REA 的兼容性检查使用 Python 3.12 及 AgentEnv 版本 `0.9.1334`。

## 用你的智能体录制并构建

告诉智能体要覆盖哪个应用以及哪些操作。对于带文件夹功能的应用，可以参考下面的示例进行调整：

你的编程助手

使用 REA 根据我位于 `http://127.0.0.1:3000` 的测试 Web 应用构建一个 AgentEnv 环境。需要覆盖列出、创建、重命名和删除文件夹操作。你可以创建并删除测试文件夹，不要修改现有数据。使用 `APP_PASSWORD` 中的密码以 admin 身份登录。通过位于 `/absolute/path/to/chromium` 的浏览器进行录制，并导出到尚不存在的 `/absolute/path/to/my-env` 目录。检查哪些操作受支持，并报告所有缺口。

示例提示词。请替换其中的 URL、操作、账号和路径。请在启动 REA MCP 服务器的环境变量中设置 `APP_PASSWORD`，避免将密码直接写进提示词。

你的智能体会检查应用、录制会话、核验受支持的操作，并导出环境。导出完成后，请继续执行[运行环境](https://rea.tools/zh-CN/guides/rl-environments/#run)。

## 或使用已保存的录制文件

HAR 文件会记录浏览器的网络请求和响应。请从浏览器的网络面板导出包含 API 响应体的 HAR 文件，然后构建到新建或空文件夹中：

构建环境

```
npx -y rea-agents@latest environment-build ./session.har ./my-env --name my-env --json
```

你也可以传入 REA 的 `capture-browser-scenario` 或 HAR 检查功能保存的捕获 Evidence JSON。Evidence 是附带来源信息的已保存录制数据。构建过程仅读取本地数据并写入目标目录，不会连接原应用。添加 `--dry-run` 参数可在不写入文件的情况下预览报告。

报告会列出读取操作、受支持的修改操作，以及因录制内容未能确认其效果而暂未纳入的操作。每个暂未纳入的操作都会说明原因，并提示接下来需要补录什么步骤。

## 运行环境

无论该目录是由智能体导出还是基于录制文件构建，都可以使用 AgentEnv 运行：

运行环境测试

```
agent-env run ./my-env
```

如果智能体报告的路径不同，请替换为实际路径。首次运行会构建容器镜像，需要能够访问镜像和软件包源。

内置的冒烟测试任务是一个基础验证：它会检查工具数量，并在存在合适的读取工具时调用该工具并校验响应状态。测试通过即表明该环境在当前配置下可以正常启动并响应。

## 添加任务和奖励检查

结合你的强化学习框架使用该环境来定义目标、评估得分并运行训练。你的编程助手可以协助编写任务与校验逻辑。建议先从环境已支持的单个操作开始：

你的编程助手

使用这个导出的环境添加一个 AgentEnv 任务，要求智能体创建名为 Practice 的文件夹。检查环境状态以确认该名称的文件夹已存在，并据此检查对结果评分。每次运行前重置环境。遵循 AgentEnv 的任务与验证器格式。

这是面向支持文件夹创建操作的环境的示例提示词。修改数据的任务应检查变更后的结果状态；检索类任务可以将答案与录制中的实际值进行核对。

导出结果包含可运行的环境及其基础测试。具体任务的评分逻辑需要在评测工作流中自行添加。有关任务、验证器和智能体接入的详细信息，请参阅 [AgentEnv 文档](https://www.agentenvframework.com/docs)。

## 检查可用功能

要让修改操作得到支持，不仅要录制操作本身，还要录制操作结果：先读取条目，再修改条目，然后在下一次修改前重新读取该条目及其所在列表；并使用不同取值重复这一过程。对于删除操作，则需要同时录制条目不存在的响应以及更新后的列表。

启动测试通过、智能体完成任务以及与原应用行为一致，这三者是相互独立的检查。要验证后者，请将从相同初始数据出发、另行录制的原应用调用记录传给 `environment-compare`。

分享该文件夹前，请检查其中保留的响应体和本地路径。自定义请求头、查询参数值和响应体令牌仍可能保留在里面。凭据名称警告只会标记需要复核的位置，不会自动删除这些值。

如需了解覆盖率报告和比对命令，请参阅[完整录制与验证指南](https://github.com/morluto/rea/blob/main/docs/agent-environments-quickstart.md)；如需了解直接 MCP 服务、状态控制和限制说明，请参阅[环境参考文档](https://github.com/morluto/rea/blob/main/docs/agent-environments.md)。

## 构建桌面应用环境

对于 Linux 桌面应用，先描述你希望智能体练习的任务。例如，让它为 Gnote 构建一个环境，练习把橄榄油添加到购物清单。智能体会在本地构建机上安装应用、编写任务并导出环境，然后在一台全新的机器上通过截图、鼠标和键盘验证任务。

构建机需要运行 amd64 或 arm64 版 Linux，并安装 Docker 和指定版本的 AgentEnv。请按[桌面环境构建机设置指南](https://github.com/morluto/rea/blob/main/docs/desktop-build-computer.md#set-up-a-build-host)安装所需软件并检查机器是否就绪。
