以前: AI 写完代码,你还要自己跑、自己点、自己抓日志、自己判断。
现在: AI 写完代码,可以自己构建安装 App、自动操作 UI 功能路径、读取真实 UI 状态、检查网络和日志,并完成验收。
AI App Bridge 让 AI agent 可以直接接入正在运行的 Android / Flutter 应用。它提供原生 UI / H5 操作、WebView、View tree / Widget tree / DOM、网络请求和运行日志等运行时能力,让 AI 不只看截图,也能基于真实状态自主迭代开发移动端。
它的核心目标是让 AI agent 按“观察 -> 操作 -> 读取结果 -> 验证 -> 继续迭代”的方式自主推进,而不是在缺少运行证据时猜测。
AI App Bridge is a mobile runtime bridge for autonomous AI agents. It lets agents inspect running Android and Flutter apps, operate native UI and WebViews, read view/widget/DOM trees, collect logs and network records, then follow an observe -> act -> read results -> verify -> iterate loop with real evidence.
移动端自动化如果只依赖截图,AI 很容易在关键细节上猜错。要让 AI 自主迭代,运行时需要同时提供两类能力:看清当前应用状态,并执行下一步动作。
- 当前页面处在什么状态?
- 原生 View、WebView DOM、Flutter Widget 的真实结构是什么?
- 哪些元素可以点击、输入或滚动?WebView 中能执行哪些脚本?
- 如何精准地操作 UI 和输入内容?
- 执行动作后产生了哪些网络请求、日志、状态变化和事件?
- 修改代码或触发操作后,应用是否真的进入了预期状态?
android/ai-app-bridge-android Android runtime SDK
android/ai-app-bridge-gradle-plugin Debug 构建插桩插件
flutter/ai_app_bridge_flutter Flutter 插件
desktop/ai-app-bridge-cli Node CLI 和 MCP stdio server
examples/android-native-sample 干净的 Android 示例应用
docs 设计、集成和测试文档
- 本地 bridge 状态查询:从
127.0.0.1:18080开始自动选择可用端口 - Android View tree、窗口树和截图
- 原生/H5 UI 操作,以及桌面端 ADB / UIAutomator 兜底操作
- 原生 Android WebView DOM 快照和 JavaScript 执行
- Flutter Widget 快照、语义动作信息和运行时动作处理
- Flutter H5 操作和 DOM 快照
- 日志、网络请求、状态和事件缓冲区,支持
sinceId/sinceMs增量读取 - Debug Gradle 插件支持 OkHttp HTTP 自动捕获
- Node CLI / MCP stdio server,方便 AI 工具接入运行时能力
在目标 App 的 debug 构建里引入 Android runtime SDK:
settings.gradle.kts:
dependencyResolutionManagement {
repositories {
google()
mavenCentral()
maven("https://jitpack.io")
}
}app/build.gradle.kts:
dependencies {
debugImplementation("com.github.ldpGitHub.ai-app-bridge:ai-app-bridge-android:0.1.5")
}Runtime SDK 会在 debuggable Android 应用中通过 init provider 自动启动。
可选的 OkHttp 自动捕获由 debug Gradle 插件提供:
settings.gradle.kts:
pluginManagement {
repositories {
google()
mavenCentral()
gradlePluginPortal()
maven("https://jitpack.io")
}
resolutionStrategy {
eachPlugin {
if (requested.id.id == "io.github.lidongping.aiappbridge.android") {
useModule("com.github.ldpGitHub.ai-app-bridge:ai-app-bridge-gradle-plugin:${requested.version}")
}
}
}
}app/build.gradle.kts:
plugins {
id("io.github.lidongping.aiappbridge.android") version "0.1.5"
}
aiAppBridge {
setOkHttpCaptureEnabled(true)
}Flutter 项目只需要添加 pub 包。插件的 Android debug variant 会自动引入 ai-app-bridge-android runtime,用来启动设备内本地 bridge server;release variant 不会自动带入这个 debug runtime。
如果 Android 工程还没有配置 JitPack,需要在仓库配置中加入 https://jitpack.io。然后添加 Flutter 插件:
dependencies:
ai_app_bridge_flutter: ^0.1.5初始化一次:
import 'package:ai_app_bridge_flutter/ai_app_bridge_flutter.dart';
import 'package:flutter/widgets.dart';
void main() {
WidgetsFlutterBinding.ensureInitialized();
AiAppBridge.instance.initialize(appName: 'your_app_name');
runApp(const MyApp());
}Flutter WebView DOM 支持需要注册 H5 adapter,因为 WebView controller 在 Dart 层:
AiAppBridge.instance.registerH5Adapter(
AiAppBridgeH5Adapter(
id: 'main-webview',
source: 'webview_flutter',
evaluateJavascript: (script) {
return controller.runJavaScriptReturningResult(script);
},
),
);npm install -g @lidongping/ai-app-bridge在你的 AI agent 的 MCP 配置里添加。
macOS / Linux:
{
"mcpServers": {
"ai-app-bridge": {
"command": "ai-app-bridge-mcp"
}
}
}Windows:
{
"mcpServers": {
"ai-app-bridge": {
"command": "cmd",
"args": ["/c", "ai-app-bridge-mcp"]
}
}
}AI App Bridge 会暴露运行时检查和操作能力,建议只在 debug 构建接入。除非已经完成针对自身环境的安全评审,否则不要把它打进 production / release 包。
AI App Bridge 使用 Apache License 2.0 开源。
如果你分发修改后的版本,请保留许可证和版权声明,并明确说明你的版本基于或修改自 AI App Bridge。详见 NOTICE。