Skip to content

About

AI App Bridge is a runtime bridge for AI agents to close the loop on mobile app iteration: inspect the running app, operate UI and WebView surfaces, collect structured runtime state, verify results, and continue improving the app.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

AI App Bridge

English

从“AI 写代码”到“AI 完成交付”

以前: AI 写完代码,你还要自己跑、自己点、自己抓日志、自己判断。
现在: AI 写完代码,可以自己构建安装 App、自动操作 UI 功能路径、读取真实 UI 状态、检查网络和日志,并完成验收。

AI App Bridge 让 AI agent 可以直接接入正在运行的 Android / Flutter 应用。它提供原生 UI / H5 操作、WebView、View tree / Widget tree / DOM、网络请求和运行日志等运行时能力,让 AI 不只看截图,也能基于真实状态自主迭代开发移动端。

它的核心目标是让 AI agent 按“观察 -> 操作 -> 读取结果 -> 验证 -> 继续迭代”的方式自主推进,而不是在缺少运行证据时猜测。

AI App Bridge is a mobile runtime bridge for autonomous AI agents. It lets agents inspect running Android and Flutter apps, operate native UI and WebViews, read view/widget/DOM trees, collect logs and network records, then follow an observe -> act -> read results -> verify -> iterate loop with real evidence.

解决的问题

移动端自动化如果只依赖截图,AI 很容易在关键细节上猜错。要让 AI 自主迭代,运行时需要同时提供两类能力:看清当前应用状态,并执行下一步动作。

  • 当前页面处在什么状态?
  • 原生 View、WebView DOM、Flutter Widget 的真实结构是什么?
  • 哪些元素可以点击、输入或滚动?WebView 中能执行哪些脚本?
  • 如何精准地操作 UI 和输入内容?
  • 执行动作后产生了哪些网络请求、日志、状态变化和事件?
  • 修改代码或触发操作后,应用是否真的进入了预期状态?

模块结构

android/ai-app-bridge-android          Android runtime SDK
android/ai-app-bridge-gradle-plugin   Debug 构建插桩插件
flutter/ai_app_bridge_flutter         Flutter 插件
desktop/ai-app-bridge-cli             Node CLI 和 MCP stdio server
examples/android-native-sample        干净的 Android 示例应用
docs                                  设计、集成和测试文档

核心能力

  • 本地 bridge 状态查询:从 127.0.0.1:18080 开始自动选择可用端口
  • Android View tree、窗口树和截图
  • 原生/H5 UI 操作,以及桌面端 ADB / UIAutomator 兜底操作
  • 原生 Android WebView DOM 快照和 JavaScript 执行
  • Flutter Widget 快照、语义动作信息和运行时动作处理
  • Flutter H5 操作和 DOM 快照
  • 日志、网络请求、状态和事件缓冲区,支持 sinceId / sinceMs 增量读取
  • Debug Gradle 插件支持 OkHttp HTTP 自动捕获
  • Node CLI / MCP stdio server,方便 AI 工具接入运行时能力

Android 快速接入

在目标 App 的 debug 构建里引入 Android runtime SDK:

settings.gradle.kts:

dependencyResolutionManagement {
    repositories {
        google()
        mavenCentral()
        maven("https://jitpack.io")
    }
}

app/build.gradle.kts:

dependencies {
    debugImplementation("com.github.ldpGitHub.ai-app-bridge:ai-app-bridge-android:0.1.5")
}

Runtime SDK 会在 debuggable Android 应用中通过 init provider 自动启动。

可选的 OkHttp 自动捕获由 debug Gradle 插件提供:

settings.gradle.kts:

pluginManagement {
    repositories {
        google()
        mavenCentral()
        gradlePluginPortal()
        maven("https://jitpack.io")
    }
    resolutionStrategy {
        eachPlugin {
            if (requested.id.id == "io.github.lidongping.aiappbridge.android") {
                useModule("com.github.ldpGitHub.ai-app-bridge:ai-app-bridge-gradle-plugin:${requested.version}")
            }
        }
    }
}

app/build.gradle.kts:

plugins {
    id("io.github.lidongping.aiappbridge.android") version "0.1.5"
}

aiAppBridge {
    setOkHttpCaptureEnabled(true)
}

Flutter 快速接入

Flutter 项目只需要添加 pub 包。插件的 Android debug variant 会自动引入 ai-app-bridge-android runtime,用来启动设备内本地 bridge server;release variant 不会自动带入这个 debug runtime。

如果 Android 工程还没有配置 JitPack,需要在仓库配置中加入 https://jitpack.io。然后添加 Flutter 插件:

dependencies:
  ai_app_bridge_flutter: ^0.1.5

初始化一次:

import 'package:ai_app_bridge_flutter/ai_app_bridge_flutter.dart';
import 'package:flutter/widgets.dart';

void main() {
  WidgetsFlutterBinding.ensureInitialized();
  AiAppBridge.instance.initialize(appName: 'your_app_name');
  runApp(const MyApp());
}

Flutter WebView DOM 支持需要注册 H5 adapter,因为 WebView controller 在 Dart 层:

AiAppBridge.instance.registerH5Adapter(
  AiAppBridgeH5Adapter(
    id: 'main-webview',
    source: 'webview_flutter',
    evaluateJavascript: (script) {
      return controller.runJavaScriptReturningResult(script);
    },
  ),
);

连接 AI Agent

npm install -g @lidongping/ai-app-bridge

在你的 AI agent 的 MCP 配置里添加。

macOS / Linux:

{
  "mcpServers": {
    "ai-app-bridge": {
      "command": "ai-app-bridge-mcp"
    }
  }
}

Windows:

{
  "mcpServers": {
    "ai-app-bridge": {
      "command": "cmd",
      "args": ["/c", "ai-app-bridge-mcp"]
    }
  }
}

仅限 debug 构建

AI App Bridge 会暴露运行时检查和操作能力,建议只在 debug 构建接入。除非已经完成针对自身环境的安全评审,否则不要把它打进 production / release 包。

开源协议

AI App Bridge 使用 Apache License 2.0 开源。

如果你分发修改后的版本,请保留许可证和版权声明,并明确说明你的版本基于或修改自 AI App Bridge。详见 NOTICE。

About

AI App Bridge is a runtime bridge for AI agents to close the loop on mobile app iteration: inspect the running app, operate UI and WebView surfaces, collect structured runtime state, verify results, and continue improving the app.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages