监控软件 AI Data Teams

自动化数据采集和分析数据采集

概述
Banalytics 是一款边缘数据编排层，旨在将现场硬件的真实多模态数据收集、同步、过滤、监控并发布到训练流水线。其目标用户为机器学习团队和 AI 公司，它们的主要挑战是把部署在物理环境中的可靠、结构化数据采集实现为可运营化的流程，而不是模型架构或训练工具本身的问题。

瓶颈

• 人工现场采集无法扩展：派工程师回收硬盘或进行标注成本高且不一致。
• 模态间不同步：视频、传感器遥测和事件数据常常时间戳不匹配、缺乏共同上下文。
• 盲目采集浪费存储与计算：始终开启的录制产生大量无关数据，边缘端缺乏基于事件的过滤。
• 采集健康不可见：设备故障、传感器漂移或存储满通常在需要数据时才被发现。

目标架构
Banalytics 位于现场硬件与训练栈之间，负责编排、同步、事件过滤与健康监控，从而让团队无需从头构建边缘平台。核心架构层包括：

• 现场设备：摄像头、传感器、DAQ、机器人、工业设备。
• 本地采集层：设备连接、缓冲、同步、本地存储；在靠近源头处低延迟捕获，降低热路径对云的依赖。
• Banalytics 编排层：仪表盘、健康监控、事件逻辑、远程可视化与发布。
• 训练栈：上游消费系统（PyTorch、TensorFlow、MLOps、数据湖、实验跟踪）保持独立，消费结构化输出、样本与元数据。

流水线步骤

• 01 贴源捕获 — 在带宽与延迟条件有利的边缘采集真实世界数据；收集热路径不依赖云上传。
• 02 跨模态同步 — 视频、遥测、波形与事件上下文在源头打时间戳并对齐，而不是事后重建。
• 03 按事件过滤，而非按时间 — 定义触发器（运动、异常、阈值），仅捕获有意义的数据，减少噪声与下游成本。
• 04 监控采集健康 — 远程仪表盘展示设备状态、存储水平与数据质量信号，能快速发现节点问题。
• 05 向上游发布结构化输出 — 将元数据、事件标记样本与同步包通过定义的接口暴露给训练流水线，而非原始导出。

核心价值
实地数据采集在不同部署环境下变得可运营且可复现。Banalytics 提供一层编排，使新采集站点成为配置而非定制工程项目。关键承诺包括可复现部署、供应商无关性、事件触发采集、用于低/无连接环境的缓冲本地存储，以及远程采集监控。

Banalytics 为数据运营带来的能力

• 跨现场环境的可复现部署。
• 与现有硬件的供应商无关连接能力。
• 事件触发采集，仅收集相关样本。
• 缓冲本地存储以容忍间歇性网络。
• 用于设备健康与数据流可视化的远程仪表盘。

核心功能 / 为 AI 数据运营而建

• 多设备集成：支持摄像头、传感器、DAQ 系统、机器人、工业设备及常见协议（例如：IP、ONVIF、RTSP、MQTT、Modbus）。
• 多模态同步：视频 + 传感器 + 遥测 + 事件上下文在源头打时戳并同步，输出可直接用于训练。
• 基于事件的采集：通过运动、异常、信号阈值或外部事件触发采集，以收集有意义的数据而非连续噪声。
• 边缘优先存储：高带宽原始数据保留本地；仅将选定样本、结构化元数据和包发布到上游。
• 远程采集监控：部署节点的浏览器仪表盘显示设备健康、存储水平和数据流状态。
• 流水线集成：发布结构化事件包并通过 API 向训练栈、数据湖或 ML 工具暴露数据，同时保持模型基础设施独立。

Banalytics 不替代的内容

• 标注与注释平台：Banalytics 生成可注释的事件标记同步包，但本身不是标注工具。
• 主动学习回路与高级抽样逻辑：训练集优化与基于置信度的主动学习超出基础范围，除非在特定试点中包含。
• 与云端 ML 栈深度、项目特定的集成：与特定 MLOps 平台或实验追踪器的深度集成可能需要超出标准 API 的项目工作。
• 需要供应商 SDK 的专用高速设备：某些高级设备需按试点评估的供应商 SDK 集成。

技术规格

• 边缘优先架构：本地采集、缓冲、同步与存储。
• 多模态支持：在同步包中包含视频片段、遥测、波形数据与事件上下文。
• 事件触发采集逻辑：运动区域、异常、信号阈值、外部触发器。
• 健康监控与仪表盘：远程可视化设备状态、存储与数据质量信号。
• 结构化输出格式：事件包包含 event_id、trigger、timestamp_utc、modalities (video/telemetry/waveform)、device_health、label_ready 字段。
• 发布接口：通过 API 将元数据、事件标记样本和同步包发布到训练基础设施。
• 供应商无关的连接能力：设计以适配现有现场硬件和常见设备协议。