产品 产品详情

OMI ( onemysoft integration )

  OMI是onemysoft发布的一款数据集成,数据服务,任务调度,服务网关,服务应用一体的数据处理平台。集群布署高可用,高性能,按需扩容。

  数据处理引擎使用Kettle工具,具有简单,方便,高效,适配多种数据源等特点。

  OMI为项目提供一个强大的数据处理组件,让您的项目更快的实施,更高效的运任,更方便的运维监控。

OMI在项目中的定位

  OMI在项目中主要是与内外部系统进行数据交互,并对数据进行,跑批、清洗、归档等加工处理。

  在交互中适配多种协议,SOAP、REST、JDBC、FILE、MQ等等。支持多种大数据交互,hive、mongonDB、redis等等。

1、非实时数据批处理示例

  非实时场景流程,OMI通过调度定时从若干业务系统中抽取数据,按照相应逻辑生成文本文件,传至FTP或阿里云的OSS分布式文件系统。然后OMI将生成的文件读取出来写入到hadoop环境,采用的是hive2的JDBC方式,再者是OMI对数据进行加工处理。最后是将数据发布出API供前端使用


2、准实时数据流处理示例

  准实时场景流程,是通过阿里的canal工具实时同步mysql(或阿里云RDS)系统的数据至消息队列kafka中,OMI通过配置MQ监听,进行消费,将数据处理至hive、mysql或redis中,以方便前端使用。