Kafka, Neo4J を使用した DMP(Data Management Platform) の構築
構成
Kafka をデータレイクとした構成の DMP (Data Management Platform)の構築を行いました。
アプリケーションからデータベースに更新が入ると、DebeziumによってデータがニアリアルタイムでKafkaにメッセージングされたり、S3に置いたファイルを読み込んで、Kafka Connector で整形されたデータがSSoT(Single Source of Truth)としての Neo4J に格納されるよう設計、データマートへのデリバリも同じくKafka Connectorを採用し、Elastic Cloud や RDS へ連携されるようにしました。これによりデータのさらなる利活用が期待され、さらなるデータソースの連携・データマートへの適用が検討されています。
利用サービス |
Amazon MSK, RDS, Neo4J Aura DB, Elastic Cloud など |
---|---|
弊社の役割 |
要件定義・設計・実装、運用 |