cnzylo
本站致力于IT相关技术的分享
  文章分类
后端架构 6 DevOps 4 架构与设计 2 DevSecOps 1 移动端架构 1 数据工程 2 分布式架構 1 Serverless 1 架构设计 3 云原生 3 MLOps 2 云原生与DevOps 1 全栈架构 1 全栈开发 1 分布式架构 1
构建从 Java MyBatis 到 Python 的跨语言 CDC 数据管道及其 Schema 演进策略 构建从 Java MyBatis 到 Python 的跨语言 CDC 数据管道及其 Schema 演进策略
一个棘手的问题摆在面前：核心业务系统由一个稳健的 Java 单体应用承载，数据持久化层深度依赖 MyBatis 操作 MySQL。与此同时，新成立的数据科学团队需要近乎实时地获取业务数据的变更，用于模型训练和实时看板。直接开放生产数据库的读
2023-10-27 数据工程
MyBatis Java Python CDC Debezium Kafka
构建由 Apache Spark 驱动并基于 Qwik 与 PostgreSQL 的大规模机器学习特征可观测性平台 构建由 Apache Spark 驱动并基于 Qwik 与 PostgreSQL 的大规模机器学习特征可观测性平台
我们的机器学习平台每天处理数TB的数据，生成数千个特征。这些特征是模型的命脉，但长期以来，数据科学家和工程师都在一个黑盒中操作。特征生成管道由 Apache Spark 驱动，将结果存入 PostgreSQL，但要验证一批新生成的特征是否有
2023-10-27 数据工程
Qwik Vite Apollo Client Apache Spark PostgreSQL