归档 | cnzylo

2023

10

27

我们的机器学习平台每天处理数TB的数据，生成数千个特征。这些特征是模型的命脉，但长期以来，数据科学家和工程师都在一个黑盒中操作。特征生成管道由 Apache Spark 驱动，将结果存入 PostgreSQL，但要验证一批新生成的特征是否有

2023-10-27 数据工程

Qwik Vite Apollo Client Apache Spark PostgreSQL

27

1. 定義問題：耦合的讀寫模型與性能瓶頸在設計一個高吞吐量的數據密集型應用時，一個核心的矛盾經常出現：寫入操作要求數據的高度規範化與事務一致性，以保證業務邏輯的準確無誤；而讀取操作，特別是複雜的分析與聚合查詢，則希望數據是反規範化的、預計算

2023-10-27 分布式架構

Event Sourcing Apache Spark Cypress Recoil VPC

27

一个棘手的性能瓶颈出现在我们的数据采集流水线上。日志和事件流通过OpenFaaS管道进行处理，大部分函数使用Go或Python编写，足以应对多数场景。然而，其中一个核心的写入节点，负责将高并发的结构化数据持久化到PostgreSQL，开始频

2023-10-27 Serverless

性能优化 PostgreSQL Database OpenFaaS C++

27

一个拥有数十个独立工程团队的组织，其内部工具链的碎片化是必然走向的熵增。CI/CD流水线、质量看板、资源监控、部署日志，每个团队都有自己偏好的实现，形成了大量功能重叠但体验割裂的技术孤岛。构建一个统一的内部开发者平台（IDP）入口，将这些孤

2023-10-27 架构设计

SAML WebAuthn Webpack Polyrepo ClickHouse

27

一个棘手的问题摆在面前：核心业务系统由一个稳健的 Java 单体应用承载，数据持久化层深度依赖 MyBatis 操作 MySQL。与此同时，新成立的数据科学团队需要近乎实时地获取业务数据的变更，用于模型训练和实时看板。直接开放生产数据库的读

2023-10-27 数据工程

MyBatis Java Python CDC Debezium Kafka

27

模型上线后的迭代是个棘手问题。直接替换线上正在运行的 v1 模型为 v2 版本，无异于一场赌博。新模型在离线评估中表现再好，也无法保证它在真实生产流量下的性能、延迟或业务指标不会出现衰退。我们需要一个受控的、可观测的、能快速回滚的发布流程。

2023-10-27 DevOps

Caddy PyTorch Lit FastAPI Canary Release