大数据流处理批处理数据工程【免费下载链接】flink项目地址https://gitcode.com/gh_mirrors/fli/flink点击查看免费下载Apache Flink 流作业通常被设计为长期甚至无限期运行随着业务迭代作业处理的数据 Schema 也会随之演化。本指南以 Flink 官方文档为基础结合仓库源码flink-core与flink-formats/flink-avro系统讲解状态数据结构升级State Schema Evolution的完整机制如何通过 savepoint 安全升级状态类型、哪些数据类型支持升级POJO / Avro及其规则、以及 key 与 Kryo 序列化的迁移限制。读完本文你将掌握状态升级的标准操作流程并理解其底层序列化器兼容性判定原理。适用范围仅限 Flink 类型序列化框架生成的序列化器本页讨论的状态 Schema 升级能力仅适用于由 Flink 自身的类型序列化框架生成的序列化器。也就是说声明状态时状态描述符不能被配置为指定特定的TypeSerializer或TypeInformation而应让 Flink 从状态类型推断信息例如ListStateDescriptorMyPojoType descriptor new ListStateDescriptor( state-name, MyPojoType.class); checkpointedState getRuntimeContext().getListState(descriptor);在底层状态 Schema 能否升级取决于用于读写持久化状态字节的序列化器。简而言之只有其序列化器正确支持升级时已注册状态的数据结构才能升级。这一过程由 Flink 类型序列化框架生成的序列化器透明处理当前支持范围见下文支持升级的数据类型。如果你打算为状态类型实现自定义TypeSerializer并希望了解如何编写支持 Schema 升级的序列化器可参考自定义状态序列化器该文档还涵盖了状态序列化器与 Flink 状态后端交互以支持 Schema 升级所需的内部细节。升级状态数据结构的三个步骤对给定的状态类型进行升级需要依次完成以下操作对 Flink 流作业执行 savepoint快照当前所有状态数据与序列化器元信息。升级程序中的状态类型例如修改你的 Avro 数据结构或增减 POJO 字段。从 savepoint 恢复作业。当第一次访问状态数据时Flink 会判断该状态的数据 Schema 是否发生变化并在必要时执行状态迁移。状态迁移过程自动发生且各状态之间相互独立。Flink 内部的处理流程是首先检查状态的新序列化器与旧序列化器相比是否具有不同的序列化结构如果不同则先用旧的序列化器将持久化的状态字节读取为对象再用新的序列化器将对象重新写回为字节从而完成状态数据的原地迁移。关于迁移过程的更多细节超出了本文档范围请参阅自定义状态序列化器。源码佐证兼容性判定发生在哪一步从源码结构看上述新旧序列化器比对正是TypeSerializerSnapshot#resolveSchemaCompatibility的职责。以 POJO 为例PojoSerializerSnapshot.java 的resolveSchemaCompatibility方法会依次校验新旧快照的 POJO 类是否一致previousPojoClass ! snapshotData.getPojoClass()时直接返回incompatible检查已注册/未注册子类快照是否存在缺失的键或值逐个字段比对旧字段序列化器的兼容性最终返回compatibleAsIs、compatibleAfterMigration或compatibleWithReconfiguredSerializer等结果驱动后续的迁移或重建动作。这也印证了文档中类名含命名空间不可改变的规则一旦 POJO 类变化快照比对阶段就会判定为不兼容。支持升级的数据类型目前Schema 升级仅支持 POJO 与 Avro 两种类型。因此如果你关注状态数据结构的升级当前强烈建议状态数据类型一律使用 POJO 或 Avro。有计划支持更多复合类型详见 FLINK-10896。POJO 类型Flink 基于以下规则支持 POJO 类型见该文档中POJO 类型的规则一节的结构升级可以删除字段。字段一旦删除其历史值将在未来的 checkpoint 与 savepoint 中被丢弃。可以添加字段。新字段会使用其类型对应的默认值进行初始化按 Java 类型默认值定义如int为0、boolean为false、引用类型为null。不可以修改字段的声明类型。不可以改变 POJO 类型的类名包括类的命名空间package。版本限制只有从1.8.0 及以上版本的 Flink 生产的 savepoint 恢复时POJO 类型状态才可进行升级对 1.8.0 之前版本的 Flink 无法进行 POJO 类型升级。从源码实现看第 4 条规则在 PojoSerializerSnapshot.java 中得到了直接体现新旧快照的 POJO 类不同即判定为incompatible字段级兼容性则通过getCompatibilityOfPreExistingFields逐字段递归比对新增字段会进入reconfigured serializer路径而非迁移路径。Avro 类型Flink完全支持Avro 状态类型的升级只要数据结构修改符合 Avro 的 Schema 解析规则 中被认为兼容的变更即可。一个例外是如果新的 Avro 数据 Schema 生成的类无法被重定位或者使用了不同的命名空间那么作业恢复时状态数据会被判定为不兼容。从源码实现看AvroSerializerSnapshot.java 的resolveSchemaCompatibility逻辑非常清晰若新旧 Schema 完全相等Objects.equals(writerSchema, readerSchema)直接返回compatibleAsIs否则调用 Avro 官方SchemaCompatibility.checkReaderWriterCompatibility(readerSchema, writerSchema)进行规则校验校验结果COMPATIBLE映射为 Flink 的compatibleAfterMigration新序列化器可直接读取旧数据无需额外迁移INCOMPATIBLE及其他结果映射为incompatible。同时AvroSerializer.java 在运行时同时保存schema当前 Schema与previousSchema先前 Schema两个字段并在序列化实例中缓存 writer/reader 与编解码器为兼容性判断和状态迁移提供基础。Schema 迁移的限制Schema Migration Limitations为保证正确性Flink 的 Schema 迁移存在若干硬性限制。对于需要绕过这些限制、且能确保在自身场景下安全的用户可以考虑使用自定义序列化器或 State Processor API。限制一key 的 Schema 升级不受支持key 的结构不能迁移因为这可能导致不确定行为。例如若 POJO 被用作 key且删除了某个字段那么原本不同的多个 key 可能突然变得完全相同而 Flink 无法合并这些 key 对应的 value。此外RocksDB 状态后端依赖二进制对象标识binary object identity而非hashCode方法。任何对 key 对象结构的改变都可能导致不确定行为因此 key 结构的任何变更都被禁止。限制二Kryo 序列化无法用于 Schema 升级当使用 Kryo 进行序列化时框架无法校验是否发生了不兼容的变更。警告如果一个数据结构中的某个类型通过 Kryo 序列化那么该被包含的类型不能进行 Schema 升级。例如POJO 中包含ListSomeOtherPojo时这个List及其内容都由 Kryo 序列化因此SomeOtherPojo不支持Schema 升级。这一点很容易被忽视即使外层类型如 POJO本身支持升级其内部经 Kryo 序列化的嵌套泛型字段也会因失去框架校验能力而被排除在升级范围之外。在设计长期运行作业的状态类型时应尽量保证嵌套字段也使用 Flink 原生类型序列化框架可以处理的类型。实战建议小结为长期运行作业预留升级能力状态数据类型优先选用 POJO 或 Avro避免依赖 Kryo 序列化嵌套类型以便未来 Schema 演化时能走自动迁移路径。严格遵循 POJO 四条规则可增删字段但不可改字段类型、不可改类名与命名空间升级前务必核对。Avro 升级依赖 Schema 兼容性规则提交新版本前可用 Avro 的SchemaCompatibility.checkReaderWriterCompatibility预先验证新旧 Schema 是否兼容同时确保生成类的命名空间一致、可被定位。key 结构冻结key 一旦确定便不可变更设计 key 时需一次到位。标准升级流程savepoint → 修改类型 → 从 savepoint 恢复状态迁移会在首次访问状态时自动完成如需深度定制迁移逻辑可研究自定义状态序列化器中序列化器快照TypeSerializerSnapshot与resolveSchemaCompatibility的实现或借助 State Processor API 在离线/批处理模式下对状态进行改造。赞分享大数据流处理批处理数据工程【免费下载链接】flink项目地址https://gitcode.com/gh_mirrors/fli/flink点击查看免费下载相关推荐React Stately状态迁移数据库迁移与状态升级React Stately状态迁移数据库迁移与状态升级 概述 在现代前端开发中状态管理是构建复杂应用的核心挑战之一。React Stately作为React前端UI组件设计系统国际化状态管理Flink CDC Schema Evolution深度剖析实时应对数据结构变化Flink CDC Schema Evolution深度剖析实时应对数据结构变化 引言数据结构变更的实时挑战 在现代数据架构中业务需求的快速迭代常常导致数后端数据集成大数据流处理变更数据捕获数据同步RxDB Schema 数据迁移完全指南migration-schema 插件原理与实战RxDB Schema 数据迁移完全指南migration schema 插件原理与实战 RxDB 是运行在浏览器、Node.js 等所有 JS 运行时上的数据库NoSQL嵌入式数据库实时数据库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考