概览
内容工具
对于缓存在模型中数据,每次更新都进行完全提取,势必会浪费大量的资源和时间。
实际上,对于一些没有更新的历史数据,是不需要刷新的。此时我们可以使用一种更加灵活的数据刷新方案,增量更新。
使用增量更新仅加载新数据,数据模型上的每张表都可以根据不同的字段进行刷新。
增量更新数据的方式也支持手动操作和定时任务。并且支持调用 API 来完整或增量地更新模型数据。
增量更新的工作原理是在上次抽取的基础上,对于新增的数据,比较自增的id,大于上次则进行增量抽取,然后将其添加到模型中。
因此使用增量更新功能时必须先设置一个字段作为自增id,用来标记抽取时机。
以下为您介绍使用增量更新的具体方法。
要使用增量更新功能,首先需要在模型中设置一个自增ID作为更新时的识别字段。
在数据模型设计器中,选择增量更新的表,然后选择用来自增字段。比如这里我们将“订购日期”配置为自增字段。最后保存模型。
配置之后,模型将以配置的“订购日期”列为标记,下次则仅增加大于该日期的数据。
注意
模型中的自定义表不支持设置增量更新,自定义的字段不支持设置为增量标记字段。
配置好增量更新字段后,就可以进行增量更新了。
在设计器中重新抽取数据。
或者在文档列表的上下文菜单中重载数据时,都可以为已配置增量更新的数据表选择为增量更新了。
也可以在运行计划中配置自动增量更新。当我们为缓存数据模型中配置了增量更新字段之后,在运行计划中就可以选择增量更新了。
运行计划里的其他配置项与普通更新计划无差异,此处不重复介绍,请您参见创建数据模型刷新计划。