Dataease API数据源 ,不能预览数据

Dataease v1.18.9 源码运行
使用官方镜像搭建了kettle 和 doris

问题:
创建API数据源后,启动定时任务,立即拉取数据,最终也提示拉取成功!
API数据预览却看不到任何数据 【创建API数据源时数据是可以看到的】





安装包部署不存在这个问题,源码部署环境因素影响较大,这个还得靠自己排查。

debugger跟踪下好像是没有将数据发送到 doris. 不知道是哪里出了问题,搞了快一周了 :joy:




问题已经决!
坑在自己的环境上了,doris kettle 用的是容器部署,mysql 用主机本地,源吗本机运行时, API数据同步,会通过kettle 拉取数据,写到本地/opt/dataease/kettle 文件下,同时会生成数据源text 和 往doris导入数据的执行脚本。脚本执行完,会清空/kettle 文件。 。。脚本执行时,会调用容器内部ip 推送数据到doris-be. ,本机访问不到容器IP 所以一直数据预览失败
解决方式:

  1. 打通本机能访问到容器ip
  2. 将源码打包成镜像 一起部署到容器中运行
  3. 将doris 安装在物理机上

优化建议:

Process process = Runtime.getRuntime().exec(root_path + datasetTable.getId() + “.sh”);
process.waitFor();
if (process.waitFor() != 0) {
BufferedReader input = new BufferedReader(new InputStreamReader(process.getErrorStream()));
String errMsg = “”;
String line = “”;
while ((line = input.readLine()) != null) {
errMsg = errMsg + line + System.getProperty(“line.separator”);
}
input = new BufferedReader(new InputStreamReader(process.getInputStream()));
while ((line = input.readLine()) != null) {
errMsg = errMsg + line + System.getProperty(“line.separator”);
}
throw new Exception(errMsg);
}

没有将错误信息进行记录提示,却在前端任务显示执行成功!排查问题困难,可以优化提示详细错误

:+1: 可以提交 PR 给产品哦

大佬你好我想问下遇到过API数据预览部分数据丢失的情况吗?在数据源配置的时候是可以拉到所有的数据,但是在预览的时候数据有一部分出现了丢失。数据总条数是对的但是有的属性的值为空

预览不会显示全部条数,你放到仪表板用明细表列出来看看

大概率是接口返回数据的问题,检查下是否有的数据里字段为空或者没有这个字段的情况