提问者:小点点

Cloud Profiler不适用于所有Dataflow作业


我们正在创建Dataflow作业模板并使用google-api-python-client库启动新作业。在Dataflow作业模板创建期间,默认为所有作业启用Cloud Profiler。

python3 -m app.image_embeddings \
--job_name            "image-embeddings" \
--region              "us-central1" \
--runner              "DataflowRunner" \
...
--experiment          "use_runner_v2" \
--experiment          "enable_google_cloud_profiler" \
--experiment          "enable_google_cloud_heap_sampling" \
--dataflow_service_options=enable_google_cloud_profiler

即使在我们的端上没有做任何更改,有些作业是由分析器描述的,有些则没有。

根据日志,Profiler已启用并且没有错误,但某些作业的作业配置文件仍然不可用。查看作业的分析器链接时有消息。

有针对指定时间范围收集的配置文件,但没有一个与当前过滤器匹配。

这个问题是GCP,还是与我们的执行有关?


共1个答案

匿名用户

是否所有作业都使用相同的用户或服务号?这可能是权限问题,也许某些服务帐户缺少角色角色/cloud dprofile. agent