提问者:小点点

使用Apache Beam 2.1.1切换到Firebase Fi恢复作为管道源后,云数据流上的“数据流似乎卡住了”


我对此很纠结,最初认为这可能是将管道数据源从Cloud Datastore切换到Firebase Fi恢复的结果,这需要一个新项目。但后来我在单独的管道中发现了同样的错误。所有管道都在本地DirectRunner上成功运行,权限似乎与旧项目相同。

看起来没有一个虚拟机正在启动,管道永远不会扩展到0工作人员以上。“数据流似乎卡住了”是我能找到的唯一错误消息,StackDriver中什么也没有。尝试了我在文档中能找到的所有依赖管理变化,但似乎不是问题所在。

我最后的数据流作业ID是2017-10-11_11_12_01-15165703816317931044。

尝试提升所有服务帐户的访问角色,但仍然没有成功。


共1个答案

匿名用户

如果没有任何日志记录信息,则很难精确定位。但是,如果您更改了Dataflow服务号或Compute Engine服务号的权限或角色,使服务号没有足够的权限来获取Dataflow工作人员的映像,则可能会发生这种情况。

相关问题