提问者:小点点

如何为Google云作曲家在kubernetes上安装安装包


我正在使用云作曲家来编排我的气流实例,但不确定如何为气流工作者bash安装软件包。

以前我使用docker在google计算引擎实例上运行airflow,通过docker make文件很容易指定要求。

作为一个新接触kubernetes和云作曲家的人,我想知道我是否可以为kubernetes/云作曲家做一些类似的事情,就像我以前为docker做的那样?

我希望为unix安装lzop,并且还需要使用s3凭据更新gsutil boto配置文件。

如何将新的docker映像拉入kubernetes并为pod重新创建它?

抱歉如果我的lingo不正确这对我来说是新的


共2个答案

匿名用户

目前,如果我正确阅读了留档,您无法修改Composer使用的映像。除非您将自定义解决方案部署在库伯内特斯集群上,否则我认为您无法将其扩展到Python库和Airflow插件之外。

您可以ssh到每个worker Compute Engine实例并在每台机器上手动安装它。

您可以尝试通过BashOperator运行apt它,但我怀疑您会成功;不幸的是,Composer仍然是Beta产品,许多功能仍在开发中。

匿名用户

如果我正确理解了你的问题,那么这是我的答案。

库伯内特斯是Docker的编排器,因此,在库伯内特斯集群中,您可以使用您为Docker构建的Airflow映像。

只需使用docker build构建自己的映像

至于Cloud Composer,它是一个基于Apache Airflow构建的完全托管的工作流编排服务。它不是管理你的Airflow的工具。有关更多信息,您可以查看链接,有一个简短的视频和简要说明:Cloud Composer