Google Dataflow - BigQuery job backed by GoogleSheets
我有一个用Java编写的Google Dataflow批处理作业。
-
此Java代码访问Bigquery并执行一些转换
然后输出回Bigquery。 - 这段代码可以很好地访问Bigquery表。
但是，当我选择由诸如Google表格之类的联合来源支持的表时，它不起作用。
它说未找到具有Google云端硬盘范围的OAuth令牌。
管道选项
1 2 | PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().create(); Pipeline p1 = Pipeline.create(options); |
有什么想法吗？
您可以尝试：
1 | gcloud auth login --enable-gdrive-access |
在启动数据流作业之前？
回答我自己的问题，但要解决此问题，我将使用Google Apps脚本作为本机表上传到Bigquery。
请参阅此链接。
我只是要将Load CSV数据代码段修改为BigQuery，然后创建一个可安装的触发器以每晚执行此功能以上传到Bigquery。
请注意，您无法执行需要授权的触发器，如onEdit，onOpen。