Google BigQuery错误401讯息:处理大量资料时未经授权

Google BigQuery error 401 msg:Unauthorized when processing large amount of data

我们正在尝试从Google Big Query检索每日一张表格,该表格通过HTTP请求平均每天大约有4000万行:

  • 使用服务帐户

  • 由于在我们的情况下由于数据量而需要它,因此我传递了al??lowLargeResults并提供了[[https://cloud.google.com/bigquery/querying-data#largequeryresults]中所述的destinationTable参数。

  • 上面的步骤成功了,我可以通过从返回的JSON中读取totalRows值来查看总行数,这正确地对应于我在BigQuery中运行相同查询时的总行数。

  • 我们使用分页处理行,并获取每页的pageToken值(根据每页10MB的限制,每页处理大约3K行)

每当已处理的行总数接近一百万时,都会运行此过程几次,并且返回NULL对象,并且我们收到错误401 msg:Unauthorized。

您能否提供更多有关发生这种情况的原因的信息?查看BigQuery的疑难解答错误列表https://cloud.google.com/bigquery/troubleshooting-errors 401错误仅描述为身份验证错误,但我很确定我们可以成功通过Google进行身份验证前面步骤中的大查询。

感谢您的时间


授权令牌的有效期为3600秒,您需要刷新令牌才能继续进行分页。

那里的大多数库都有专用的方法来刷新令牌。