Google BigQuery error 401 msg:Unauthorized when processing large amount of data
我们正在尝试从Google Big Query检索每日一张表格,该表格通过HTTP请求平均每天大约有4000万行:
-
使用服务帐户
-
由于在我们的情况下由于数据量而需要它,因此我传递了al??lowLargeResults并提供了[[https://cloud.google.com/bigquery/querying-data#largequeryresults]中所述的destinationTable参数。
-
上面的步骤成功了,我可以通过从返回的JSON中读取totalRows值来查看总行数,这正确地对应于我在BigQuery中运行相同查询时的总行数。
-
我们使用分页处理行,并获取每页的pageToken值(根据每页10MB的限制,每页处理大约3K行)
每当已处理的行总数接近一百万时,都会运行此过程几次,并且返回NULL对象,并且我们收到错误401 msg:Unauthorized。
您能否提供更多有关发生这种情况的原因的信息?查看BigQuery的疑难解答错误列表https://cloud.google.com/bigquery/troubleshooting-errors 401错误仅描述为身份验证错误,但我很确定我们可以成功通过Google进行身份验证前面步骤中的大查询。
感谢您的时间
授权令牌的有效期为3600秒,您需要刷新令牌才能继续进行分页。
那里的大多数库都有专用的方法来刷新令牌。