什么是Google合作实验室?
一个免费的Jupyter Notebook环境,您可以在该环境中在浏览器上编写和执行Python代码。
有使用限制,但您也可以使用GPU。
Colab Pro
Google Colaboratory的付费版本(9.99美元/月)。与常规版本相比,具有各种优势。
当前仅在美国(合同要求美国地址和信用卡)。
由于我居住在美国,因此在发布的同时我注册了Colab Pro。使用了大约2个月后,我对它有了感觉,因此我将在此写下我的专业知识。基于正式文本,我将写出我尝试使用的实际情况(N = 1)。
截至2020年5月13日的信息。
此服务不是资源保证的,因此分配给用户的资源会动态更改。因此,如果时间不同或区域不同(例如,当服务在日本开始时),可能完全是无用的信息。请注意。
好点子
高性能GPU基本已分配
通过向Colab Pro注册,您可以优先使用最快的GPU。例如,当为未注册用户分配K80 GPU时,已注册用户可以使用T4或P100 GPU。 TPU也可优先使用。
就我而言,Tesla-P100是默认分配的(即使我在两个月内都没有击中T4),但是无论我多么努力地使用GPU,Tesla-P100都没有分配GPU。具体来说,我几乎一直(在一台笔记本电脑上)一直在运行GPU进行机器学习一个月,而且还可以。
您不必担心使用限制,可以同时在多个笔记本上运行GPU
Colab的免费版本极大地限制了对更快的GPU的访问,并且使用限制远低于Colab Pro。 Colab Pro并非没有使用上限。另外,Colab Pro中可用的GPU和TPU的类型将来可能会发生变化。
在正常版本中,只要在某种程度上使用了GPU,就可以达到使用限制,但是在Pro中,它几乎消失了。
但是,我也确认使用没有上限。同时在4个笔记本电脑上运行GPU花费了大约半天的时间,并且GPU本身变得无法使用,并且出现警告,提示已达到极限。
(即使我已经使用Colab Pro,也被建议加入Colab Pro)。
但是,如果没有这种极端的用法,即使并行运行上限也从未达到。顺便说一句,即使达到使用限制,也可以在几个小时后使用。 GPU也已重新分配了Tesla P100。因此,您不必如此害怕。
可连续运行24小时,并且不太可能超时
使用
Colab Pro,您可以将笔记本计算机保持长达24小时的连接状态,并具有相对较低的空闲超时时间。但是,不能保证连接时间,并且空闲超时行为可能会改变。使用免费版本的Colab,您的笔记本电脑最多可以使用12个小时。空闲超时比Colab Pro严格得多。
连续运行时间(正常版本为12小时)已增加到24小时。在进行一些繁重的处理时,这一点非常重要。完成学习大约需要一天的时间,但是当我这样说时,恢复每次都停止的学习是个好习惯,但是如果我每次都做的话就会枯萎。到目前为止,只要进程正在运行,它就不会在24小时之前停止在中间,我记得在正常版本中它已经停止了很多。
空闲超时,即当笔记本计算机不工作(即使笔记本计算机关闭)时,运行时连接断开的时间,但是我感觉它已经变长了,但是我也感觉到这是一个值得关注。即使使用Pro,它在大约30分钟后似乎已被切断,但我感觉它在正常版本中已被切断,但这可能是由于我的想法(过去有人告诉我90分钟规则)。我感觉很满意,但我印象中,它几乎永远不会持续90分钟)。
可使用大容量内存
通过Colab Pro,您可以优先访问高内存VM。高内存VM通常具有的内存和CPU是标准Colab VM的两倍。 Colab Pro用户可以通过其笔记本设置启用高内存VM。如果Colab认为有必要,还可以自动分配高内存VM。但是,不能保证资源,并且高内存VM具有使用限制。免费版本的Colab没有高内存设置,并且很少自动为用户分配高内存VM。
的确,您只需单击一下即可轻松设置高内存VM(27G)。这很容易(请注意,除非将其设置为类似于GPU,否则无法分配它)。到目前为止,我们尚未达到内存使用限制。
便宜的价格
您可以在某种程度上以每月9.99美元的价格使用高性能GPU。我认为性价比很高,因为使用GCP制造具有类似配置的VM相当昂贵。
不好点
Colab Pro并不比普通版本逊色,因此主要故事是关于Colab本身的。
编辑器和调试环境不佳
用于编辑除Colab笔记本以外的文件(.py等)的编辑器只能使用Colab的标准几乎纯平的记事本或可疑的云编辑器(可通过与Google服务链接使用)来完成。这个很难(硬。调试可以通过充分利用魔术命令来完成,也可以将单元格分成小块并进行打印。首先,需要良好调试器的大型程序可能不适合在Colab上进行处理。
在基本的Colab上,我尽量避免过多地与模块级代码混淆。我编写代码并在本地环境中进行调试,然后使用git push进行调试,然后在Colab上运行它,以便每次在Colab的nodebook的可执行单元中运行
与Google云端硬盘同步可能会延迟
这是服务之间而非Colab之间合作的复杂问题,但是Google Drive和Colab上文件之间的同步时间可能不正确。特别是,在您编辑并执行诸如.py之类的脚本时,它可能尚未同步,并且所编辑的内容可能无法反映出来。这很危险,因为它经常会拖累错误。这也是在Colab或Google Drive上编写代码的缺点之一。
在短时间内在Google云端硬盘上生成大文件可能会导致问题
这在Google云端硬盘方面完全是一个问题,但是如果您在短时间内生成大量数据(机器学习中的Checkpoint等),则将无法在Google云端硬盘中生成文件一段时间(保存或上载)时,这种现象(也变得不可能)频繁发生。当它超过每分钟100米时,感觉就像会发生。一旦无法生成文件,它将持续几个小时,这会妨碍我的工作。因此,有必要避免在短时间内产生大量数据。
可在24小时内毫无问题地被切割
与12个小时相比,体验截然不同,但毕竟在中间中断是很烦人的。实施允许您停止思考并继续学习的机制比较容易。
如果网络不稳定,则处理可能会停止
这完全是本地问题,但是如果网络断开连接并且笔记本电脑断开连接,则随着时间的流逝将停止处理。如上所述,据说此空闲超时时间也比普通版本长,但并不是很明显。我的印象是它已经停止,除非我注意到它并立即返回。我个人在家中有一条不稳定的线路,因此在上床睡觉之前,我会以稳定的线路远程进入PC并打开笔记本(我想知道自己在做什么)。
仅在美国提供
我希望您在日本开始服务(强烈要求)。
概要
这是Colab Pro的备忘录。
如果有任何其他信息或更改,我们将进行更新。
每个用户的情况可能有所不同,因此,如果您能提供信息(信息太少),我将不胜感激。
如果您对如何有效使用Colab有任何想法,请告诉我们。