当前位置: 首页 > 科技观察

玩转GoogleColab的20个技巧

时间:2023-03-18 22:15:25 科技观察

GoogleColab为AI开发者提供免费的GPU,你可以在上面轻松运行Tensorflow和Pytorch等深度学习框架。但是对于使用Colab的技巧你了解多少呢?本文将介绍20个Colab使用技巧,帮助您提高使用效率。1.ScratchpadNotebook当我们在colab上尝试一些临时的东西时,我们创建了一堆杂乱无章的Notebooks。要解决此问题,您可以将以下链接添加为书签:https://colab.research.google.com/notebooks/empty.ipynb这将打开一个特殊的临时笔记本,您对该笔记本所做的任何更改都不会保存到您的主目录。2.UnitTiming一般情况下,我们通过人工计算一段代码的开始时间和结束时间的差值来衡量经过的时间。Colab提供内置功能来执行此操作。执行单元格后,将鼠标悬停在单元格运行图标上,您将获得代码执行时间的估计值。3.运行单元格的一部分您还可以运行单元格的一部分,方法是选择单元格并单击运行时索引到运行选择按钮或使用键盘快捷键Ctrl+Shift+Enter。4.JupyterNotebook快捷键快捷键给编程带来方便,但是JupyterNotebook中的快捷键不能直接在Colab中使用。不过,这里有一个关系映射表来解决这个问题。从这里可以看出,只需要在Jupyter的快捷键前加上“Ctrl+M”,就可以在Colab中使用了。此规则适用于大多数快捷方式。以下是快捷方式已完全更改或保持不变的一些特殊情况。5.跳转到类定义与IDE类似,您可以通过按住Ctrl键然后单击类名来跳转到类定义。例如,这里我们通过按住Ctrl并单击Dense类名称来查看Keras中Dense层的类定义。6.在GitHub中打开NotebooksGoogleColab团队提供了一个官方的Chrome扩展。使用colab时,可以直接在GitHub上打开notebooks。扩展下载地址:https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo安装完成后,点击GitHubnotebook的colab图标直接打开。或者,您可以手动打开GitHub笔记本并将github.com替换为colab.research.google.com/github。https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb替换为https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb一种更简单的方法是将github.com替换为githubtocolab.com。https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb替换为https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb7。从Colab运行Flask应用程序使用flask-ngrok库(https://github.com/gstaff/flask-ngrok),您可以轻松地将在colab上运行的FlaskWeb应用程序转换为演示原型。首先,你需要安装flask和flask-ngrok。!pipinstallflask-ngrokflask==0.12.2然后,您只需将“flaskapp”对象传递给“run_with_ngrok”函数,它将在启动服务器时公开ngrok端点。fromflaskimportFlaskfromflask_ngrokimportrun_with_ngrokapp=Flask(__name__)run_with_ngrok(app)@app.route('/')defhello():return'HelloWorld!'if__name__=='__main__':app.run()8.要在Tensorflow版本之间切换,您可以在Tensorflow1和Tensorflow2之间轻松切换。要切换到Tensorflow1.15.2,请使用以下命令:%tensorflow_version1.x要切换到Tensorflow2.2,请运行以下命令:%tensorflow_version2.x您需要重新启动才能执行此操作影响。出于性能原因,Colab建议使用预装版本的Tensorflow,而不是使用pip安装。9.Tensorboard集成Colab还提供了直接从notebook使用Tensorboard的命令。您只需要使用--logdir来设置日志目录位置。您可以从官方笔记本了解如何使用它:https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。%load_exttensorboard%tensorboard--logdirlogs10.查看资源限制Colab为其免费版和专业版提供以下规格。根据您的情况,如果您需要更好的运行时间、GPU和内存,您可以以每月10美元的价格切换到专业版。您可以通过运行以下命令来查看分配给您的GPU:!nvidia-smiCPU信息,您可以运行以下命令:!cat/proc/cpuinfo此外,您还可以通过运行以下命令来查看RAM容量命令importpsutilram_gb=psutil。virtual_memory().total/1e9print(ram_gb)11.使用交互式shellColab中没有内置交互式终端。但是您可以使用bash命令以交互方式尝试shell命令。只需运行此命令,您将获得交互式输入。!bash现在,您可以在给定的输入框中运行任何shell命令。要退出shell,只需在输入框中键入exit。12.当前内存和存储使用情况Colab提供了RAM和磁盘使用情况的指标。如果将鼠标悬停在指示器上,将弹出一个窗口,显示当前内存和存储使用情况以及总容量。13.“在Colab中打开”标识您可以使用以下markdown代码在README.md或jupyternotebooks中添加“在Colab中打开”标识。在此代码中,我们加载SVG图像,然后将其链接到colabnotebook。[![OpenInColab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)14.Pandas交互TablesColab提供了一个笔记本扩展,用于向pandas数据帧添加交互式排序和过滤功能。要使用它,请运行以下代码。%load_extgoogle.colab.data_table加载下面的扩展后,你可以看到常规的pandas数据框和交互式数据框。15.设置Conda环境如果你使用miniconda作为你的python环境管理器,你可以通过在你的笔记本上运行以下命令来在colab上设置它。#DownloadMinicondainstallationscript!wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh#Makeiteexecutable!chmod+xMiniconda3-latest-Linux-x86_64.sh#Startinstallationinsilentmode!bash./Miniconda3-latest-Linux-x86_64.sh-b-f-p/usr/local#Makecondapackagesavailableincurrentenvironmentimportsyssys.path.append('/usr/local/lib/python3.7/site-packages/')执行单元后,可以使用conda安装包照常。!condainstall-yflask16。从命令行管理Colab笔记本您可以使用名为colab-cli的库轻松创建colab笔记本并将它们与本地笔记本同步:https://github.com/Akshay090/colab-cli17。运行后台任务在某些情况下,我们需要先启动一些网络服务器或后台任务,然后才能执行常规程序。要运行后台任务,请使用“nohup”命令,然后使用末尾带有“&”的常规shell命令以使其在后台运行。这确保单元可以在后续笔记本中运行而不会被后台任务终止。!nohupbashping.sh&18.训练完成提醒如果您有一个较长的任务要执行(例如训练模型),您可以将Colab设置为在完成时发送桌面通知。要启用此功能,请转到工具?设置?站点并启用显示桌面通知复选框。将弹出一个窗口以启用浏览器通知。只需接受它,即使您在另一个选项卡、窗口或应用程序上,colab也会在任务完成时通知您。19.运行javascript代码使用%%javascript命令运行javascript代码。20.在Colab上运行VSCode你可以在Colab上运行完整的VSCode。请参考文档:https://amitness.com/vscode-on-colab/。