签到

05月05日
尚未签到

共有回帖数 1 个

    李小主任

    等级：
    本文将介绍如何用近日发布的TF-Slim工具包和预训练的模型来完成图像分类和图像分割。
    引言笔者将和大家分享一个结合了TensorFlow和最近发布的slim库的小应用，来实现图像分类、图像标注以及图像分割的任务，围绕着slim展开，包括其理论知识和应用场景。
    之前自己尝试过许多其它的库，比如Caffe、Matconvnet、Theano和Torch等。它们各有优劣，而我想要一个可靠灵活的、自带预训练模型的python库。最近，新推出了一款名叫slim的库，slim自带了许多预训练的模型，比如ResNet、VGG、Inception-ResNet-v2（ILSVRC的新赢家）等等。这个库和模型都是Google支持开发的。Google的Tensorflow是一个偏底层的库，实际使用时开发人员需要编写大量的代码，阅读他人的代码也很费劲，因此大家早就需要这样一个简洁的库。而slim非常干净，用预训练的模型对Tensorflow做了轻量级的封装。
    下文中会用到Tensorflow和卷积神经网络的知识。Tensorflow的网站上有两者的完美教程，不了解的读者可以前去阅读。
    我是用jupyter notebook完成的写作。因此，每一段代码之后都打印了运行结果。读者们也可以下载完整的notebook。本文中有一部分内容借鉴了此文
    安装在运行代码之前，首先需要安装Tensorflow。我用的是0.11版本。你可以从github的tensorflow/models代码库克隆代码。
    git clone https://github.com/tensorflow/models我还会用到scikit-image和numpy等依赖，把它们都先装上。在这里我推荐先下载并安装Anaconda，然后通过conda install命令安装其它的python库。
    首先，我们指定tensorflow使用第一块GPU。否则tensorflow默认会占用所有可用的内存资源。其次，添加克隆下来的代码库路径，这样python执行的时候就能找到需要的代码。

    楼主 2016-12-01 09:28 回复

    李小主任

    等级：














    图片标注和分割从上面的例子中可以看到，网络模型只处理了原始图像中的一部分区域。这种方式只适用于单一预测结果的场景。
    某些场景下，我们希望从图片中获得更多的信息。举个例子，我们想知道图片中出现的所有物体。网络模型就告诉我们图片中有一辆校车，还有几辆小汽车和几幢建筑物。这些信息可以协助我们搭建一个图片搜索引擎。以上就是一个图片标注的简单应用。
    但是，如果我们也想得到物体的空间位置该怎么办。网络能告诉我们它在图片的中央看到一辆校车，在右上角看到几幢建筑物？这样，我们就可以创建一个更具体的搜索查询词：“我想要找到中间有一辆校车，左上角有几只花盆的所有符合要求的图片”。
    某些情况下，我们需要对图像的每个像素进行分类，也被称作是图像的分割。想象一下，假如有一个巨大的图片数据集，需要给人脸打上马赛克，这样我们就不必得到所有人的许可之后才能发布这些照片。例如，谷歌街景都对行人的脸做了模糊化处理。当然，我们只需要对图片中的人脸进行模糊处理，而不是所有的内容。图片分割可以帮助我们实现类似的需求。我们可以分割得到属于人脸的那部分像素，并只对它们进行模糊处理。
    下面将介绍一个简单的图片分割例子。我们可以使用现有的卷积神经网络，通过完全卷积的方式进行分割。若想要输出的分割结果与输入图像尺寸保持一致，可以增加一个去卷积层。








    我们得到的结果显示网络模型确实可以从图片中找到校车，以及左上角显示不太清晰的交通标志。而且，模型可以找到左上角建筑物的窗户，甚至猜测说这是一个图书馆（我们无法判断是否属实）。它做出了一些不那么正确的预测。这些通常是由于网络在预测的时候只能看到当前像素周围的一部分图像。网络模型表现出来的这种特性被称为感受视野。在本文中，我们使用的网络模型的感受视野是404像素。所以，当网络只能观察到校车的一部分图片时，与出租车和皮卡车混淆了。
    正如我们在上面所看到的，我们得到了图片的一个简单分割结果。它不算很精确，因为最初训练网络是用来进实现分类任务，而不是图像分割。如果想得到更好的结果，我们还是需要重新训练一个模型。不管怎么说，我们得到的结果是可以用作图像标注的。
    使用卷积神经网络进行图像分割，可以被看作是对输入图像的不同部分进行分类。我们将网络聚焦于某个像素点，进行预测判断，并输出该像素的类别标签。这样，我们给分类和分割的结果增加了空间信息。
    小结本文介绍了用slim库实现图像的分类和分割，并且简要阐述了技术原理。
    自带预训练模型的slim库是一款强大而灵活的工具，可以配合tensorflow使用。由于最近刚刚发布，文档不是很完善，有时候甚至要阅读代码来帮助理解。Google正在加快进度完善后续的工作。

    1楼 2016-12-01 09:31 回复

共有回帖数 1 个
  • 回 帖
  • 表情 图片 视频
  • 发表

登录直线网账号

Copyright © 2010~2015 直线网 版权所有,All Rights Reserved.沪ICP备10039589号 意见反馈 | 关于直线 | 版权声明 | 会员须知