0x00 引言

   一个完整的软件是由很多函数库组成的，那么编译程序或者可执行程序是如何知道该怎么调用和组织这些.cpp/.h/.so/.a等等后缀名的文件呢？通常我们会处在比较高层的位置，很多IDE软件都能帮我们自动完成这些任务，比如Windows平台上就会使用Visual Studio，在Linux平台上就会使用QT creator或者CLion等^[1]。但再深一层次地说，编译时文件之间的组织关系都是由一个名叫makefile的文件来完成的，只不过IDE已经代替完成了这件复杂的任务，所以通常我们对该文件并不熟悉。
   makefile定义了一系列的规则来指定，哪些文件需要先编译，哪些文件需要后编译，哪些文件需要重新编译，甚至于进行更复杂的功能操作。但是makefile语言本身比较抽象，让程序猿来手写是件非常费时费力的事情，于是CMake便应运而生了。CMake是比makefile抽象层次更高的项目管理工具，CMake能够通过命令转换成makefile文件，而所有一切软件设计人猿需要实现的编译任务均写在名为CMakeLists.txt文件内。
   本文将从两方面入手，来剖析和学习CMake。一个方向是从CMake的官方文档^[2]入手,当然也可以看中文版文档^[3]，推荐看中文版资料，详细且循序渐进，代码^[4]可在git上找到，该方向不再赘述；第二个方向是从一些比较实际的编译目标入手。

0x01 CMake可移植程序编译

   由于程序经常需要在不同电脑之间使用，但是每次都需要重新搭建环境非常繁琐，现在希望通过CMake编译，能够将可执行程序用到的三方库打包，那么在统一个ubuntu系统下即可即插即用。

1
2
3
4
5
6
7
8
9
10
11

1 基础知识
  1.1 静态库与动态库
  1.2 CMake基础编译方式
  1.3 Ubuntu搜索路径方式
  1.4 CMake RPATH简介
  1.5 可执行程序链接库批量处理
2 CMake编译可移植程序方案
  2.1 方案一：添加环境变量
  2.2 方案二：安装至默认lib文件夹
  *2.3 方案三：CMake添加RPATH
  2.4 方案四：CMake静态编译

1、基础知识
1.1、静态库与动态库
   现在的软件基本不可能全部是自己写的函数或类，我们经常需要使用别人的函数或类，那么就有必要得到那些软件的三方库，而库又分为静态库和动态库，在Windows下分别为.lib/.dll后缀文件，在Linux下分别为.a/.so文件。所谓静态库就是编译时和源代码一起被打包入可执行程序的库，而动态库是一些可重复使用的模块，他们的具体区别可参考教程^[5]。

1.2、CMake基础编译方式
  看过基本的中文教程demo1可知，CMake实际上都在CmakeList.txt文件内描述完成，一旦写完，只需在顶层的CmakeList.txt文件目录下执行以下语句：

1
2
3
4
5
6
7
8
9
10
11
12

#做配置
./configure
#新建build目录，用来储存编译结果，否则会很乱
mkdir build
#进入build目录
cd build
#开始生成makefile
cmake ..
#使用makefile编译程序
make
#安装程序，即在目标位置生成可执行程序以及对库文件做操作等
make install

1.3、Ubuntu搜索路径方式
  编译之后的可执行程序在其他电脑上无法运行，实质上最关键的问题就在于新的操作系统环境下，程序不知道去什么地方寻找依赖库。Ubuntu系统默认的.so库搜索方式^[6]根据优先级依次为:1)-L;2)/usr/lib;3)/lib;4)LIBRARY_PATH。
  第二三种方法，系统只会该目录下的文件，而不会遍历文件夹，若要识别文件夹下的文件，还需要修改/etc/ld.so.conf，并调用ldconfig命令，这里不再深究。
  主要讲的是最后一种方法，修改LIBRARY_PATH，其实就是我们熟知的修改环境变量^[7]，所以ROS也是这样，要执行rospack find就需要添加环境变量（该文件实质上是命令行每次开启时执行的一段命令，所以这样修改环境变量来运行程序的方法必须是使用./程序，双击的话就无法运行，除非新建一个快捷方式并指定优先运行一段export），那么可以采用：

1
2

#向/.bashrc中填入搜索路径
echo "export LD_LIBRARY_PATH=目标路径" >>~/.bashrc

1.4、CMake RPATH简介
  实际上，CMake在编译和安装后生成的可执行程序头部都会有一个RPATH参数^[8]，其用来表示搜索库的路径。操作系统本身搜索库路径的方式有环境变量和默认路径，但RPATH能跟随程序本身，所以不受程序所在环境的制约。

1.5、可执行程序链接库批量处理
  make步骤之后生成的中间可执行程序，在Ubuntu下可通过指令ldd拿到所有用到的链接库，可通过制作.sh脚本的方式将链接库文件批量导入目标文件夹中，具体步骤如下：

1
2
3
4
5
6
7
8

#1、在build文件夹下新建脚本test.sh
#2、在test.sh中添加语句
chk_lock_test=$( ldd $1 | awk '{if (match($3,"/")){ print $3}}' )
cp -L -n $chk_lock_test $2
#3、给脚本一个权限，使其可移动所有文件
sudo chmod 777 test.sh
#4、脚本目录下执行命令，
 ./test.sh 可执行程序目录 目标目录

2、CMake编译可移植程序方案
2.1、方案一：添加环境变量
  具体思路为:1)可执行程序链接库批量处理至CmakeList.txt根目录下;2)CMake将批量处理得到的动态链接库install至目标文件夹下;3)在目标机器的~/.bashrc文件中添加第二步链接库install所在路径;
  思路其实非常简单，但是关键的难点在于链接库取得的技巧，这里有必要叙述一下。第一点为取得可执行程序的所有动态链接库，第二点为分析取得所有未被ldd出来的动态链接库。
  难点一已经在1.5节中指出，难点二这里以取得Qt所有动态链接库为例展开讨论。实现上述三个步骤以后，我们修改LIBRARY_PATH参数，在可执行程序根目录下输入命令行：

1
2
3

echo "export LD_LIBRARY_PATH=目标路径" >>~/.bashrc
#cd到可执行程序根目录下，运行程序
./程序名称

  发现程序报错，错误内容如下：

1

This application failed to start because it could not find or load the Qt platform plugin "xcb"

  根据上述提示可知，缺少了名为xcb的一个链接库，查阅资料^[9]可知我们需要在可执行目录下新建platforms文件夹，并添加libqxcb.so文件（该文件在qt的/Qt5.7.1/5.7/gcc_64/lib目录下，包括qt所有的链接库都在这个文件夹下面。如何修改该libqxcb.so链接库位置仍未知）。继续执行可执行程序，发现报出同样错误，为了找到错误原因，这里引入一个技巧^[10]，即设置命令行的环境变量参数QT_DEBUG_PLUGINS，并修改/.bashrc文件，使其在命令行开启前执行：

1

echo "export QT_DEBUG_PLUGINS=1" >>~/.bashrc

  再次运行可执行程序，报错出现具体的错误原因：

1
2
3
4
5
6
7
8
9
10
11
12
13

Found metadata in lib /home/cobot/PathImporter/build/platforms/libqxcb.so, metadata={
    "IID": "org.qt-project.Qt.QPA.QPlatformIntegrationFactoryInterface.5.3",
    "MetaData": {
        "Keys": [
            "xcb"
        ]
    },
    "className": "QXcbIntegrationPlugin",
    "debug": false,
    "version": 329473
}
Got keys from plugin meta data ("xcb")
Cannot load library /home/cobot/PathImporter/build/platforms/libqxcb.so:(libQt5XcbQpa.so.5: 无法打开共享对象文件: 没有那个文件或目录)

  可见文件夹里实质上还缺少一个名为libQt5XcbQpa.so.5的动态链接库，那么我们只需从qt的lib下找到该库并放入我们的目标文件夹下。再次运行程序并报错：

1

Cannot mix incompatible Qt library (version 0x50201) with this library (version 0x50701)

  大意是Qt版本5.2.1与5.7.1的链接库不匹配，无法融合。可知实际上我的系统里存在多版本的Qt，Qt实质上会在默认库路径/usr/lib下生成一些必要的库，这也是报错的原因。这里有一个解决的技巧，即将所有lib文件全部放入目标文件夹，并执行程序，最后发现程序正常运行，可见库中必然还存在一个特定的动态链接库，使用二分法，多次将不同文件放入目标文件夹运行，迭代排查后发现缺少链接库libQt5DBus.so.5链接库，将其放入目标文件夹，运行正常（这个方法很牛逼，我都佩服我自己，全网基本上没有资料说这个文件的）。
  这里还有两个细节，第一点libQt5DBus.so.5是一个类似于快捷方式的文件，它会链接到libQt5DBus.so.5.7.1上（库里还有一个libQt5DBus.so.5.7，暂时不知道何用），所以最后只需要取出libQt5DBus.so.5.7.1并重命名为libQt5DBus.so.5即可，链接库libQt5XcbQpa.so.5同理。第二点，有必要猜测下这三个链接库存在的意义，libqxcb.so应该是qt的入口库，然后libQt5XcbQpa.so.5是实际运行的函数，并且链接到了5.7.1的子版本上（方便版本控制），而这里的libQt5DBus.so.5应该是做Qt不同版本之间的一个解释器。

2.2、方案二：安装至默认lib文件夹
  方案一虽然可以顺利运行，但是每次要修改环境变量实际上是非常麻烦的事情，且并不是所有软件使用者都有这个觉悟，那么我们要考虑更加便捷的方法，即将库文件用CMake install至系统默认搜索的库，即在1.3节中已经叙述过的/usr/lib与/lib位置。在1.3节也讲过了，如果将所有库文件放入lib文件夹下的子文件夹内，则系统仍搜索不到链接库（如果要采取修改/etc/ld.so.conf以及添加ldconfig命令，则还不如方案一便捷）。唯一的办法就是将所有库文件全部install至lib文件夹下，运行程序完美报错：

1
2
3
4
5
6
7
8
9
10
11
12

./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Gui.so.5: no version information available (required by ./PathImporter)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by ./PathImporter)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by ./PathImporter)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Widgets.so.5: no version information available (required by ./PathImporter)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by /usr/lib/libvtkGUISupportQt-8.2.so.1)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by /usr/lib/libvtkGUISupportQt-8.2.so.1)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Gui.so.5: no version information available (required by /usr/lib/libvtkGUISupportQt-8.2.so.1)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Widgets.so.5: no version information available (required by /usr/lib/libvtkGUISupportQt-8.2.so.1)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Gui.so.5: no version information available (required by /usr/lib/libQt5X11Extras.so.5)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by /usr/lib/libQt5X11Extras.so.5)
./PathImporter: /usr/lib/x86_64-linux-gnu/libQt5Core.so.5: no version information available (required by /usr/lib/libQt5X11Extras.so.5)
./PathImporter: relocation error: /usr/lib/libQt5X11Extras.so.5: symbol qt_version_tag, version Qt_5.7 not defined in file libQt5Core.so.5 with link time reference

  未知错误（应该是多版本Qt的原因，还害得我修改了lib库所有文件权限，导致sudo用不了、系统时间出错、U盘都不出等一系列尿频尿急症状T_T）等待填坑。

*2.3、方案三：CMake添加RPATH
  在1.4节中已经叙述过CMake RPATH的用途，该方案可以说是最便捷和人性化的了，第一不用修改环境变量，第二在make与make install的过程中就能决定中间执行程序与安装执行程序的库链接路径。
  根据1.4节中提到的博客^[8]，我们只需要在CmakeList.txt的install部分添加如下指令：

1
2
3
4
5
6
7
8
9

#方法一：在CMakeLists.txt文件中修改
#修改安装执行程序的库链接路径
set(CMAKE_INSTALL_RPATH 目标路径)
#保证只针对当前的target进行make install的时候RPATH的写入了
set_target_properties(程序名 PROPERTIES INSTALL_RPATH CMAKE_INSTALL_RPATH)

#方法二：在编译时修改
#这里将install路径设置为build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=../build/ ..

  这里依旧分享两个小技巧

1
2
3
4
5

# 使用指令readelf可以查看某一可执行程序的RPATH
readelf -d '程序路径'

# 使用ldd可查看某一可执行程序的链接库
ldd '程序路径'

2.4、方案四：CMake静态编译
  除了上述三种调控动态链接库位置与链接的方式之外，我们还可以用CMake实现静态编译，即将三方库的动态链接库或者静态链接库加上自己的程序编译在一起，得到不需要外接库的可执行程序，在1.1节之中已经分析过了这种程序的优缺点（小型项目还好，一旦做大型项目，不但编译慢而且运行的电脑也会被大量占用空间）。目前该方式只在网上搜索到设置CMake设置静态编译的一段命令：

1

set(CMAKE_CXX_FLAGS "-static ${CMAKE_CXX_FLAGS}")

  该方法等待填坑（不了解意思，执行之后也会报错）。

0x02 链接库选择路径

  由于链接库路径选择的重要性，这一章节着重分析一下Linux链接库选择路径顺序及其修改方式。

1
2
3
4

1 Linux动态库选择顺序
2 Linux如何添加链接库搜索路径
3 如何修改Qt链接库路径
4 CMake链接库三要素*

1、Linux 动态库选择顺序

1
2
3
4
5
6
7
8
9
10
11
12
13

# gcc 编译程序时查找SO顺序
    1.gcc 编译时参数-L指定的路径
    2.环境变量 LIBRARY_PATH LD_LIBRARY_PATH
    3.系统默认库位置 /lib    /usr/lib
# Linux 程序运行时查找SO顺序
    1.环境变量 LD_LIBRARY_PATH
    2.gcc 编译时指定的运行时库路径 -Wl,-rpath
    3.ldconfig 缓存 /etc/ld.so.cache
    4.系统默认库位置 /lib    /usr/lib
# 包含目录顺序
    1.-I 指定的路径
    2./usr/include
    3./usr/local/include

2、Linux如何添加链接库搜索路径

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

# ===== 方案一 =====
# 首先找到.so或.a文件所在路径
# 比如/home/uos/Desktop/test.so

# 修改搜索路径，在如下文件中添加链接库所在路径
sudo vim /etc/ld.so.conf
# 添加/home/uos/Desktop/
# 或者在/etc/ld.so.conf.d/文件夹下新建.conf文件

# 使修改生效
sudo /sbin/ldconfig

# ===== 方案二 =====
# LD_LIBRARY_PATH是Linux环境变量名
# 主要用于指定查找链接库时除默认路径外的其他路径
export LD_LIBRARY_PATH="链接库路径":$LD_LIBRARY_PATH

# ===== 方案三 =====
# 在CMakeLists.txt文件中添加rpath的搜索路径
# 方法一：针对某个链接库的rpath
FIND_LIBRARY(MY_LIB NAMES libMathFunctions.so PATHS /home/uos/Desktop)
TARGET_LINK_LIBRARYS(${CMAKE_PROJECT_NAME} ${MY_LIB})

# 方法二：针对项目的rpath
# 注意该方法必须先设置安装路径及安装配置，且在make install后生效
SET(CMAKE_INSTALL_PREFIX "安装路径")
install(TARGETS MyLib
        EXPORT MyLibTargets 
        LIBRARY DESTINATION lib  # 动态库安装路径
        ARCHIVE DESTINATION lib  # 静态库安装路径
        RUNTIME DESTINATION bin  # 可执行文件安装路径
        PUBLIC_HEADER DESTINATION include  # 头文件安装路径
        )
#修改安装执行程序的库链接路径
set(CMAKE_INSTALL_RPATH 目标路径)
#保证只针对当前的target进行make install的时候RPATH的写入了
set_target_properties(程序名 PROPERTIES INSTALL_RPATH CMAKE_INSTALL_RPATH)

# 方法三：针对各种编译版本的rpath
SET(CMAKE_CXX_FLAGS_DEBUG "${CMAKE_CXX_FLAGS} -O0 -ggdb,-rpath=./libs")
SET(CMAKE_CXX_FLAGS_RELEASE "${CMAKE_CXX_FLAGS} -O3,-rpath=./libs")
# ！！当然也可以使用相对路径，这个方法最推荐，-Wl代表用逗号添加参数
SET(CMAKE_CXX_FLAGS_RELWITHDEBINFO "${CMAKE_CXX_FLAGS} -Wl,-rpath,./")

3、如何修改Qt链接库路径
  为了少踩编译中或编译后的坑，请注意以下事项:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

1.编译Qt、DTK 的生产目录，一定不要设置在 /usr 目录，这样非常容易桌面系统崩溃
2.在编译其他应用时。请设置以下环境变量来确保程序加载的库不是系统自带的库(如果需要指定多个路径，请使用英文的:隔开)
    1.export LD_LIBRARY_PATH=qtbuilddir/lib:dtkbuilddir/lib   说明： 设置程序运行是链接库的路径
    2.export QT_QPA_PLATFORM_PLUGIN_PATH=qtbuilddir/plugins/platforms 说明： 平台相关插件
    3.export QT_PLUGIN_PATH=qtbuilddir/plugins    说明： Qt插件
    4.export PKG_CONFIG_PATH=qtbuilddir/lib/pkgconfig:dtkbuilddir/lib/pkgconfig说明：我们在Qt pro 中配置的 phgconfig 就是用过查找该目录下的.PC文件 实现头文件和库的引入
3.设置上述环境变量的方式有多种。各有优点，如下： 我们建议通过终端的方式设置环境变量，然后在该终端上启动Qt，不会影响系统。
    1.通过脚本的方式在终端设置环境变量。
        生效时间：立即生效  有效期：仅仅在该终端生效，关闭终端无效 生效范围：仅对当前用户有效
        优点：不影响系统。
        缺点：需要从该终端启动 qtcreator   修改变量需要关闭qtcreator
    2.在Qt 项目的构建环境中设置  
        生效时间：立即生效  有效期：该项目  生效范围：该项目
        优点：随时修改
        缺点：项目多的时候每个项目都要设置一遍
    3.通过修改用户目录下的<code>~/.bashrc</code>文件进行配置 
        生效时间：下次打开终端  有效期：永久  生效范围：仅对当前用户有效
        缺点：可能导致系统崩溃
    4.修改系统配置，需要管理员权限（如root） 不建议！
4.在情况出乎您的意料的时候，请检查加载的库路径是否正确，检查方法如下
    1.QtCreator 调试模式下菜单栏  控件 -> 视图 -> DebugLoger 该对话框输出了加载库的详细信息
    2.使用ldd + 程序名（库名） 可以看到依赖库

*4、CMake链接库三要素

• .so / .o 文件
• 库头文件
• 环境变量

0x03 CMake常用变量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

# 在CMake3.1之后设置编译器使用c++11的方法
# 此版本之前，可以使用 SET(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=gnu++11")
SET(CMAKE_CXX_STANDARD 11)

SET(CMAKE_INCLUDE_CURRENT_DIR ON)
# 设置自动生成moc文件,AUTOMOC打开可以省去QT5_WRAP_CPP命令
SET(CMAKE_AUTOMOC ON)
# 设置自动生成ui.h文件,AUTOUIC打开可以省去QT5_WRAP_UI命令
SET(CMAKE_AUTOUIC ON)
# 设置c++编译属性  https://blog.csdn.net/rheostat/article/details/19811407
SET(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}  -g -Wall -pthread -Wl,--as-need -fPIE -Wl,-E")
SET(CMAKE_CXX_FLAGS_DEBUG "${CMAKE_CXX_FLAGS} -O0 -ggdb")
SET(CMAKE_CXX_FLAGS_RELEASE "${CMAKE_CXX_FLAGS} -O3")
# 设置CMake模块寻找路径  CMAKE_SOURCE_DIR代表该CMakeLists.txt文件路径
SET(CMAKE_MODULE_PATH ${CMAKE_SOURCE_DIR}/cmake/modules)

# 龙芯系统
IF (${CMAKE_SYSTEM_PROCESSOR} MATCHES "mips64")
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -O3 -ftree-vectorize -march=loongson3a -mhard-float -mno-micromips -mno-mips16 -flax-vector-conversions -mloongson-ext2 -mloongson-mmi")
ENDIF()

# 如果不是Debug模式.
# EXECUTE_PROCESS(COMMAND <一句shell命令> WORKING_DIRECTORY <这句shell命令执行的工作目录>)
IF (NOT (${CMAKE_BUILD_TYPE} MATCHES "Debug"))
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -Ofast")

    # generate qm
    EXECUTE_PROCESS(COMMAND bash "translate_generation.sh"
                    WORKING_DIRECTORY ${CMAKE_SOURCE_DIR})
ENDIF ()

# 设置编译类型
SET(CMAKE_BUILD_TYPE "Release")
SET(CMAKE_BUILD_TYPE "Debug")
SET(CMAKE_BUILD_TYPE "RelWithDebInfo")

# 设置编译器
#告知当前使用的是交叉编译方式，必须配置
SET(CMAKE_SYSTEM_NAME Linux)
#指定编译工具，一定要设置
#或交叉编译器使用绝对地址
SET(CMAKE_C_COMPILER "arm-linux-gcc")
#指定C++交叉编译器
SET(CMAKE_CXX_COMPILER "arm-linux-g++")

0x04 CMake学习中获得优质且繁杂的资源

  CMake中调用Qt模块^[11]
  CMake中add_library include_library以及target_link_libraries区别^[12]
  CMake构建动态、静态库^[13]
  CMake的一些变量^[14]
  CMake跨平台编译以及静态编译^[15]

0x05 引用文献

[1]https://blog.csdn.net/caowei880123/article/details/52497550
[2]https://cmake.org/cmake-tutorial
[3]https://www.hahack.com/codes/cmake
[4]https://github.com/wzpan/cmake-demo
[5]https://www.runoob.com/w3cnote/cpp-static-library-and-dynamic-library.html
[6]https://blog.csdn.net/qq_16097611/article/details/53484724
[7]https://www.cnblogs.com/trying/archive/2013/06/07/3123577.html
[8]https://www.cnblogs.com/rickyk/p/3884257.html
[9]https://blog.csdn.net/u010168781/article/details/82150105
[10]https://blog.csdn.net/sinat_26106275/article/details/82778951
[11]https://www.jianshu.com/p/7eeb6f79a275
[12]https://blog.csdn.net/bigdog_1027/article/details/79113342
[13]https://www.cnblogs.com/zhoug2020/p/5904206.html
[14]https://cmake.org/cmake/help/v3.0/manual/cmake-variables.7.html
[15]https://zilongshanren.com/blog/2014-08-31-how-to-use-cmake-to-compile-static-library.html

0x00 引言

   游戏AI和学术意义上的AI不同，后者尝试靠智能算法去优化或解决问题，而前者则是指在借助智能算法来改变NPC的思考和行为方式，从而让玩家感受到机器人的智能。本文将从几方面探讨游戏AI^[1]：1)智能体的思考系统，包括有限状态机FSM、行为树与模糊逻辑等；2）智能体的感知系统，负责感知周围环境，并为思考和行动系统提供基础信息；3）智能体的行动系统，包括操控行为、A*寻路以及导航网络等；4）智能体的战略系统，即群集行为。
  游戏中的AI角色行为一直处于感知-思考-行动的无限循环之中。本文主要研究智能体的行动系统，原文的游戏引擎采用unity3D，这里不介绍代码，代码请看原文献。智能体AI架构如下图所示：

0x01 智能体操控行为

   操控行为就像赋予智能体自主行动能力一样，使其按照一定的逻辑规则^[2]来运动，这种行为的感知类似于真实的生物，是有范围且较小的。而A*寻路则是一种寻找最优解的方法，前提是对个体来说，在个体与目标之间的路况是全部已知的，目的是寻找最短路径并避开障碍物，最后到达目标。对于仿真大型群体，前者效率更高，且行为更真实和优美。而在仿真少量个体行为时，后者更具即使策略意义。

1 2 3 4 5 6 7 8 9 10 11

1 个体行为操控 1.1 靠近与离开 1.2 抵达 1.3 追逐与逃避 1.4 随机徘徊 1.5 路径跟随 1.6 避开障碍 2 群体行为操控 2.1 分离 2.2 队列 2.3 聚集

1、个体行为操控

1.1、靠近与离开
   靠近过程是指给智能体一个理想情况下指向目标的预期速度向量，并施加力，实时改变速度至预期速度向量。而离开过程恰恰相反，是指给智能体一个理想情况下远离目标的预期速度向量。二者的具体过程看下图：

   从图中可见，靠近(寻找)的预期速度向量为当前速度向量与靠近(寻找)遥控力向量之差，其变化速度可在操控力向量前加系数。而离开的预期速度向量为当前速度向量与离开遥控力向量之差。

1.2、抵达
   抵达行为与靠近的差别在于，前者的预期速度向量将随着智能体与目标之间的距离而改变，并且可是设置减速半径，当智能体在半径之外，便采取靠近的全速模式，当在半径内时，速度随距离减小而减小至零。

1.3、追逐与逃避
  追逐与靠近的不同点是目标为移动物体，为了达到追逐的目的，需要分两种情况：1)目标运动的速度方向与智能体速度方向夹角小于20°，这种情况下直接采取靠近算法；2)夹角大于20°，这种情况下说明智能体并不是面对目标，所以要像猎豹追鹿一样预测时间T之后的目标位置，并对预测点采取靠近算法，如下左图所示：

  该预测时间T设定为与两者距离成正比，与两者速度成反比。夹角的计算方法，如上右图，可采用两个单位向量的点积求解。
  逃避过程相对简单，不用像追逐一样考虑两种情况，只需要预测追逐者时间T之后的位置，该预测时间可设定为常数，或者与两者距离成正比(当然不应该去设置与速度之间成反比，这样子怕是永远追不上？)。

1.4、随机徘徊
  随机徘徊是让智能体产生有真实感的随机移动，比如巡逻的士兵与惬意吃草的牛羊。如果使用隔时间分配任意目标点的方法，会使行为看起来不真实，类似会突然掉头。Craig Reynolds^[3]在1999年发表的一篇文献解决了该问题，他采用左下图所示方法，在一个圆周上生成目标点，且随时间更新位置，智能体采用靠近算法接近目标，当达到位置时重新生成圆周并反复该过程。最终生成由下图所示行动轨迹。

1.5、路径跟随
  路径跟随常常会用在赛车游戏中，它需要智能体按照某条指定路径运动，最简单的实现方法就是在一条路径上选取路点，让智能体做靠近算法，达到一个路点再朝向下一个。为了增加运动的平滑与多变，这里引入路点的半径，即当智能体接触到半径，就当作其已经到达该路点。如下图所示，不同的路点半径会导致运动过程变化。

1.6、避开障碍
  智能体在朝着目标方向移动的时候，可能会在路上遇到障碍物，如果没有察觉到就会产生碰撞，为了躲避障碍物，我们在智能体速度方向上添加两个向量ahead、ahead2，如左下图所示。当任何一个向量在障碍物半径内时，都会给智能体施加一个如由下图所示的躲避力。至于为什么加两个视觉向量的原因，是当智能体的远视角开始躲避障碍物时，近视角可能会碰到另一个障碍物，那么躲避优先级就改变为更近的障碍物。

2、群体行为操控
  相比与A*寻路，操控行为最大的优势就是在做群体行为操控时展现出的真实感。在研究相关算法之前，先引入两个先导知识^[3]：1)组行为。是指群体中的个体之间相互交互的一些操控力规则，主要有分离、队列和聚集三种行为。2)雷达。个体要实现决定使用哪些操控力的前提是检测附近的AI角色，这种侦测行为与雷达相似。

2.1、分离
  分离就是避免个体在局部过于拥挤而产生的操控力，如上图所示黑色三角形所表示的智能体通过雷达扫描附近有三个白三角表示的邻居，先求出某个邻居对智能体的排斥力方向单位向量，即$\frac{r}{\left | r \right |}$，而排斥力的大小与距离成反比，因此排斥力应为$\frac{r}{\left | r \right | ^{2}}$，最后将所有邻居的操控力相加即为总的分离操控力。

2.2、队列
  队列就是朝向附近同伴平均朝向的操控力，图中显示黑色三角形头部的灰线为其当前速度，黑线代表所有邻居速度方向的平均值，则队列操控力即为黑线与灰线的插值向量。
**2.3、聚集**
  聚集就是向附近同伴的平均位置移动的操控力，图中四个邻居连接的黑点即为他们的平均值，从智能体指向黑色小点的向量即为聚集操控力。

0x02 A星寻路

   寻找最优路径是让智能体显得更聪明的方法，A*寻路就是一种寻找最短路径并避开障碍物的算法，相比于操控行为，需要提前知道地图上的各个节点以及每个点的代价值，占用cpu强度大，因此更适合于控制少量且高智商的智能体。

1 2 3 4 5

1 导航图网格划分方式 1.1 单元导航图 1.2 可视点导航图 1.3 导航网格 2 A*寻路算法

1、导航图网格划分方式
   A*寻路网格划分方式通常有3种：基于单元的导航图、基于可视点的导航图与导航网格。现在的游戏中，广泛使用的方式是利用导航网格寻路，再靠设计师手工放置躲藏点、埋伏点进行战术决策。此三种导航图划分如下图：

1.1、单元导航图
   这种方法是将游戏地图划分为多个正方形或六边形单元组成的规则网络。如果划分格数过大会导致难得到好的路径，格数过小则需要储存大量节点，且影响cpu效率。并不算是一种很好的分割方法。

1.2、可视点导航图
   可视点导航图又称路点图，是依靠场景设计者在场景中手动设置一些两点之间可见的路径点(不可见的话，就可能会跨障碍物，这样的路径是不可选取的)。这种方法的优点是灵活性强，场景设计者可根据自己的想法选择掩护、伏击位置，同时增加相应的位置信息(与路径代价相关的位置信息，在选择路径时要用到)。这种方法的缺点是：1)手工放置路径点很繁琐。尤其是在地图巨大的情况下；2)难以表示出实际的二维行走区域。如图中所示标的点位通常在墙边缘，而实际行走应该是在路中央；3)存在严重的组合爆炸问题。由于是人工布置点，因此点数无法控制精确，大量的点位将导致路径组合数爆炸。
   综上所述，场景设计师通常依靠可视点导航图来手工放置躲藏点、埋伏点等特殊点位进行战术决策。

1.3、导航网络
   导航网络用多边形来分割场景，从图中可以观察到，此种方法分割的路径点数量远远少于单元导航图，且路径点为各多边形的中心点，这将大大减轻cpu的压力。使用这种分割方法要注意的是，如果智能体完全按照路径点来行走，如图中灰线所示就显得很笨拙，人的真实行为应当是类似于黑线所示，这类问题称为路径的平滑，unity3D的A* Pathfinding Project已经包含了相关的后处理功能。
   综上所述，场景设计师通常使用这种方法来分割场景，但其缺点是生成导航网格需要较长时间。

2、A星寻路算法
  A星寻路算法即一种使智能体寻找最短路径并避开障碍物的算法，先引入四个术语：1)代价。代价是在寻路过程中节点之间的消耗值，由设计师定义，例如时间、能量、金钱等等。2)目标估计。由于从当前节点到目标节点的代价无法计算(因为路径未知)，则需要一种算法来估算该代价值，比如单元导航图就可以计算两节点之间的相对(x+y)值；3)节点属性。在A星算法中，每个节点都必须包含3个属性值，分别是g-从起始节点到当前节点的总代价，h-目标估计，f=g+h。4)Open表与Closed表。前者所记录的节点表示已经计算节点属性且没被单独拿出来计算其周围所有单元节点属性的节点，而后者记录的节点表示已经计算节点属性且已经被单独拿出来计算其周围所有单元节点属性的节点。A星算法具体运作过程如下gif图所示：

  A星寻路算法的具体流程如下：1)计算起始点的节点属性，并将其归入Open表；2)计算起始点附近所有单元节点属性，并将起始点归入Closed表，邻近点归入Open表；3)从邻近点搜索f值最小的点，并重复1、2两条过程。假如Open表内节点的属性值改变且比原值小，则覆盖之且重新更新运动箭头；4)从所有Open表节点中寻找f值最小的点，并无限重复1、2、4三条过程，直到终止点被加入Open表。假如Open表内节点的属性值改变且比原值小，则覆盖之且重新更新运动箭头；5)导出运动箭头记录的最优路径。
  实际上A星寻路算法与人类择优过程很类似，我们总是能算未来几步路，并据此选择当前情况下最优的方案，但由于我们以为自己与目标之间一马平川，所以有许多障碍离得太远也就忽视了，当我们碰壁失败了，才会总结出这条路不通的结论，于是我们就更新观念，认为当初应该选择哪条路将更快，这时就更新了那条初始道路的节点属性，如此往复循环，最后我们能够明白哪条路才是真正的最优解。虽然这种方法看起来很笨，但是在未知障碍的情况下应该算是较好的策略了。

0x03 引用文献

[1]unity3D人工智能编程精粹
[2]https://www.researchgate.net/profile/Craig_Reynolds2/publication/2797343_Flocks_Herds_and_Schools_A_Distributed_Behavioral_Model
[3]http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.86.636&rep=rep1&type=pdf

0x00 引言

   本文主要知识结构与素材摘自《基于深度学习的计算机视觉》^[1]。
   计算机视觉当前主要研究领域如下图所示：

  在经过图像分割得到图像内各个物体的标签之后，需要对物体之间的关系做出描述，即图像描述(图说)。

0x01 深度语言模型

1 2 3 4 5 6

1 递归神经网络RNN 1.1 时序后向传播(BPTT) 1.2 朴素Vanilla-RNN 2 LSTM长短时记忆模型 3 LSTM变种 4 GRU门限递归单元

1、递归神经网络RNN
  RNN包括两类，分别是时间递归神经网络(Recurrent Neural Network)和结构递归神经网络(Recursive Neural Network)，常用的是前者。

1.1、时序后向传播(BPTT)
  RNN其优化算法采用时序后向传播(BPTT)，是传统后向传播(BP)在时间序列上的扩展。

1.2、朴素Vanilla-RNN
  这种网络，其$t-1$时刻的隐层状态会参与t时刻输出的计算，但是具有严重的梯度消失问题。

*2、LSTM长短时记忆模型
  能够有效捕捉长时记忆，其有1个记忆神经元和3个控制门神经元，分别是输入门、忘记门以及输出门。LSTM记忆原理可阅读博文^[2]，其结构图如下图所示：

3、LSTM变种
  其变种有Peephole与Coupled忘记-输入门。

*4、GRU门限递归单元
  2014年提出的GRU门限递归单元(Gated Recurrent Unit)为精简版的LSTM。相比于LSTM其有两个改动，其一合并了输入门和忘记门，其二合并记忆状态和隐藏状态。其包含两个控制门，分别是重置门和更新门。GRU的结构图如下所示：

  比较LSTM与GRU两种模型，LSTM有如下特点：
    1）模型复杂，参数多，拟合能力强
    2）数据要求：大规模、复杂度高
  GRU有如下特点：
    1）模型精简，参数少，拟合能力相对弱
    2）适用于偏小规模、不是很复杂的数据

0x02 图说模型

  所谓图说模型就是输入一张图片，并输出客观描述图片内容的句子。
  该过程是将视觉内容转化为语言内容，传统的计算机视觉(CV)是对图片的理解，而现在自然语言处理领域(NLP)是对语言的理解。

1 2 3 4

1 简介 2 DNN框架 2.1 Show and tell模型 2.2 Show，attend and tell(SAT)模型

1、简介
  传统的分段处理策略流程为：
    1）图片内容->文本标签
    2）文本标签->描述语句
  其优势是能够滤除干扰信息，模块化的结构以及直接使用CV与NLP研究成果，但是劣势是第一步的错误判断会影响第二布的语言推理。
  新的点对点策略流程为：
    1）将图片(利用CNN)与文本(利用one-hot)映射到同一共享空间下
    2）图片特征->语言描述
  其优势是图片与文本能同时训练，劣势是黑箱严重。

2、DNN框架
  点对点策略就是DNN框架，其包含了三个部分：
    1）CNN：图片理解。比如VGG、ResNet、GoogLeNet
    2）RNN：语言理解及生成。比如LSTM、GRU
    3）特殊功能模块。Attention

2.1、Show and tell模型
  最简单的模型，其组成部分为CNN+LSTM，其结构如下图所示：

2.2、Show，attend and tell(SAT)模型
  其组成部分为CNN+LSTM+Attention模块(注意机制)，即增加了一个注意力机制。

0x03 引用文献

[1]http://www.chinahadoop.cn/course/916
[2]https://blog.csdn.net/u011746554/article/details/75005139