本文目录一览：
唯一可以和神经网络抗衡的算法SVM
一、线性分类器：
首先给出一个非常非常简单的分类问题（线性可分） ，我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线）
假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x +
b，这儿的x、w是向量，其实写成这种形式也是等价的f(x) = w1x1 + w2x2 … + wnxn + b,
当向量x的维度=2的时候，f(x) 表示二维空间中的一条直线， 当x的维度=3的时候，f(x) 表示3维空间中的一个平面，当x的维度=n
3的时候，表示n维空间中的n-1维超平面。这些都是比较基础的内容，如果不太清楚，可能需要复习一下微积分、线性代数的内容。
刚刚说了，我们令黑色白色两类的点分别为+1,
-1，所以当有一个新的点x需要预测属于哪个分类的时候，我们用sgn(f(x))，就可以预测了，sgn表示符号函数，当f(x)
0的时候，sgn(f(x)) = +1, 当f(x) 0的时候sgn(f(x)) = –1。
但是，我们怎样才能取得一个最优的划分直线f(x)呢？下图的直线表示几条可能的f(x)
一个很直观的感受是，让这条直线到给定样本中最近的点最远，这句话读起来比较拗口，下面给出几个图，来说明一下：
第一种分法：
第二种分法：
这两种分法哪种更好呢？从直观上来说，就是分割的间隙越大越好，把两个类别的点分得越开越好。就像我们平时判断一个人是男还是女，就是很难出现分错的情况，这就是男、女两个类别之间的间隙非常的大导致的，让我们可以更准确的进行分类。 在SVM中，称为Maximum Marginal，是SVM的一个理论基础之一。 选择使得间隙最大的函数作为分割平面是由很多道理的，比如说从概率的角度上来说，就是使得置信度最小的点置信度最大（听起来很拗口），从实践的角度来说，这样的效果非常好，等等。这里就不展开讲，作为一个结论就ok了，:)
上图被红色和蓝色的线圈出来的点就是所谓的支持向量(support vector)。
上图就是一个对之前说的类别中的间隙的一个描述。Classifier Boundary就是f(x)，红色和蓝色的线（plus
plane与minus plane）就是support vector所在的面，红色、蓝色线之间的间隙就是我们要最大化的分类间的间隙。
这里直接给出M的式子：（从高中的解析几何就可以很容易的得到了，也可以参考后面Moore的ppt）
另外支持向量位于wx + b = 1与wx + b = -1的直线上，我们在前面乘上一个该点所属的类别y（还记得吗?y不是+1就是-1），就可以得到支持向量的表达式为：y(wx + b) = 1，这样就可以更简单的将支持向量表示出来了。
当支持向量确定下来的时候，分割函数就确定下来了，两个问题是等价的。得到支持向量，还有一个作用是，让支持向量后方那些点就不用参与计算了。这点在后面将会更详细的讲讲。
在这个小节的最后，给出我们要优化求解的表达式：
w||的意思是w的二范数，跟上面的M表达式的分母是一个意思，之前得到，M = 2 / ||w||，最大化这个式子等价于最小化||w||,
另外由于||w||是一个单调函数，我们可以对其加入平方，和前面的系数，熟悉的同学应该很容易就看出来了，这个式子是为了方便求导。
这个式子有还有一些限制条件，完整的写下来，应该是这样的：（ 原问题 ）
s.t的意思是subject
to，也就是在后面这个限制条件下的意思，这个词在svm的论文里面非常容易见到。这个其实是一个带约束的二次规划(quadratic
programming,
QP)问题，是一个凸问题，凸问题就是指的不会有局部最优解，可以想象一个漏斗，不管我们开始的时候将一个小球放在漏斗的什么位置，这个小球最终一定可以掉出漏斗，也就是得到全局最优解。s.t.后面的限制条件可以看做是一个凸多面体，我们要做的就是在这个凸多面体中找到最优解。这些问题这里不展开，因为展开的话，一本书也写不完。如果有疑问请看看wikipedia。
二、转化为对偶问题，并优化求解:
这个优化问题可以用 拉格朗日乘子法 去解，使用了 KKT条件 的理论，这里直接作出这个式子的拉格朗日目标函数：
求解这个式子的过程需要 拉格朗日对偶性 的相关知识（另外pluskid也有 一篇文章 专门讲这个问题），并且有一定的公式推导，如果不感兴趣， 可以直接跳到后面 用 蓝色公式 表示的结论，该部分推导主要参考自 plukids的文章 。
首先让L关于w，b最小化，分别令L关于w，b的偏导数为0，得到关于 原问题 的一个表达式
将两式带回L(w,b,a)得到对偶问题的表达式
新问题加上其限制条件是（ 对偶问题 ）:
这个就是我们需要最终优化的式子。至此， 得到了线性可分问题的优化式子 。
求解这个式子，有很多的方法，比如 SMO 等等，个人认为，求解这样的一个带约束的凸优化问题与得到这个凸优化问题是比较独立的两件事情，所以在这篇文章中准备完全不涉及如何求解这个话题，如果之后有时间可以补上一篇文章来谈谈:)。
三、线性不可分的情况（软间隔）：
接下来谈谈线性不可分的情况，因为 线性可分这种假设实在是太有局限性 了：
下图就是一个典型的线性不可分的分类图，我们没有办法用一条直线去将其分成两个区域，每个区域只包含一种颜色的点。
要想在这种情况下的分类器，有两种方式， 一种是用曲线 去将其完全分开，曲线就是一种 非线性 的情况，跟之后将谈到的 核函数 有一定的关系：
另外一种还是用直线，不过不用去保证可分性 ，就是包容那些分错的情况，不过我们得加入惩罚函数，使得点分错的情况越合理越好。其实在很多时候，不是在训练的时候分类函数越完美越好，因为训练函数中有些数据本来就是噪声，可能就是在人工加上分类标签的时候加错了，如果我们在训练（学习）的时候把这些错误的点学习到了，那么模型在下次碰到这些错误情况的时候就难免出错了（假如老师给你讲课的时候，某个知识点讲错了，你还信以为真了，那么在考试的时候就难免出错）。这种学习的时候学到了“噪声”的过程就是一个过拟合（over-fitting），这在机器学习中是一个大忌，我们宁愿少学一些内容，也坚决杜绝多学一些错误的知识。还是回到主题，用直线怎么去分割线性不可分的点：
我们可以为分错的点加上一点惩罚，对一个分错的点的 惩罚函数 就是 这个点到其正确位置的距离：
在上图中，蓝色、红色的直线分别为支持向量所在的边界，绿色的线为决策函数，那些紫色的线 表示分错的点到其相应的决策面的距离 ，这样我们可以在原函数上面加上一个惩罚函数，并且带上其限制条件为：
公式中蓝色的部分为在线性可分问题的基础上加上的惩罚函数部分，当xi在正确一边的时候，ε=0，R为全部的点的数目，C是一个由用户去指定的系数，表示对分错的点加入多少的惩罚，当C很大的时候，分错的点就会更少，但是过拟合的情况可能会比较严重，当C很小的时候，分错的点可能会很多，不过可能由此得到的模型也会不太正确，所以如何选择C是有很多学问的，不过在大部分情况下就是通过经验尝试得到的。
接下来就是同样的，求解一个拉格朗日对偶问题，得到一个原问题的对偶问题的表达式：
蓝色的部分是与线性可分的对偶问题表达式的不同之处。在线性不可分情况下得到的对偶问题，不同的地方就是α的范围从[0, +∞)，变为了[0, C]，增加的惩罚ε没有为对偶问题增加什么复杂度。
四、核函数：
刚刚在谈不可分的情况下，提了一句，如果使用某些非线性的方法，可以得到将两个分类完美划分的曲线，比如接下来将要说的核函数。
我们可以 让空间从原本的线性空间变成一个更高维的空间 ， 在这个高维的线性空间下，再用一个超平面进行划分 。这儿举个例子，来理解一下如何利用空间的维度变得更高来帮助我们分类的（例子以及图片来自 pluskid的kernel函数部分 ）：
下图是一个典型的线性不可分的情况
但是当我们把这两个类似于椭圆形的点映射到一个高维空间后，映射函数为：
用这个函数可以将上图的平面中的点映射到一个三维空间（z1,z2,z3)，并且对映射后的坐标加以旋转之后就可以得到一个线性可分的点集了。
用另外一个哲学例子来说：世界上本来没有两个完全一样的物体，对于所有的两个物体，我们可以通过增加维度来让他们最终有所区别，比如说两本书，从(颜色，内容)两个维度来说，可能是一样的，我们可以加上 作者 这个维度，是在不行我们还可以加入 页码 ，可以加入 拥有者 ，可以加入 购买地点 ，可以加入 笔记内容 等等。 当维度增加到无限维的时候，一定可以让任意的两个物体可分了 。
回忆刚刚得到的对偶问题表达式：
我们可以将红色这个部分进行改造，令：
这个式子所做的事情就是将线性的空间映射到高维的空间,k(x, xj)有很多种，下面是比较典型的两种：
上面这个核称为多项式核，下面这个核称为高斯核，高斯核甚至是将原始空间映射为无穷维空间，另外核函数有一些比较好的性质，比如说不会比线性条件下增加多少额外的计算量，等等，这里也不再深入。一般对于一个问题，不同的核函数可能会带来不同的结果，一般是需要尝试来得到的。
五、一些其他的问题：
1）如何进行多分类问题：
上面所谈到的分类都是2分类的情况，当N分类的情况下，主要有两种方式，一种是1 vs (N – 1)一种是1 vs 1，前一种方法我们需要训练N个分类器，第i个分类器是看看是属于分类i还是属于分类i的补集（出去i的N-1个分类）。
后一种方式我们需要训练N * (N – 1) / 2个分类器，分类器(i,j)能够判断某个点是属于i还是属于j。
这种处理方式不仅在SVM中会用到，在很多其他的分类中也是被广泛用到，从林教授（libsvm的作者）的结论来看，1 vs 1的方式要优于1 vs (N – 1)。
2）SVM会overfitting吗？
SVM避免overfitting，一种是调整之前说的惩罚函数中的C，另一种其实从式子上来看，min
w||^2这个看起来是不是很眼熟？在最小二乘法回归的时候，我们看到过这个式子，这个式子可以让函数更平滑，所以SVM是一种不太容易over-fitting的方法。
参考文档：
主要的参考文档来自4个地方，wikipedia（在文章中已经给出了超链接了）， pluskid关于SVM的博文 ， Andrew moore的ppt （文章中不少图片都是引用或者改自Andrew Moore的ppt，以及prml
什么是人工神经网络？
一.一些基本常识和原理
[什么叫神经网络?]
人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
[人工神经网络的工作原理]
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
=================================================
关于一个神经网络模拟程序的下载
人工神经网络实验系统(BP网络) V1.0 Beta 作者:沈琦
作者关于此程序的说明:
从输出结果可以看到，前3条"学习"指令，使"输出"神经元收敛到了值 0.515974。而后3条"学习"指令，其收敛到了值0.520051。再看看处理4和11的指令结果 P *Out1: 0.520051看到了吗？ "大脑"识别出了4和11是属于第二类的！怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本)，如果能够在out数据上收敛地话，那它就能分辨地很准哦!有时不是绝对精确，因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别!
=================================================
人工神经网络论坛
(旧版,枫舞推荐)
国际神经网络学会(INNS)(英文)
欧洲神经网络学会(ENNS)(英文)
亚太神经网络学会(APNNA)(英文)
日本神经网络学会(JNNS)(日文)
国际电气工程师协会神经网络分会
研学论坛神经网络
;sty=1age=0
人工智能研究者俱乐部
2nsoft人工神经网络中文站
=================================================
推荐部分书籍:
人工神经网络技术入门讲稿(PDF)
神经网络FAQ(英文)
数字神经网络系统(电子图书)
神经网络导论(英文)
===============================================
一份很有参考价值的讲座
前向网络的敏感性研究
是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存.
什么叫神经网络？
枫舞给出基本的概念:
一.一些基本常识和原理
[什么叫神经网络?]
人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
[人工神经网络的工作原理]
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
=================================================
枫舞推荐一个小程序:
关于一个神经网络模拟程序的下载
人工神经网络实验系统(BP网络) V1.0 Beta 作者:沈琦
作者关于此程序的说明:
从输出结果可以看到，前3条"学习"指令，使"输出"神经元收敛到了值 0.515974。而后3条"学习"指令，其收敛到了值0.520051。再看看处理4和11的指令结果 P *Out1: 0.520051看到了吗？ "大脑"识别出了4和11是属于第二类的！怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本)，如果能够在out数据上收敛地话，那它就能分辨地很准哦!有时不是绝对精确，因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别!
=================================================
枫舞推荐神经网络研究社区:
人工神经网络论坛
(旧版,枫舞推荐)
国际神经网络学会(INNS)(英文)
欧洲神经网络学会(ENNS)(英文)
亚太神经网络学会(APNNA)(英文)
日本神经网络学会(JNNS)(日文)
国际电气工程师协会神经网络分会
研学论坛神经网络
;sty=1age=0
人工智能研究者俱乐部
2nsoft人工神经网络中文站
=================================================
枫舞推荐部分书籍:
人工神经网络技术入门讲稿(PDF)
神经网络FAQ(英文)
数字神经网络系统(电子图书)
神经网络导论(英文)
===============================================
枫舞还找到一份很有参考价值的讲座
前向网络的敏感性研究
是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存.
=========================================================
枫舞添言:很久之前，枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展...考研的时候亦是朝着人工智能的方向发展..但是很不幸的是枫舞考研失败...SO 只好放弃这个美好的愿望,为生活奔波.希望你能够成为一个好的智能计算机工程师..枫舞已经努力的在给你提供条件资源哦~~
特斯拉仿生人，马斯克的下一份“PPT”？
文丨伊然
火星旅行已经不能满足马斯克的“画饼”野心了。
当地时间8月19日，在特斯拉第一个“人工智能日”（AI Day），特斯拉的高管们轮番登台向大众介绍了 FSD 完全自动驾驶最新进展和规模深度神经网络训练集群系统Dojo 。特斯拉所研发的名为D1的AI芯片采用7纳米制造工艺，处理能力达到1024亿次，一组芯片能够提供的计算功率达到9千万亿次。人工智能机器人给大众带来了无尽的想象。
在众多的科幻作品中，创作者们已经天马行空地表达过自己的美好畅想与潜在担忧；而在现实的生活中，无数的科学家和企业也前赴后继地投入到机器人产品的研发中。
现在，机器人研发大军加入了一位重磅级大亨——马斯克。
在发布会现场，马斯克压轴登台。发布了特斯拉机器人计划Tesla Bot 。 显然，这就是特斯拉在邀请函中所说的“人工智能在自动驾驶以外的应用”。
根据马斯克的介绍，Tesla Bot身高1.72米，体重56千克，承载能力20千克，最快行走能力为每小时8公里。TeslaBot外部造型完全仿照人体线条，肩膀以上是黑色无面孔形态，下半身则是像《星球大战》里面太空部队的乳白色铠甲质感外壳，细看之下带有些许静默的诡异感。
Tesla Bot的面部是一个显示屏，显示屏背后是多个摄像头；脖子、胳膊、手、腿位置累计搭载了 40 个机电推杆。 Autopilot 摄像头会作为它的眼睛，它的胸腔内则安放了特斯拉 FSD 芯片，此次发布的多摄像头视觉架构的深度神经网络架构也会在其身上得到应用。
马斯克宣称，Tesla Bot将会达到和人类的尺寸以及重量相近的物理特性，并且会具有用于自动驾驶的相机系统和计算单元，未来会用来帮助人类处理“无聊、重复和危险的工作”。
当然，发布会并没有实物亮相，只是马斯克和他的PPT， 预计产品原型机将在2022年面世 。
马斯克简短介绍完后，一位演员穿着Tesla Bot造型的紧身衣在舞台上开始了短暂的机械舞表演，颇有超级变变变风范。或许是为了缓解尴尬，马斯克自嘲地表示：“演员不是真正的机器人，但是特斯拉的机器人将会是真实的。”
看起来，马斯克也知道大家对他的“狂言”并没有那么的信任。他在发布会结束后的新闻交流会上还特别强调， 因为特斯拉已经造出了带着轮子的“机器人”（ 汽车 ），所以现在几乎拥有制造人形机器人所需的任何零件。
在特斯拉官方招聘页面，最近也发布了四个工作地点位于加州帕洛阿尔托的职位，被外界视作与机器人项目直接相关。
岗位要求分别是专注于执行机构齿轮设计和系统；机器人的机械设计和执行器组件的集成上；高级人形机电机器人架构师；高级人形建模机器人架构师。
马斯克确实是掌握流量入口的高手。
TeslaBot的诡异造型和莫名其妙的发布会，社交网络的注意力又成功被“顶流”马斯克吸引了，各种段子和表情包层出不穷。
一如既往，同行们对马斯克的介绍内容持有异议，有媒体直言Tesla Bot完全是商业宣传——特斯拉绝对不可能在一年内制造出马斯克所宣扬的人形机器人。
目前，全球研制人形态机器人产品最为知名且公认的行业技术标杆是波士顿动力公司。
1992年，美国麻省理工学院教授马克·雷波特创办波士顿动力，并在美军的资助下，研发商用机器人 。
虽然机械的运动能力进展迅速，然而感知、认知和决策能力在相当长的一段时期内没有过多进展。
2012年，随着深度学习等算法突破，人工智能大爆炸。5G、物联网带源源不断地产生海量的大数据，投喂给AI大模型。加速迭代的AI大模型给机器人行业带来无限的遐想。
8月17日，波士顿动力分享了一段一分钟视频，双足人形机器人Atlas展示了手跨栏、后空翻下台阶、过独木桥、跳箱子、走斜板等高难度跑酷运动。 波士顿动力公司表示，跑酷测试展示了Atlas全身在各种快速变化的情况下保持平衡，无缝切换动作的实力。
Atlas使用IMU、关节位置和受力传感器来控制其身体并感受地面获得平衡，通过感知算法来识别障碍物。
据波士顿动力介绍，深度相机以每秒15帧的速度生成距离测量数据，形成环境点云，使用多平面分割的算法从点云中提取表面。接着，算法输出的数据被输入地图系统，最后系统帮助Atlas用相机看到不同物体建立模型。
短短三天后，Tesla Bot用几张PPT就盖过了Atlas的风头，马斯克选择的时间节点就颇为值得玩味。
波士顿动力相关负责人向媒体表示，特斯拉机器人的理论和设想非常前沿，对于机器人技术的发展应用也有借鉴和推动意义，但是从目前的行业发展格局和技术水平来说，Tesla Bot的商业化蓝图近乎是痴人说梦。
即便特斯拉有优秀的硬件研发能力，有强大的人工智能计算硬件和算法基础，有钱和政策支持，但是人形机器人研究 在关节控制、手部精细操作、视觉信息理解等几乎所有的技术细节上有太多尚未攻克的难题。
目前，Atlas也仅可以实现每小时5.4公里的移动速度，并没有可以实现灵活运动的手指关节，特斯拉基本不可能在一年内就完成同行们十几年都没有突破的瓶颈。
有不客气的评论人士指责马斯克宣布的Tesla Bot计划不过是为了转移大众注意力的幌子。
7月，美国权威的消费者权益机构《消费者报告》指出 特斯拉的FSD Beta V9缺乏安全保障措施，不应使用未经专业训练的用户进行驾驶测试。 从用户公开的测试视频中可以看到，纯靠视觉方案的FSD有时会莫名出错，无端乱打方向盘，不按道路线行驶等状况。
车企进行类似的测试时，一般会在电脑上模拟运行，由专业人员完成。特斯拉把测试版FSD开放给普通用户，是让未经训练的消费者成为了试验品，还给公共空间的行人带来了风险。
当地时间8月16日， 美国国家公路交通安全管理局对特斯拉自动驾驶系统启动正式调查，认为该系统存在“难以识别停放在路边的紧急车辆”的隐患。
8月24日，马斯克在个人社交账号上承认公司最新发布的驾驶辅助软件FSD“不够好”，Autopilot/AI团队正在以尽可能快的速度进行改进。
特斯拉试图开发比普通人类司机驾驶安全约10倍的辅助驾驶系统，需要更大量的神经网络培训。
虽然Tesla Bot的“狂言”大概率是马斯克又一份“炒作PPT”，但马斯克的长远眼光一向精准 ， 在线支付、新能源车辆、自动驾驶、动力电池、太空 探索 ……他几乎踩准了发展的路径。
近几年，各大服务机器人厂商开始加码技术链条布局，SLAM、AI芯片、机器视觉、语音识别等核心技术获得较快发展，服务机器人产品性能和智能化程度也有明显提升，产品类型愈加丰富。
QYReaserch相关报告显示，2020年全球仿人机器人市场销售额达到了2.11亿美元，预计2027年将达到8.45亿美元，年复合增长率超过20%。
产品方面来看，双足机器人正在逐步替代轮式机器人，教育和 娱乐 、研究与空间 探索 仍是机器人主要商用范围。
中国市场在过去几年变化较快，2020年的市场规模为超过4800万美元，占全球的23%，预计2027年将达到2.9亿美元，全球份额提升至34%。
中国厂商是人形机器人领域的后来者，但近年来国内快速发展的智能家庭小机器人和商场里随处可见的引导机器人，市场对人形机器人的认可度和接受度越来越高。
7月，上海举行的2021世界人工智能大会上，优必选发布了国内首款可商业化的大型双足仿人型服务机器人Walker X。 Walker X身高130cm、体重63kg，拥有41个高性能伺服驱动关节，能够操控冰箱、吸尘器等家电，还可以帮人按摩，下象棋。
虽然人形机器人不一定能够在短时间内实现马斯克所言的便利，但从实验室走向产业化生产的前景确实越发的光明，或许会成为新能源造车后的下一个增长点。
马斯克曾说：“从长远来看，人们会将特斯拉视为一家人工智能机器人公司，就像我们现在被视为 汽车 或能源公司那样。”
马斯克对相关 科技 在产业应用落地中的判断和界定值得思考，将新能源 汽车 视作是物联网终端已经不算是新概念，但将智能车比作是长了轮子的机器人却是另辟蹊径。
人形机器人全面介入到人类日常生活带来的变化绝对不会亚于智能手机的普及，时刻要为未来规划。
神经网络算法是什么?
Introduction
--------------------------------------------------------------------------------
神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。
The neuron
--------------------------------------------------------------------------------
虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。
如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。
Learning
--------------------------------------------------------------------------------
正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。
由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。
Architecture
--------------------------------------------------------------------------------
在神经网络中，遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmann machines）！而这些，都遵守一个网络体系结构的标准。
一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays
尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。
The Function of ANNs
--------------------------------------------------------------------------------
神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。
联想模式接受一组数而输出另一组。例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。
The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------
神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...
是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。
神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。
NN 神经网络，Neural Network
ANNs 人工神经网络，Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
网格算法我没听说过
好像只有网格计算这个词
网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。