人工智能系统级解决方案 - Intrinsic 小模型边缘部署算法
Intrinsic 算法是深圳盼月亮创新技术有限公司在小模型边缘部署领域的核心技术成果。以下通过 12 个核心问题,系统解答该算法在理论基础、工程实现、性能表现、应用前景等方面的完整图景。
1.Intrinsic 算法解决了哪些理论和工程上的问题?
对任意给定的有监督训练集,理论上和工程上是否存在一个性能最优的通用算法?
答:理论上已经通过构造法和反证法证明存在这个算法,Intrinsic 算法就是其中一个工程实例。
答:理论上已经通过构造法和反证法证明存在这个算法,Intrinsic 算法就是其中一个工程实例。
2.怎么判定训练样本是否足够了?增加样本是否还能进一步提升分类准确性?
答:取决于数据集本身,只要测试集上的性能只能取该数据集数据分布的情形,增加训练样本不但无法显著提升分类准确性,而且在工程上增加采集成本和时间等方面的负担。工程上,Intrinsic 算法提供了方便的判定方法,详见后面 SDK 用法。
3.Intrinsic 算法能解决维数诅咒问题吗?
答:可以。维数诅咒问题是指估计许多随机变量的概率密度函数随着维度增加需要增加的样本量指数增长,导致工程上无法采集这么多样本。Intrinsic 算法不要求作多维联合概率密度运算(你教我娃娃是猫还是狗这个案例),而是提出了条件补全概念结合概率融合,并提出了特征互补概念来降低估计结果结合显式间隔,从而绕过维数诅咒问题。
4.Intrinsic 算法训练时间可预期和收敛性如何?
答:完全可预期,而且确定收敛。
5.Intrinsic 算法训练和识别运算量大吗?是否可以运行在计算能力一般的芯片上?
答:就象人类思考一样,运算量不大,可以运行在计算能力一般的低成本芯片上。
6.Intrinsic 算法训练结果可解释吗?
答:可以,不仅可以解释,而且可以分析出结构性的原因,这些原因可能是实验原理和方法、数据采集设备的误差分布、特征标注的错误,甚至是分类方法不够科学,或是特征提取算法 issue,甚至是特征提取算法本身。
7.Intrinsic 算法是否能在产品发布后进行训练迭代或者是增量训练?
答:可以。
8.Intrinsic 算法需要利用各类的先验概率信息吗?
答:不需要。你教我识别香蕉和苹果时,需要知道它们在世界上的数量比吗?
Intrinsic 算法相对其它机器学习算法的优点:
9.相对人工神经网络和深度学习的优点有哪些?
答:训练样本少,准确率高,可解释,运算量少,不需要调参等。缺点是无法象深度学习那样跳过特征提取,需要配套的特征提取算法。
10.相对支持向量机 (SVM) 的优点?
答:能够适应任意线性和非线性复杂高维分类界面。
11.相比传统树方法决策树类优点?
答:不必生成多分支深度决策树,识别阶段需要的计算量更小更合理。
12.Intrinsic 算法有哪些应用领域和前景?
答:有监督学习的所有领域都可以应用。在样本采集成本高的领域如医学,生物信息处理领域更具压倒性优势。可解释性及性能分析功能更有助于科学研究探索领域。另外相对深度学习,运算量大大减少,可以采用低成本芯片。
Intrinsic 算法:应用领域
有监督学习的所有领域均可应用。尤其在样本采集成本高、数据隐私要求严格、算力受限的场景中,Intrinsic 算法的优势更为突出。
Intrinsic 算法:核心技术亮点
1
可解释性强
不仅能给出结果,还能分析出结构性原因(实验方法、设备误差、特征标注等)
2
绕过维数诅咒
条件补全 + 概率融合 + 特征互补,不要求多维联合概率密度运算
3
低算力需求
人类思考量级运算,可运行在低成本通用芯片上,支持端侧部署
4
确定收敛
训练时间完全可预期,支持增量训练与发布后持续迭代