从学界到工业界,“开源”已经成为AI领域的一个关键词。一方面,它以“授人以渔”的方式为AI构建了一个开放共进的生态环境,辅助行业加速AI应用落地;另一方面,在解决行业实际问题时连续更新和迭代,源源不断地给AI领域运送主要的手艺养料和创造力,可以说开源是AI落地和繁荣不可或缺的源动力。,AI“开源”已成常态,加速手机端AI应用!,6月10日,腾讯优图实验室宣布正式开源新一代移动端深度学习推理框架TNN,通过底层手艺优化实现在多个差别平台的轻量部署落地,性能优异、简朴易用。基于TNN,开发者能够轻松将深度学习算法移植到手机端高效的执行,开发出人工智能 APP,真正将 AI 带到指尖。,轻量级部署,TNN助力深度学习提速增效,深度学习对算力的伟大需求一直制约着其更普遍的落地,尤其是在移动端,由于手机处理器性能弱、算力无法多机拓展、运算耗时长等因素经常导致发热和高功耗,直接影响到app等应用的用户体验。腾讯优图基于自身在深度学习方面的手艺积累,并借鉴业内主流框架优点,推出了针对手机端的高性能、轻量级移动端推理框架TNN。,TNN在设计之初便将移动端高性能融入核心理念,对2017年开源的ncnn框架举行了重构升级。通过GPU深度调优、ARM SIMD深入汇编指令调优、低精度盘算等手艺手段,在性能上取得了进一步提升。以下是MNN, ncnn, TNN框架在多款主流平台的实测性能:,AI“开源”已成常态,加速手机端AI应用!
AI“开源”已成常态,加速手机端AI应用!
AI“开源”已成常态,加速手机端AI应用!
AI“开源”已成常态,加速手机端AI应用!,TNN在麒麟970、骁龙835、骁龙845,骁龙615平台实测性能数据,注:纵轴单元:ms 测试分支:MNN:1.0.0(2020.05.07), ncnn:20200413, TNN: master(2020.06.10),测试模子:https://github.com/alohali/benchmark-models,低精度盘算的运用对TNN的性能提升施展了主要作用。在神经网络盘算中,浮点精度在许多研究和营业落地功效上都被证实存在一定冗余,而在盘算、内存资源都极为重要的移动端,消除这部门冗余极为需要。TNN引入了INT8、 FP16、 BFP16等多种盘算低精度的支持,相比大部门仅提供INT8支持的框架,不仅能天真适配差别场景,还让盘算性能大大提升。TNN通过接纳8bit整数取代float举行盘算和存储,模子尺寸和内存消耗均削减至1/4,在盘算性能上提升50%以上。同时引入arm平台BFP16的支持,相比浮点模子,BFP16使模子尺寸、内存消耗削减50%,在中低端机上的性能也提升约20%。骁龙615平台实测:,通用、轻即是TNN框架的另一大亮点。长久以来,差别框架间的模子转换都是AI项目应用落地的痛点。TNN设计了与平台无关的模子示意,为开发人员提供统一的模子形貌文件和挪用接口,支持主流安卓、iOS等操作系统,适配CPU、 GPU、NPU硬件平台。企业一套流程就能部署到位,简朴易用、省时省力。同时,