????????这是一篇在在一个CSDN上写博客的人的年终总结。平时一般在CSDN上写的都是技术笔记,很少有情感相关的描述,可能是因为我语文一直不好吧。然后,既然在CSDN上写文,就尽量少讲和当前公司的事情了哈。其实当前最热的几个方向是边缘计算和大模型等,我可能接触了嵌入式的边缘计算和大模型。虽然接触的时间不多,但也用自己的角度发表下个人观点吧。
????????作为一个在物联网相关企业耕耘了四年多的人,其实我是从单片机开始做的,然后一边做单片机开发,偶尔搞搞嵌入式下的开发。我觉得搞懂了单片机各个模块,就比较好学习嵌入式或者服务器的硬件了。同时,其实现在大模型的学习门槛是挺高的。大模型是相对小模型而言的,需要很大的数据集(比如10GB的数据集拷贝需要1个小时之类),一般家用GPU不够内存,需要GPU服务器级别的GPU板卡才能跑训练。所以学习人工智能还得从小模型开始熟悉。然后跑大模型demo。
????????本年度我就没参与什么边缘计算设备的开发了,只是会开发基于MTK的MT76XX模块的路由器,对于设备组网有了较新的认识。比如可以借用阿里云、亚马逊云等的服务器,搭建路由服务,让自己的设备可以作为服务器通过公网IP访问。这样可以搭建自己的计算服务器,能切入服务器运维的角色。
????????至于人工智能,从小模型开始学习的同时做做小项目的,一般都能在一次项目中就能过了好几遍的数据集整理、模型选择和搭建、模型训练、模型推理这几个部分。AI模型,应用最广泛的场景是图像,在视觉方面AI是最成熟的,也是最多边缘计算设备支持的。其次是文本类,后面是语音类。这些都是机器人方面的。除了常规的拟人领域,现在人工智能算法已经慢慢进入了传统的工业领域。比如图像类AI能用于工业相机的识别算法,以工业相机每秒拍摄的速度和相片的分辨率,能远超于人类的视觉极限。在电力领域,用设备读取电流电压,然后用FFT分析,能得出当前电压电流的频域特征,然后进入AI算法可以对当前用电设备情况进行分析。这是人类徒手无法进入的领域。
????????至于大模型,本年年中的时候我运行了ChatGLM2-6B的demo。之前一直没接触大模型,网传ChatGPT多厉害时候,我都只是听听而已。我到今年不知为啥有了冲动,觉得不接触就落后了。于是搜索了网上别人的博文,运行下demo。这需要12GB-24GB的GPU才能跑的。自己的笔记本、台式机GPU都不够用。这我身边有两个GPU服务器提供商,一个是AI-GALAXY,一家上海企业,另一个是百度AI-STUDIO。对比了数据集拷贝,于是觉得还是前者的机器比较先进,百度AI-STUDIO的免费的机子也能用但不够快。前者应该是连硬盘都上了PCIE接口了,拷资料速度是USB3.0 U盘的数倍以上。然后虽然跑通了demo,能在自己的设备上部署是量化后的模型。最后运行起来的大模型聊天系统,不知哪里问题还是说话好像总对不上的样子。
????????本人在今年做的高大上的基本就这些,其他就是基础技术积累了。文中都是个人观点哈。谢谢大家阅读本文。