大家好,我是UBIoT实验室的22级硕士生徐海洋,我的导师是龚伟教授。
因为实验室提供了实习机会,有老师和在阿里的师兄推荐,在经过一轮hr面,两轮技术面之后,我于2023年9月份入职阿里AIDC对话算法团队实习,研究老师推荐的课题方向,而这也是工业界所关心的。
实习期间主要业务是一个关于减轻幻觉的项目。我们使用deepspeed框架,ppo算法训练13b的模型,流程是标准的rlhf pipeline,分为sft,rm,ppo三步训练,并用rag辅助来减轻模型生成文本的幻觉。
在实习期间我有机会使用8节点64卡的超强服务器,享受阿里的实习生待遇。在科研方面,我学习了分布式编程,并且对ppo算法和openai专注的alignment领域有了更深入的理解。业务方面,我学习了如何在多种深度学习云上训练模型,以及和同事协作写代码。
除了上面的收获,我觉得实习能够让我们对算法怎样落地有更深刻的理解。很感谢老师和师兄给我这样一个宝贵的机会。
给师弟师妹的建议: 我建议大家加入实验室后跟老师讲清楚自己的读研规划,如果做科研,优先做老师推荐的课题方向。我在23年4/5月份转科研,当时老师让我看一些大语言模型的热门开源项目和框架,加上我在做的rag相关的工作,这些经验刚好跟实习岗位匹配。老师推荐的方向一般是工业界关心的方向,对你的就业会很有帮助。
最后祝师弟师妹学业顺利,快乐健康,在实验室度过一段充实的时光!
图:阿里实习相关