實習生-手術視頻理解與多模式基礎模型

崗位職責

• 模型研发支持：协助团队开展手术视频理解基础大模型开发，包括使用标注工具对手

術視頻中的關鍵動作、器械使用等行為進行標注；基於標注數據，參與手術行為分析

模組、手術階段識別模組的算法調優與模型訓練，記錄訓練過程中的關鍵參數與實驗

結果 。

• 數據處理與構建：前往合作醫院等真實臨床場景，按照既定標準收集手術視頻數據，

對數據進行格式轉換、去噪等預處理；參與構建手術視頻數據集，整理手術視頻的元

數據信息（如手術類型、主刀醫生、手術時長等）；協助構建視覺 - 語言預訓練數據

集，完成视频片段与对应文本描述的匹配、校对工作。

• 技术探索与实验：调研多模态预训练技术前沿论文，撰写技术调研报告；在团队指导

下，使用现有开源多模态预训练模型，结合手术视频数据进行小规模实验；通过调整

超參數、修改網路結構等方式，探索提升模型對手術環境上下文知識學習效果的方

法。

• 临床应用辅助：在临床场景中，协助医生使用已开发的手术视频分析模型，收集医生

在使用过程中的反馈意见；整理模型分析结果，生成可视化报告，为临床决策提供直

觀的數據參考。

• 成果整理输出：按照学术规范，整理实验过程中的数据、图表，撰写技术文档；协助

團隊進行專利申請材料的準備，挖掘研究成果中的創新點；參與學術論文的撰寫工

作，負責部分章節的初稿撰寫與文獻資料收集。

任職要求：

• 计算機視覺、自然語言處理或相關領域學習背景，具備跨學科知識基礎。

• 有使用多模態大型模型（如 LLaVA、BLIP、Qwen-VL）進行開發的經驗，了解模型預訓練、微調流程；熟悉預訓練算法，如 MAE、Dino、自監督學習、視覺 - 語言對

齊等，能理解算法原理及在模型訓練中的作用。

• 掌握 Python 程式語言，能使用 PyTorch、TensorFlow 等深度學習框架完成簡單的

模型搭建與訓練任務；熟悉 RAG 或 Agent 開發技術（如 RAG、LangChain、

LlamaIndex），有相关项目实践经历。

• 有視頻處理、分析的專案經驗，熟悉視頻數據的常用處理方法。

• 了解上下文学习、提示工程与提示微调技术，有相关实践经验。

• 有學術論文撰寫或參與科研項目經驗者優先，具備一定的科研能力