git clone https://gitee.com/ascend/MindSpeed-MM.git

git clone https://github.com/NVIDIA/Megatron-LM.git

cd Megatron-LM

git checkout core_r0.8.0

cp -r megatron ../MindSpeed-MM/

cd ..

cd MindSpeed-MM

mkdir logs

mkdir data

mkdir ckpt

環(huán)境搭建：

torch npu 與 CANN包參考鏈接：安裝包參考鏈接

https://gitee.com/link?target=https%3A%2F%2Fsupport.huawei.com%2Fenterprise%2Fzh%2Fascend-computing%2Fcann-pid-251168373%2Fsoftware

# python3.10

conda create -ntestpython=3.10

conda activatetest

#安裝torch和torch_npu，注意要選擇對應python版本、x86或arm的torch、torch_npu及apex包

#下載路徑參考https://www.hiascend.com/document/detail/zh/Pytorch/60RC3/configandinstg/instg/insg_0001.html

pip install torch-2.1.0-cp310-cp310m-manylinux2014_aarch64.whl

pip install torch_npu-2.1.0*-cp310-cp310m-linux_aarch64.whl

# apex for Ascend參考https://gitee.com/ascend/apex

#建議從原倉編譯安裝

#安裝加速庫

gitclonehttps://gitee.com/ascend/MindSpeed.git

cdMindSpeed

# checkout commit from MindSpeed core_r0.8.0

git checkout 3f09d6736571cf1e30f8ac97de77982d0ab32cc5

pip install -r requirements.txt

pip3 install -e .

cd..

#替換MindSpeed中的文件

cp examples/qwen2vl/dot_product_attention.py MindSpeed/mindspeed/core/transformer/dot_product_attention.py

#安裝其余依賴庫

pip install -e .

#安裝transformers指定版本

gitclonehttps://github.com/huggingface/transformers.git

cdtransformers

git checkout fa56dcc2a

pip install -e .

權(quán)重下載及轉(zhuǎn)換

Qwen2.5VL權(quán)重下載：

權(quán)重轉(zhuǎn)換：

MindSpeed MM修改了部分原始網(wǎng)絡的結(jié)構(gòu)名稱，使用mm-convert工具對原始預訓練權(quán)重進行轉(zhuǎn)換。該工具實現(xiàn)了huggingface權(quán)重和MindSpeed MM權(quán)重的互相轉(zhuǎn)換以及PP（Pipeline Parallel）權(quán)重的重切分。

# 3b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-3B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-3B-Instruct"

 --cfg.parallel_config.llm_pp_layers [36] 

 --cfg.parallel_config.vit_pp_layers [32] 

 --cfg.parallel_config.tp_size 1

# 7b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-7B-Instruct"

 --cfg.parallel_config.llm_pp_layers [1,10,10,7] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0] 

 --cfg.parallel_config.tp_size 1

# 32b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir "ckpt/mm_path/Qwen2.5-VL-32B-Instruct" 

 --cfg.hf_config.hf_dir "ckpt/hf_path/Qwen2.5-VL-32B-Instruct" 

 --cfg.parallel_config.llm_pp_layers [4,9,9,9,9,9,9,6] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0,0,0,0,0] 

 --cfg.parallel_config.tp_size 2

# 72b

mm-convert Qwen2_5_VLConverter hf_to_mm 

 --cfg.mm_dir"ckpt/mm_path/Qwen2.5-VL-72B-Instruct"

 --cfg.hf_config.hf_dir"ckpt/hf_path/Qwen2.5-VL-72B-Instruct"

 --cfg.parallel_config.llm_pp_layers [14,23,23,20] 

 --cfg.parallel_config.vit_pp_layers [32,0,0,0] 

 --cfg.parallel_config.tp_size 8

#其中：

# mm_dir:轉(zhuǎn)換后保存目錄

# hf_dir: huggingface權(quán)重目錄

# llm_pp_layers: llm在每個卡上切分的層數(shù)，注意要和model.json中配置的pipeline_num_layers一致

# vit_pp_layers: vit在每個卡上切分的層數(shù)，注意要和model.json中配置的pipeline_num_layers一致

# tp_size: tp并行數(shù)量，注意要和微調(diào)啟動腳本中的配置一致

如果需要用轉(zhuǎn)換后模型訓練的話，同步修改

examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh中的LOAD_PATH參數(shù)，該路徑為轉(zhuǎn)換后或者切分后的權(quán)重，注意與原始權(quán)重ckpt/hf_path/Qwen2.5-VL-7B-Instruct進行區(qū)分。

LOAD_PATH="ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

【數(shù)據(jù)集準備及處理】

數(shù)據(jù)集下載(以coco2017數(shù)據(jù)集為例)：

(1)用戶需要自行下載COCO2017數(shù)據(jù)集，并解壓到項目目錄下的./data/COCO2017文件夾中

下載鏈接：https://gitee.com/link?target=https%3A%2F%2Fcocodataset.org%2F%23download

(2)獲取圖片數(shù)據(jù)集的描述文件（LLaVA-Instruct-150K），下載至./data/路徑下;

https://gitee.com/link?target=https%3A%2F%2Fhuggingface.co%2Fdatasets%2Fliuhaotian%2FLLaVA-Instruct-150K%2Ftree%2Fmain

(3)在./data路徑下新建文件mllm_format_llava_instruct_data.json，運行數(shù)據(jù)轉(zhuǎn)換腳本python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py;

$playground

├── data

├── COCO2017

├── train2017

├── llava_instruct_150k.json

├── mllm_format_llava_instruct_data.json

...

當前支持讀取多個以,（注意不要加空格）分隔的數(shù)據(jù)集，配置方式為data.json中 dataset_param->basic_parameters->dataset 從"./data/mllm_format_llava_instruct_data.json"修改為"./data/mllm_format_llava_instruct_data.json,./data/mllm_format_llava_instruct_data2.json"

同時注意data.json中dataset_param->basic_parameters->max_samples的配置，會限制數(shù)據(jù)只讀max_samples條，這樣可以快速驗證功能。如果正式訓練時，可以把該參數(shù)去掉則讀取全部的數(shù)據(jù)。

純文本或有圖無圖混合訓練數(shù)據(jù)(以LLaVA-Instruct-150K為例)：

現(xiàn)在本框架已經(jīng)支持純文本/混合數(shù)據(jù)（有圖像和無圖像數(shù)據(jù)混合訓練）。在數(shù)據(jù)構(gòu)造時，對于包含圖片的數(shù)據(jù)，需要保留image這個鍵值。

{

"id": your_id,

"image": your_image_path,

"conversations": [

{"from":"human","value": your_query},

{"from":"gpt","value": your_response},

],

}

在數(shù)據(jù)構(gòu)造時，對于純文本數(shù)據(jù)，可以去除image這個鍵值。

{

"id": your_id,

"conversations": [

{"from":"human","value": your_query},

{"from":"gpt","value": your_response},

],

}

【微調(diào)】

1. 準備工作

配置腳本前需要完成前置準備工作，包括：環(huán)境安裝、權(quán)重下載及轉(zhuǎn)換、數(shù)據(jù)集準備及處理，詳情可查看對應章節(jié)。

2. 配置參數(shù)

數(shù)據(jù)目錄配置：

根據(jù)實際情況修改data.json中的數(shù)據(jù)集路徑，包括model_name_or_path、dataset_dir、dataset等字段。

以Qwen2.5VL-7B為例，data.json進行以下修改，注意model_name_or_path的權(quán)重路徑為轉(zhuǎn)換前的權(quán)重路徑。

注意cache_dir在多機上不要配置同一個掛載目錄避免寫入同一個文件導致沖突。

{

"dataset_param": {

"dataset_type": "huggingface",

"preprocess_parameters": {

"model_name_or_path": "./ckpt/hf_path/Qwen2.5-VL-7B-Instruct",

...

},

"basic_parameters": {

...

"dataset_dir": "./data",

"dataset": "./data/mllm_format_llava_instruct_data.json",

"cache_dir": "./data/cache_dir",

...

},

...

},

...

}

}

模型保存加載及日志信息配置：

根據(jù)實際情況配置examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh的參數(shù)，包括加載、保存路徑以及保存間隔--save-interval（注意：分布式優(yōu)化器保存文件較大耗時較長，請謹慎設置保存間隔）

...

#加載路徑

LOAD_PATH="ckpt/mm_path/Qwen2.5-VL-7B-Instruct"

#保存路徑

SAVE_PATH="save_dir"

...

GPT_ARGS="

...

--no-load-optim #不加載優(yōu)化器狀態(tài)，若需加載請移除

--no-load-rng #不加載隨機數(shù)狀態(tài)，若需加載請移除

--no-save-optim #不保存優(yōu)化器狀態(tài)，若需保存請移除

--no-save-rng #不保存隨機數(shù)狀態(tài)，若需保存請移除

...

"

...

OUTPUT_ARGS="

--log-interval 1 #日志間隔

--save-interval 5000 #保存間隔

...

--log-tps #增加此參數(shù)可使能在訓練中打印每步語言模塊的平均序列長度，并在訓練結(jié)束后計算每秒吞吐tokens量。

"

若需要加載指定迭代次數(shù)的權(quán)重、優(yōu)化器等狀態(tài)，需將加載路徑LOAD_PATH設置為保存文件夾路徑LOAD_PATH="save_dir"，并修改latest_checkpointed_iteration.txt文件內(nèi)容為指定迭代次數(shù) (此功能coming soon)

$save_dir

 ├── latest_checkpointed_iteration.txt

 ├── ...

單機運行配置：

配置examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh參數(shù)如下

#根據(jù)實際情況修改 ascend-toolkit 路徑

source /usr/local/Ascend/ascend-toolkit/set_env.sh

NPUS_PER_NODE=8

MASTER_ADDR=locahost

MASTER_PORT=29501

NNODES=1

NODE_RANK=0

WORLD_SIZE=$(($NPUS_PER_NODE * $NNODES))

注意，當開啟PP時，model.json中配置的vision_encoder和text_decoder的pipeline_num_layer參數(shù)控制了各自的PP切分策略。對于流水線并行，要先處理vision_encoder再處理text_decoder。 比如7b默認的值[32,0,0,0]、[1,10,10,7]，其含義為PP域內(nèi)第一張卡先放32層vision_encoder再放1層text_decoder、第二張卡放text_decoder接著的10層、第三張卡放text_decoder接著的10層、第四張卡放text_decoder接著的7層，vision_encoder沒有放完時不能先放text_decoder（比如[30,2,0,0]、[1,10,10,7]的配置是錯的）。

同時注意，如果某張卡上的參數(shù)全部凍結(jié)時會導致沒有梯度（比如vision_encoder凍結(jié)時PP配置[30,2,0,0]、[0,11,10,7]），需要在finetune_qwen2_5_vl_7b.sh中GPT_ARGS參數(shù)中增加--enable-dummy-optimizer，

3. 啟動微調(diào)

以Qwen2.5VL-7B為例，啟動微調(diào)訓練任務。

bash examples/qwen2.5vl/finetune_qwen2_5_vl_7b.sh

【性能實測：昇騰硬件加速提升性能】

備注：Samples per Second 為 (SPS)

【更多參數(shù)見MindSpeed MM倉庫】

準備工作和參數(shù)說明見MindSpeed MM開源代碼倉鏈接：

https://gitee.com/ascend/MindSpeed-MM/tree/master/examples/qwen2.5vl

結(jié)語

MindSpeed MM是面向大規(guī)模分布式訓練的昇騰多模態(tài)大模型套件，同時支持多模態(tài)生成及多模態(tài)理解，旨在為華為昇騰芯片提供端到端的多模態(tài)訓練解決方案, 包含預置業(yè)界主流模型，數(shù)據(jù)工程，分布式訓練及加速，預訓練、微調(diào)、在線推理任務等特性。

MindSpeed MM即將上線更加豐富的支持Qwen2.5VL模型的特性，敬請期待。