Hugging Face's logo

kon171verma
/
intent-classifier-experiments

Text Classification
PEFT
Safetensors
lora
dora
lora+
dora+
adalora
qlora
intent-classification
Model card Files
xet
 Community
Konark Verma commited on
Commit
093a9c6
·
verified ·
1 Parent(s): 662ee3d

Add AdaLoRA adapter: qwen3-0.6b_B_1k [20260827-013947]

Browse files
Files changed (7) hide show
  1. .gitattributes +1 -0
  2. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/README.md +208 -0
  3. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/adapter_config.json +2969 -0
  4. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/adapter_model.safetensors +3 -0
  5. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/chat_template.jinja +89 -0
  6. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/tokenizer.json +3 -0
  7. v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/tokenizer_config.json +30 -0
.gitattributes CHANGED
@@ -94,3 +94,4 @@ v2.0/llama3.2-1b_DoRA_C_1k_20260826-203101/tokenizer.json filter=lfs diff=lfs me
94
  v2.0/llama3.2-1b_DoRA_D_1k_20260826-205911/tokenizer.json filter=lfs diff=lfs merge=lfs -text
95
  v2.0/qwen3-0.6b_AdaLoRA_A_1k_20260827-011535/tokenizer.json filter=lfs diff=lfs merge=lfs -text
96
  v2.0/qwen3-0.6b_QLoRA_A_1k_20260827-013618/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
94
  v2.0/llama3.2-1b_DoRA_D_1k_20260826-205911/tokenizer.json filter=lfs diff=lfs merge=lfs -text
95
  v2.0/qwen3-0.6b_AdaLoRA_A_1k_20260827-011535/tokenizer.json filter=lfs diff=lfs merge=lfs -text
96
  v2.0/qwen3-0.6b_QLoRA_A_1k_20260827-013618/tokenizer.json filter=lfs diff=lfs merge=lfs -text
97
+ v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/tokenizer.json filter=lfs diff=lfs merge=lfs -text
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/README.md ADDED
@@ -0,0 +1,208 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: Qwen/Qwen3-0.6B
3
+ library_name: peft
4
+ pipeline_tag: text-generation
5
+ tags:
6
+ - base_model:adapter:Qwen/Qwen3-0.6B
7
+ - sft
8
+ - transformers
9
+ - trl
10
+ ---
11
+
12
+ # Model Card for Model ID
13
+
14
+ <!-- Provide a quick summary of what the model is/does. -->
15
+
16
+
17
+
18
+ ## Model Details
19
+
20
+ ### Model Description
21
+
22
+ <!-- Provide a longer summary of what this model is. -->
23
+
24
+
25
+
26
+ - **Developed by:** [More Information Needed]
27
+ - **Funded by [optional]:** [More Information Needed]
28
+ - **Shared by [optional]:** [More Information Needed]
29
+ - **Model type:** [More Information Needed]
30
+ - **Language(s) (NLP):** [More Information Needed]
31
+ - **License:** [More Information Needed]
32
+ - **Finetuned from model [optional]:** [More Information Needed]
33
+
34
+ ### Model Sources [optional]
35
+
36
+ <!-- Provide the basic links for the model. -->
37
+
38
+ - **Repository:** [More Information Needed]
39
+ - **Paper [optional]:** [More Information Needed]
40
+ - **Demo [optional]:** [More Information Needed]
41
+
42
+ ## Uses
43
+
44
+ <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
45
+
46
+ ### Direct Use
47
+
48
+ <!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
49
+
50
+ [More Information Needed]
51
+
52
+ ### Downstream Use [optional]
53
+
54
+ <!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
55
+
56
+ [More Information Needed]
57
+
58
+ ### Out-of-Scope Use
59
+
60
+ <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
61
+
62
+ [More Information Needed]
63
+
64
+ ## Bias, Risks, and Limitations
65
+
66
+ <!-- This section is meant to convey both technical and sociotechnical limitations. -->
67
+
68
+ [More Information Needed]
69
+
70
+ ### Recommendations
71
+
72
+ <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
73
+
74
+ Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
75
+
76
+ ## How to Get Started with the Model
77
+
78
+ Use the code below to get started with the model.
79
+
80
+ [More Information Needed]
81
+
82
+ ## Training Details
83
+
84
+ ### Training Data
85
+
86
+ <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
87
+
88
+ [More Information Needed]
89
+
90
+ ### Training Procedure
91
+
92
+ <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
93
+
94
+ #### Preprocessing [optional]
95
+
96
+ [More Information Needed]
97
+
98
+
99
+ #### Training Hyperparameters
100
+
101
+ - **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
102
+
103
+ #### Speeds, Sizes, Times [optional]
104
+
105
+ <!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
106
+
107
+ [More Information Needed]
108
+
109
+ ## Evaluation
110
+
111
+ <!-- This section describes the evaluation protocols and provides the results. -->
112
+
113
+ ### Testing Data, Factors & Metrics
114
+
115
+ #### Testing Data
116
+
117
+ <!-- This should link to a Dataset Card if possible. -->
118
+
119
+ [More Information Needed]
120
+
121
+ #### Factors
122
+
123
+ <!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
124
+
125
+ [More Information Needed]
126
+
127
+ #### Metrics
128
+
129
+ <!-- These are the evaluation metrics being used, ideally with a description of why. -->
130
+
131
+ [More Information Needed]
132
+
133
+ ### Results
134
+
135
+ [More Information Needed]
136
+
137
+ #### Summary
138
+
139
+
140
+
141
+ ## Model Examination [optional]
142
+
143
+ <!-- Relevant interpretability work for the model goes here -->
144
+
145
+ [More Information Needed]
146
+
147
+ ## Environmental Impact
148
+
149
+ <!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
150
+
151
+ Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
152
+
153
+ - **Hardware Type:** [More Information Needed]
154
+ - **Hours used:** [More Information Needed]
155
+ - **Cloud Provider:** [More Information Needed]
156
+ - **Compute Region:** [More Information Needed]
157
+ - **Carbon Emitted:** [More Information Needed]
158
+
159
+ ## Technical Specifications [optional]
160
+
161
+ ### Model Architecture and Objective
162
+
163
+ [More Information Needed]
164
+
165
+ ### Compute Infrastructure
166
+
167
+ [More Information Needed]
168
+
169
+ #### Hardware
170
+
171
+ [More Information Needed]
172
+
173
+ #### Software
174
+
175
+ [More Information Needed]
176
+
177
+ ## Citation [optional]
178
+
179
+ <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
180
+
181
+ **BibTeX:**
182
+
183
+ [More Information Needed]
184
+
185
+ **APA:**
186
+
187
+ [More Information Needed]
188
+
189
+ ## Glossary [optional]
190
+
191
+ <!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
192
+
193
+ [More Information Needed]
194
+
195
+ ## More Information [optional]
196
+
197
+ [More Information Needed]
198
+
199
+ ## Model Card Authors [optional]
200
+
201
+ [More Information Needed]
202
+
203
+ ## Model Card Contact
204
+
205
+ [More Information Needed]
206
+ ### Framework versions
207
+
208
+ - PEFT 0.20.0
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/adapter_config.json ADDED
@@ -0,0 +1,2969 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": null,
6
+ "base_model_name_or_path": "Qwen/Qwen3-0.6B",
7
+ "beta1": 0.85,
8
+ "beta2": 0.85,
9
+ "bias": "none",
10
+ "corda_config": null,
11
+ "deltaT": 10,
12
+ "ensure_weight_tying": false,
13
+ "eva_config": null,
14
+ "exclude_modules": null,
15
+ "fan_in_fan_out": false,
16
+ "inference_mode": true,
17
+ "init_lora_weights": true,
18
+ "init_r": 24,
19
+ "layer_replication": null,
20
+ "layers_pattern": null,
21
+ "layers_to_transform": null,
22
+ "loftq_config": {},
23
+ "lora_alpha": 48,
24
+ "lora_bias": false,
25
+ "lora_dropout": 0.0,
26
+ "lora_ga_config": null,
27
+ "megatron_config": null,
28
+ "megatron_core": "megatron.core",
29
+ "modules_to_save": null,
30
+ "monteclora_config": null,
31
+ "orth_reg_weight": 0.1,
32
+ "peft_type": "ADALORA",
33
+ "peft_version": "0.20.0",
34
+ "qalora_group_size": 16,
35
+ "r": 8,
36
+ "rank_pattern": {
37
+ "model.layers.0.self_attn.k_proj.lora_E": [
38
+ false,
39
+ false,
40
+ false,
41
+ false,
42
+ true,
43
+ false,
44
+ false,
45
+ false,
46
+ true,
47
+ false,
48
+ false,
49
+ false,
50
+ false,
51
+ false,
52
+ false,
53
+ false,
54
+ false,
55
+ false,
56
+ false,
57
+ true,
58
+ false,
59
+ false,
60
+ false,
61
+ false
62
+ ],
63
+ "model.layers.0.self_attn.o_proj.lora_E": [
64
+ true,
65
+ true,
66
+ true,
67
+ true,
68
+ true,
69
+ true,
70
+ true,
71
+ true,
72
+ true,
73
+ true,
74
+ true,
75
+ true,
76
+ true,
77
+ true,
78
+ true,
79
+ true,
80
+ true,
81
+ true,
82
+ true,
83
+ true,
84
+ true,
85
+ true,
86
+ true,
87
+ true
88
+ ],
89
+ "model.layers.0.self_attn.q_proj.lora_E": [
90
+ false,
91
+ false,
92
+ false,
93
+ false,
94
+ false,
95
+ false,
96
+ false,
97
+ false,
98
+ false,
99
+ false,
100
+ false,
101
+ false,
102
+ false,
103
+ true,
104
+ false,
105
+ false,
106
+ false,
107
+ false,
108
+ false,
109
+ false,
110
+ false,
111
+ false,
112
+ false,
113
+ false
114
+ ],
115
+ "model.layers.0.self_attn.v_proj.lora_E": [
116
+ true,
117
+ true,
118
+ false,
119
+ true,
120
+ true,
121
+ true,
122
+ true,
123
+ true,
124
+ true,
125
+ false,
126
+ true,
127
+ true,
128
+ true,
129
+ true,
130
+ false,
131
+ true,
132
+ true,
133
+ true,
134
+ true,
135
+ true,
136
+ true,
137
+ true,
138
+ true,
139
+ true
140
+ ],
141
+ "model.layers.1.self_attn.k_proj.lora_E": [
142
+ false,
143
+ false,
144
+ false,
145
+ false,
146
+ false,
147
+ false,
148
+ false,
149
+ false,
150
+ true,
151
+ false,
152
+ false,
153
+ false,
154
+ false,
155
+ false,
156
+ false,
157
+ false,
158
+ false,
159
+ false,
160
+ false,
161
+ false,
162
+ false,
163
+ false,
164
+ false,
165
+ false
166
+ ],
167
+ "model.layers.1.self_attn.o_proj.lora_E": [
168
+ false,
169
+ false,
170
+ true,
171
+ true,
172
+ true,
173
+ true,
174
+ true,
175
+ false,
176
+ true,
177
+ true,
178
+ false,
179
+ true,
180
+ true,
181
+ false,
182
+ false,
183
+ true,
184
+ false,
185
+ true,
186
+ false,
187
+ true,
188
+ false,
189
+ false,
190
+ false,
191
+ true
192
+ ],
193
+ "model.layers.1.self_attn.q_proj.lora_E": [
194
+ false,
195
+ false,
196
+ false,
197
+ false,
198
+ false,
199
+ false,
200
+ false,
201
+ false,
202
+ false,
203
+ false,
204
+ false,
205
+ false,
206
+ false,
207
+ false,
208
+ false,
209
+ false,
210
+ false,
211
+ false,
212
+ false,
213
+ false,
214
+ false,
215
+ false,
216
+ false,
217
+ false
218
+ ],
219
+ "model.layers.1.self_attn.v_proj.lora_E": [
220
+ true,
221
+ false,
222
+ true,
223
+ false,
224
+ true,
225
+ false,
226
+ true,
227
+ true,
228
+ true,
229
+ true,
230
+ true,
231
+ true,
232
+ true,
233
+ true,
234
+ true,
235
+ false,
236
+ true,
237
+ true,
238
+ true,
239
+ true,
240
+ true,
241
+ true,
242
+ false,
243
+ true
244
+ ],
245
+ "model.layers.10.self_attn.k_proj.lora_E": [
246
+ false,
247
+ false,
248
+ false,
249
+ false,
250
+ false,
251
+ true,
252
+ false,
253
+ false,
254
+ true,
255
+ true,
256
+ false,
257
+ false,
258
+ true,
259
+ true,
260
+ false,
261
+ false,
262
+ true,
263
+ true,
264
+ false,
265
+ false,
266
+ false,
267
+ false,
268
+ true,
269
+ false
270
+ ],
271
+ "model.layers.10.self_attn.o_proj.lora_E": [
272
+ true,
273
+ true,
274
+ true,
275
+ true,
276
+ false,
277
+ true,
278
+ false,
279
+ true,
280
+ false,
281
+ true,
282
+ true,
283
+ false,
284
+ true,
285
+ true,
286
+ false,
287
+ false,
288
+ true,
289
+ true,
290
+ false,
291
+ true,
292
+ true,
293
+ true,
294
+ true,
295
+ false
296
+ ],
297
+ "model.layers.10.self_attn.q_proj.lora_E": [
298
+ true,
299
+ true,
300
+ false,
301
+ true,
302
+ true,
303
+ true,
304
+ false,
305
+ true,
306
+ true,
307
+ true,
308
+ true,
309
+ true,
310
+ false,
311
+ true,
312
+ true,
313
+ true,
314
+ true,
315
+ true,
316
+ true,
317
+ false,
318
+ false,
319
+ false,
320
+ true,
321
+ false
322
+ ],
323
+ "model.layers.10.self_attn.v_proj.lora_E": [
324
+ false,
325
+ true,
326
+ false,
327
+ true,
328
+ false,
329
+ true,
330
+ true,
331
+ true,
332
+ true,
333
+ true,
334
+ true,
335
+ true,
336
+ false,
337
+ true,
338
+ true,
339
+ true,
340
+ true,
341
+ true,
342
+ false,
343
+ true,
344
+ true,
345
+ false,
346
+ true,
347
+ true
348
+ ],
349
+ "model.layers.11.self_attn.k_proj.lora_E": [
350
+ false,
351
+ true,
352
+ true,
353
+ true,
354
+ true,
355
+ true,
356
+ false,
357
+ true,
358
+ true,
359
+ false,
360
+ true,
361
+ true,
362
+ true,
363
+ false,
364
+ true,
365
+ true,
366
+ true,
367
+ false,
368
+ false,
369
+ true,
370
+ true,
371
+ true,
372
+ true,
373
+ true
374
+ ],
375
+ "model.layers.11.self_attn.o_proj.lora_E": [
376
+ true,
377
+ true,
378
+ false,
379
+ false,
380
+ true,
381
+ true,
382
+ false,
383
+ true,
384
+ true,
385
+ true,
386
+ true,
387
+ true,
388
+ true,
389
+ false,
390
+ false,
391
+ false,
392
+ true,
393
+ true,
394
+ false,
395
+ true,
396
+ true,
397
+ true,
398
+ true,
399
+ true
400
+ ],
401
+ "model.layers.11.self_attn.q_proj.lora_E": [
402
+ true,
403
+ true,
404
+ true,
405
+ true,
406
+ true,
407
+ true,
408
+ false,
409
+ true,
410
+ false,
411
+ false,
412
+ true,
413
+ false,
414
+ true,
415
+ true,
416
+ true,
417
+ false,
418
+ true,
419
+ false,
420
+ true,
421
+ true,
422
+ false,
423
+ true,
424
+ true,
425
+ true
426
+ ],
427
+ "model.layers.11.self_attn.v_proj.lora_E": [
428
+ false,
429
+ true,
430
+ true,
431
+ true,
432
+ true,
433
+ false,
434
+ true,
435
+ true,
436
+ true,
437
+ true,
438
+ true,
439
+ true,
440
+ true,
441
+ true,
442
+ true,
443
+ true,
444
+ true,
445
+ true,
446
+ true,
447
+ false,
448
+ false,
449
+ true,
450
+ true,
451
+ true
452
+ ],
453
+ "model.layers.12.self_attn.k_proj.lora_E": [
454
+ false,
455
+ true,
456
+ true,
457
+ false,
458
+ false,
459
+ false,
460
+ false,
461
+ false,
462
+ true,
463
+ true,
464
+ false,
465
+ false,
466
+ true,
467
+ true,
468
+ false,
469
+ true,
470
+ false,
471
+ false,
472
+ false,
473
+ false,
474
+ false,
475
+ false,
476
+ false,
477
+ true
478
+ ],
479
+ "model.layers.12.self_attn.o_proj.lora_E": [
480
+ true,
481
+ true,
482
+ true,
483
+ true,
484
+ false,
485
+ false,
486
+ true,
487
+ false,
488
+ false,
489
+ true,
490
+ true,
491
+ true,
492
+ true,
493
+ true,
494
+ true,
495
+ true,
496
+ true,
497
+ true,
498
+ false,
499
+ false,
500
+ true,
501
+ true,
502
+ true,
503
+ false
504
+ ],
505
+ "model.layers.12.self_attn.q_proj.lora_E": [
506
+ false,
507
+ true,
508
+ true,
509
+ false,
510
+ false,
511
+ true,
512
+ true,
513
+ true,
514
+ true,
515
+ true,
516
+ false,
517
+ true,
518
+ true,
519
+ false,
520
+ true,
521
+ false,
522
+ true,
523
+ true,
524
+ true,
525
+ false,
526
+ true,
527
+ true,
528
+ false,
529
+ true
530
+ ],
531
+ "model.layers.12.self_attn.v_proj.lora_E": [
532
+ true,
533
+ true,
534
+ true,
535
+ false,
536
+ true,
537
+ true,
538
+ true,
539
+ true,
540
+ true,
541
+ true,
542
+ true,
543
+ false,
544
+ false,
545
+ true,
546
+ true,
547
+ true,
548
+ false,
549
+ true,
550
+ true,
551
+ true,
552
+ true,
553
+ true,
554
+ false,
555
+ true
556
+ ],
557
+ "model.layers.13.self_attn.k_proj.lora_E": [
558
+ false,
559
+ true,
560
+ false,
561
+ false,
562
+ false,
563
+ false,
564
+ false,
565
+ false,
566
+ false,
567
+ false,
568
+ false,
569
+ false,
570
+ false,
571
+ false,
572
+ false,
573
+ false,
574
+ false,
575
+ false,
576
+ false,
577
+ false,
578
+ false,
579
+ false,
580
+ false,
581
+ true
582
+ ],
583
+ "model.layers.13.self_attn.o_proj.lora_E": [
584
+ true,
585
+ true,
586
+ false,
587
+ true,
588
+ false,
589
+ true,
590
+ true,
591
+ true,
592
+ false,
593
+ true,
594
+ true,
595
+ false,
596
+ true,
597
+ false,
598
+ true,
599
+ true,
600
+ true,
601
+ false,
602
+ true,
603
+ true,
604
+ true,
605
+ false,
606
+ true,
607
+ true
608
+ ],
609
+ "model.layers.13.self_attn.q_proj.lora_E": [
610
+ true,
611
+ false,
612
+ false,
613
+ false,
614
+ false,
615
+ false,
616
+ false,
617
+ false,
618
+ false,
619
+ true,
620
+ false,
621
+ true,
622
+ true,
623
+ false,
624
+ true,
625
+ false,
626
+ true,
627
+ true,
628
+ false,
629
+ true,
630
+ true,
631
+ false,
632
+ false,
633
+ false
634
+ ],
635
+ "model.layers.13.self_attn.v_proj.lora_E": [
636
+ false,
637
+ false,
638
+ false,
639
+ true,
640
+ true,
641
+ false,
642
+ false,
643
+ true,
644
+ true,
645
+ false,
646
+ false,
647
+ true,
648
+ true,
649
+ true,
650
+ false,
651
+ true,
652
+ false,
653
+ true,
654
+ false,
655
+ false,
656
+ false,
657
+ true,
658
+ true,
659
+ true
660
+ ],
661
+ "model.layers.14.self_attn.k_proj.lora_E": [
662
+ false,
663
+ false,
664
+ false,
665
+ false,
666
+ false,
667
+ false,
668
+ false,
669
+ false,
670
+ false,
671
+ false,
672
+ false,
673
+ false,
674
+ false,
675
+ false,
676
+ false,
677
+ false,
678
+ false,
679
+ false,
680
+ false,
681
+ false,
682
+ false,
683
+ false,
684
+ false,
685
+ false
686
+ ],
687
+ "model.layers.14.self_attn.o_proj.lora_E": [
688
+ false,
689
+ false,
690
+ false,
691
+ true,
692
+ true,
693
+ false,
694
+ false,
695
+ false,
696
+ false,
697
+ true,
698
+ true,
699
+ false,
700
+ false,
701
+ false,
702
+ false,
703
+ false,
704
+ false,
705
+ false,
706
+ true,
707
+ true,
708
+ false,
709
+ true,
710
+ false,
711
+ false
712
+ ],
713
+ "model.layers.14.self_attn.q_proj.lora_E": [
714
+ true,
715
+ false,
716
+ true,
717
+ false,
718
+ false,
719
+ true,
720
+ false,
721
+ false,
722
+ false,
723
+ false,
724
+ false,
725
+ false,
726
+ false,
727
+ false,
728
+ false,
729
+ true,
730
+ false,
731
+ true,
732
+ false,
733
+ false,
734
+ false,
735
+ false,
736
+ false,
737
+ false
738
+ ],
739
+ "model.layers.14.self_attn.v_proj.lora_E": [
740
+ false,
741
+ true,
742
+ false,
743
+ true,
744
+ true,
745
+ false,
746
+ false,
747
+ false,
748
+ true,
749
+ true,
750
+ true,
751
+ false,
752
+ true,
753
+ true,
754
+ false,
755
+ false,
756
+ false,
757
+ true,
758
+ true,
759
+ false,
760
+ true,
761
+ true,
762
+ true,
763
+ true
764
+ ],
765
+ "model.layers.15.self_attn.k_proj.lora_E": [
766
+ false,
767
+ false,
768
+ false,
769
+ true,
770
+ false,
771
+ false,
772
+ false,
773
+ false,
774
+ false,
775
+ false,
776
+ false,
777
+ false,
778
+ false,
779
+ false,
780
+ false,
781
+ false,
782
+ false,
783
+ false,
784
+ false,
785
+ false,
786
+ false,
787
+ false,
788
+ false,
789
+ false
790
+ ],
791
+ "model.layers.15.self_attn.o_proj.lora_E": [
792
+ false,
793
+ false,
794
+ true,
795
+ false,
796
+ true,
797
+ false,
798
+ true,
799
+ false,
800
+ false,
801
+ false,
802
+ false,
803
+ false,
804
+ false,
805
+ false,
806
+ false,
807
+ false,
808
+ true,
809
+ false,
810
+ false,
811
+ true,
812
+ true,
813
+ false,
814
+ false,
815
+ false
816
+ ],
817
+ "model.layers.15.self_attn.q_proj.lora_E": [
818
+ false,
819
+ false,
820
+ false,
821
+ true,
822
+ false,
823
+ false,
824
+ false,
825
+ false,
826
+ false,
827
+ false,
828
+ false,
829
+ false,
830
+ false,
831
+ false,
832
+ false,
833
+ true,
834
+ true,
835
+ false,
836
+ false,
837
+ false,
838
+ true,
839
+ true,
840
+ true,
841
+ false
842
+ ],
843
+ "model.layers.15.self_attn.v_proj.lora_E": [
844
+ true,
845
+ false,
846
+ false,
847
+ true,
848
+ true,
849
+ true,
850
+ false,
851
+ true,
852
+ false,
853
+ true,
854
+ false,
855
+ false,
856
+ false,
857
+ false,
858
+ true,
859
+ false,
860
+ false,
861
+ true,
862
+ true,
863
+ true,
864
+ false,
865
+ true,
866
+ true,
867
+ true
868
+ ],
869
+ "model.layers.16.self_attn.k_proj.lora_E": [
870
+ false,
871
+ false,
872
+ true,
873
+ false,
874
+ false,
875
+ true,
876
+ false,
877
+ true,
878
+ false,
879
+ false,
880
+ false,
881
+ false,
882
+ false,
883
+ false,
884
+ false,
885
+ false,
886
+ false,
887
+ false,
888
+ false,
889
+ false,
890
+ false,
891
+ false,
892
+ false,
893
+ false
894
+ ],
895
+ "model.layers.16.self_attn.o_proj.lora_E": [
896
+ true,
897
+ false,
898
+ true,
899
+ false,
900
+ true,
901
+ false,
902
+ true,
903
+ false,
904
+ false,
905
+ false,
906
+ false,
907
+ false,
908
+ false,
909
+ true,
910
+ false,
911
+ false,
912
+ false,
913
+ false,
914
+ false,
915
+ false,
916
+ false,
917
+ false,
918
+ true,
919
+ false
920
+ ],
921
+ "model.layers.16.self_attn.q_proj.lora_E": [
922
+ false,
923
+ false,
924
+ true,
925
+ true,
926
+ true,
927
+ true,
928
+ false,
929
+ true,
930
+ false,
931
+ false,
932
+ false,
933
+ false,
934
+ true,
935
+ false,
936
+ true,
937
+ true,
938
+ true,
939
+ false,
940
+ true,
941
+ true,
942
+ true,
943
+ false,
944
+ false,
945
+ true
946
+ ],
947
+ "model.layers.16.self_attn.v_proj.lora_E": [
948
+ false,
949
+ false,
950
+ false,
951
+ true,
952
+ false,
953
+ true,
954
+ false,
955
+ false,
956
+ true,
957
+ false,
958
+ true,
959
+ false,
960
+ false,
961
+ false,
962
+ false,
963
+ false,
964
+ false,
965
+ false,
966
+ false,
967
+ false,
968
+ true,
969
+ false,
970
+ false,
971
+ true
972
+ ],
973
+ "model.layers.17.self_attn.k_proj.lora_E": [
974
+ false,
975
+ false,
976
+ false,
977
+ false,
978
+ false,
979
+ false,
980
+ false,
981
+ false,
982
+ true,
983
+ true,
984
+ true,
985
+ false,
986
+ true,
987
+ false,
988
+ false,
989
+ false,
990
+ false,
991
+ false,
992
+ false,
993
+ true,
994
+ true,
995
+ false,
996
+ true,
997
+ false
998
+ ],
999
+ "model.layers.17.self_attn.o_proj.lora_E": [
1000
+ true,
1001
+ false,
1002
+ false,
1003
+ true,
1004
+ false,
1005
+ false,
1006
+ true,
1007
+ true,
1008
+ false,
1009
+ false,
1010
+ false,
1011
+ false,
1012
+ true,
1013
+ true,
1014
+ false,
1015
+ false,
1016
+ true,
1017
+ true,
1018
+ true,
1019
+ false,
1020
+ false,
1021
+ true,
1022
+ false,
1023
+ false
1024
+ ],
1025
+ "model.layers.17.self_attn.q_proj.lora_E": [
1026
+ true,
1027
+ false,
1028
+ true,
1029
+ false,
1030
+ true,
1031
+ true,
1032
+ true,
1033
+ true,
1034
+ true,
1035
+ false,
1036
+ true,
1037
+ true,
1038
+ false,
1039
+ true,
1040
+ true,
1041
+ true,
1042
+ true,
1043
+ true,
1044
+ false,
1045
+ false,
1046
+ false,
1047
+ true,
1048
+ true,
1049
+ false
1050
+ ],
1051
+ "model.layers.17.self_attn.v_proj.lora_E": [
1052
+ false,
1053
+ true,
1054
+ true,
1055
+ true,
1056
+ true,
1057
+ true,
1058
+ false,
1059
+ false,
1060
+ true,
1061
+ false,
1062
+ false,
1063
+ false,
1064
+ true,
1065
+ true,
1066
+ false,
1067
+ false,
1068
+ false,
1069
+ false,
1070
+ false,
1071
+ false,
1072
+ false,
1073
+ false,
1074
+ false,
1075
+ true
1076
+ ],
1077
+ "model.layers.18.self_attn.k_proj.lora_E": [
1078
+ false,
1079
+ false,
1080
+ false,
1081
+ false,
1082
+ false,
1083
+ false,
1084
+ false,
1085
+ false,
1086
+ false,
1087
+ false,
1088
+ false,
1089
+ false,
1090
+ false,
1091
+ false,
1092
+ false,
1093
+ false,
1094
+ false,
1095
+ false,
1096
+ false,
1097
+ false,
1098
+ false,
1099
+ false,
1100
+ false,
1101
+ false
1102
+ ],
1103
+ "model.layers.18.self_attn.o_proj.lora_E": [
1104
+ false,
1105
+ false,
1106
+ false,
1107
+ false,
1108
+ false,
1109
+ true,
1110
+ false,
1111
+ false,
1112
+ false,
1113
+ false,
1114
+ false,
1115
+ false,
1116
+ false,
1117
+ false,
1118
+ false,
1119
+ false,
1120
+ false,
1121
+ false,
1122
+ false,
1123
+ false,
1124
+ false,
1125
+ false,
1126
+ false,
1127
+ false
1128
+ ],
1129
+ "model.layers.18.self_attn.q_proj.lora_E": [
1130
+ true,
1131
+ true,
1132
+ false,
1133
+ false,
1134
+ false,
1135
+ false,
1136
+ false,
1137
+ false,
1138
+ false,
1139
+ false,
1140
+ true,
1141
+ true,
1142
+ false,
1143
+ true,
1144
+ false,
1145
+ true,
1146
+ false,
1147
+ false,
1148
+ false,
1149
+ false,
1150
+ false,
1151
+ false,
1152
+ true,
1153
+ true
1154
+ ],
1155
+ "model.layers.18.self_attn.v_proj.lora_E": [
1156
+ false,
1157
+ false,
1158
+ true,
1159
+ false,
1160
+ false,
1161
+ false,
1162
+ false,
1163
+ false,
1164
+ false,
1165
+ false,
1166
+ false,
1167
+ false,
1168
+ false,
1169
+ false,
1170
+ false,
1171
+ false,
1172
+ false,
1173
+ true,
1174
+ false,
1175
+ false,
1176
+ false,
1177
+ false,
1178
+ false,
1179
+ false
1180
+ ],
1181
+ "model.layers.19.self_attn.k_proj.lora_E": [
1182
+ false,
1183
+ false,
1184
+ false,
1185
+ false,
1186
+ false,
1187
+ false,
1188
+ false,
1189
+ false,
1190
+ false,
1191
+ false,
1192
+ false,
1193
+ false,
1194
+ false,
1195
+ false,
1196
+ false,
1197
+ false,
1198
+ false,
1199
+ false,
1200
+ false,
1201
+ false,
1202
+ false,
1203
+ false,
1204
+ false,
1205
+ false
1206
+ ],
1207
+ "model.layers.19.self_attn.o_proj.lora_E": [
1208
+ false,
1209
+ false,
1210
+ false,
1211
+ false,
1212
+ false,
1213
+ false,
1214
+ true,
1215
+ false,
1216
+ false,
1217
+ true,
1218
+ true,
1219
+ false,
1220
+ false,
1221
+ false,
1222
+ false,
1223
+ false,
1224
+ false,
1225
+ false,
1226
+ true,
1227
+ false,
1228
+ false,
1229
+ false,
1230
+ false,
1231
+ false
1232
+ ],
1233
+ "model.layers.19.self_attn.q_proj.lora_E": [
1234
+ true,
1235
+ false,
1236
+ false,
1237
+ false,
1238
+ false,
1239
+ false,
1240
+ false,
1241
+ false,
1242
+ false,
1243
+ false,
1244
+ false,
1245
+ false,
1246
+ false,
1247
+ false,
1248
+ false,
1249
+ true,
1250
+ false,
1251
+ false,
1252
+ false,
1253
+ false,
1254
+ false,
1255
+ false,
1256
+ false,
1257
+ false
1258
+ ],
1259
+ "model.layers.19.self_attn.v_proj.lora_E": [
1260
+ false,
1261
+ false,
1262
+ false,
1263
+ false,
1264
+ false,
1265
+ false,
1266
+ false,
1267
+ false,
1268
+ false,
1269
+ false,
1270
+ false,
1271
+ false,
1272
+ false,
1273
+ false,
1274
+ false,
1275
+ false,
1276
+ false,
1277
+ false,
1278
+ false,
1279
+ false,
1280
+ false,
1281
+ false,
1282
+ false,
1283
+ false
1284
+ ],
1285
+ "model.layers.2.self_attn.k_proj.lora_E": [
1286
+ true,
1287
+ false,
1288
+ false,
1289
+ false,
1290
+ false,
1291
+ false,
1292
+ false,
1293
+ false,
1294
+ false,
1295
+ false,
1296
+ false,
1297
+ false,
1298
+ false,
1299
+ false,
1300
+ false,
1301
+ false,
1302
+ false,
1303
+ false,
1304
+ false,
1305
+ false,
1306
+ false,
1307
+ false,
1308
+ false,
1309
+ false
1310
+ ],
1311
+ "model.layers.2.self_attn.o_proj.lora_E": [
1312
+ false,
1313
+ true,
1314
+ false,
1315
+ false,
1316
+ false,
1317
+ true,
1318
+ true,
1319
+ true,
1320
+ false,
1321
+ false,
1322
+ true,
1323
+ true,
1324
+ true,
1325
+ false,
1326
+ true,
1327
+ true,
1328
+ true,
1329
+ false,
1330
+ true,
1331
+ true,
1332
+ true,
1333
+ false,
1334
+ true,
1335
+ false
1336
+ ],
1337
+ "model.layers.2.self_attn.q_proj.lora_E": [
1338
+ false,
1339
+ false,
1340
+ false,
1341
+ false,
1342
+ false,
1343
+ false,
1344
+ false,
1345
+ false,
1346
+ true,
1347
+ false,
1348
+ false,
1349
+ true,
1350
+ false,
1351
+ false,
1352
+ false,
1353
+ false,
1354
+ false,
1355
+ false,
1356
+ false,
1357
+ false,
1358
+ false,
1359
+ false,
1360
+ false,
1361
+ false
1362
+ ],
1363
+ "model.layers.2.self_attn.v_proj.lora_E": [
1364
+ true,
1365
+ true,
1366
+ false,
1367
+ false,
1368
+ false,
1369
+ false,
1370
+ true,
1371
+ true,
1372
+ false,
1373
+ true,
1374
+ false,
1375
+ false,
1376
+ true,
1377
+ true,
1378
+ true,
1379
+ true,
1380
+ false,
1381
+ false,
1382
+ false,
1383
+ true,
1384
+ true,
1385
+ false,
1386
+ true,
1387
+ true
1388
+ ],
1389
+ "model.layers.20.self_attn.k_proj.lora_E": [
1390
+ false,
1391
+ false,
1392
+ false,
1393
+ false,
1394
+ false,
1395
+ false,
1396
+ false,
1397
+ false,
1398
+ false,
1399
+ false,
1400
+ false,
1401
+ false,
1402
+ false,
1403
+ false,
1404
+ false,
1405
+ false,
1406
+ false,
1407
+ false,
1408
+ false,
1409
+ false,
1410
+ false,
1411
+ false,
1412
+ false,
1413
+ false
1414
+ ],
1415
+ "model.layers.20.self_attn.o_proj.lora_E": [
1416
+ false,
1417
+ false,
1418
+ false,
1419
+ false,
1420
+ false,
1421
+ false,
1422
+ false,
1423
+ false,
1424
+ false,
1425
+ false,
1426
+ false,
1427
+ false,
1428
+ false,
1429
+ false,
1430
+ false,
1431
+ false,
1432
+ false,
1433
+ false,
1434
+ false,
1435
+ false,
1436
+ false,
1437
+ false,
1438
+ false,
1439
+ false
1440
+ ],
1441
+ "model.layers.20.self_attn.q_proj.lora_E": [
1442
+ false,
1443
+ false,
1444
+ false,
1445
+ false,
1446
+ false,
1447
+ false,
1448
+ false,
1449
+ false,
1450
+ false,
1451
+ false,
1452
+ false,
1453
+ false,
1454
+ false,
1455
+ false,
1456
+ false,
1457
+ false,
1458
+ false,
1459
+ false,
1460
+ false,
1461
+ false,
1462
+ false,
1463
+ false,
1464
+ false,
1465
+ false
1466
+ ],
1467
+ "model.layers.20.self_attn.v_proj.lora_E": [
1468
+ false,
1469
+ false,
1470
+ false,
1471
+ false,
1472
+ false,
1473
+ false,
1474
+ false,
1475
+ false,
1476
+ false,
1477
+ false,
1478
+ false,
1479
+ false,
1480
+ false,
1481
+ true,
1482
+ false,
1483
+ false,
1484
+ false,
1485
+ false,
1486
+ false,
1487
+ false,
1488
+ false,
1489
+ false,
1490
+ false,
1491
+ false
1492
+ ],
1493
+ "model.layers.21.self_attn.k_proj.lora_E": [
1494
+ false,
1495
+ false,
1496
+ false,
1497
+ false,
1498
+ false,
1499
+ false,
1500
+ false,
1501
+ false,
1502
+ false,
1503
+ false,
1504
+ false,
1505
+ false,
1506
+ false,
1507
+ false,
1508
+ false,
1509
+ false,
1510
+ false,
1511
+ false,
1512
+ false,
1513
+ false,
1514
+ false,
1515
+ false,
1516
+ false,
1517
+ false
1518
+ ],
1519
+ "model.layers.21.self_attn.o_proj.lora_E": [
1520
+ true,
1521
+ false,
1522
+ true,
1523
+ false,
1524
+ true,
1525
+ false,
1526
+ true,
1527
+ true,
1528
+ false,
1529
+ false,
1530
+ true,
1531
+ false,
1532
+ false,
1533
+ false,
1534
+ true,
1535
+ false,
1536
+ true,
1537
+ false,
1538
+ true,
1539
+ false,
1540
+ true,
1541
+ false,
1542
+ false,
1543
+ false
1544
+ ],
1545
+ "model.layers.21.self_attn.q_proj.lora_E": [
1546
+ false,
1547
+ false,
1548
+ false,
1549
+ false,
1550
+ false,
1551
+ false,
1552
+ false,
1553
+ false,
1554
+ false,
1555
+ false,
1556
+ false,
1557
+ true,
1558
+ false,
1559
+ false,
1560
+ true,
1561
+ false,
1562
+ false,
1563
+ true,
1564
+ false,
1565
+ false,
1566
+ false,
1567
+ false,
1568
+ false,
1569
+ false
1570
+ ],
1571
+ "model.layers.21.self_attn.v_proj.lora_E": [
1572
+ false,
1573
+ false,
1574
+ false,
1575
+ false,
1576
+ false,
1577
+ false,
1578
+ false,
1579
+ false,
1580
+ false,
1581
+ true,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
+ false,
1587
+ false,
1588
+ false,
1589
+ false,
1590
+ false,
1591
+ false,
1592
+ true,
1593
+ false,
1594
+ true,
1595
+ false
1596
+ ],
1597
+ "model.layers.22.self_attn.k_proj.lora_E": [
1598
+ false,
1599
+ false,
1600
+ false,
1601
+ false,
1602
+ false,
1603
+ false,
1604
+ false,
1605
+ false,
1606
+ false,
1607
+ false,
1608
+ false,
1609
+ false,
1610
+ false,
1611
+ false,
1612
+ false,
1613
+ false,
1614
+ false,
1615
+ false,
1616
+ false,
1617
+ false,
1618
+ false,
1619
+ false,
1620
+ false,
1621
+ false
1622
+ ],
1623
+ "model.layers.22.self_attn.o_proj.lora_E": [
1624
+ false,
1625
+ false,
1626
+ false,
1627
+ false,
1628
+ false,
1629
+ false,
1630
+ false,
1631
+ false,
1632
+ false,
1633
+ false,
1634
+ false,
1635
+ false,
1636
+ false,
1637
+ false,
1638
+ false,
1639
+ false,
1640
+ false,
1641
+ false,
1642
+ false,
1643
+ false,
1644
+ false,
1645
+ false,
1646
+ false,
1647
+ false
1648
+ ],
1649
+ "model.layers.22.self_attn.q_proj.lora_E": [
1650
+ false,
1651
+ false,
1652
+ false,
1653
+ false,
1654
+ false,
1655
+ true,
1656
+ false,
1657
+ true,
1658
+ false,
1659
+ false,
1660
+ false,
1661
+ false,
1662
+ false,
1663
+ false,
1664
+ false,
1665
+ false,
1666
+ false,
1667
+ false,
1668
+ false,
1669
+ false,
1670
+ false,
1671
+ false,
1672
+ false,
1673
+ true
1674
+ ],
1675
+ "model.layers.22.self_attn.v_proj.lora_E": [
1676
+ false,
1677
+ false,
1678
+ false,
1679
+ false,
1680
+ false,
1681
+ false,
1682
+ false,
1683
+ false,
1684
+ false,
1685
+ false,
1686
+ false,
1687
+ false,
1688
+ false,
1689
+ false,
1690
+ false,
1691
+ false,
1692
+ false,
1693
+ false,
1694
+ false,
1695
+ false,
1696
+ false,
1697
+ false,
1698
+ false,
1699
+ false
1700
+ ],
1701
+ "model.layers.23.self_attn.k_proj.lora_E": [
1702
+ false,
1703
+ false,
1704
+ false,
1705
+ false,
1706
+ false,
1707
+ false,
1708
+ false,
1709
+ false,
1710
+ false,
1711
+ false,
1712
+ false,
1713
+ false,
1714
+ false,
1715
+ false,
1716
+ false,
1717
+ false,
1718
+ false,
1719
+ false,
1720
+ false,
1721
+ false,
1722
+ false,
1723
+ false,
1724
+ false,
1725
+ false
1726
+ ],
1727
+ "model.layers.23.self_attn.o_proj.lora_E": [
1728
+ true,
1729
+ false,
1730
+ true,
1731
+ false,
1732
+ false,
1733
+ false,
1734
+ false,
1735
+ false,
1736
+ false,
1737
+ false,
1738
+ false,
1739
+ false,
1740
+ false,
1741
+ true,
1742
+ false,
1743
+ false,
1744
+ true,
1745
+ true,
1746
+ false,
1747
+ false,
1748
+ false,
1749
+ false,
1750
+ false,
1751
+ false
1752
+ ],
1753
+ "model.layers.23.self_attn.q_proj.lora_E": [
1754
+ false,
1755
+ true,
1756
+ true,
1757
+ false,
1758
+ false,
1759
+ false,
1760
+ false,
1761
+ true,
1762
+ false,
1763
+ false,
1764
+ true,
1765
+ false,
1766
+ false,
1767
+ false,
1768
+ false,
1769
+ false,
1770
+ false,
1771
+ true,
1772
+ true,
1773
+ false,
1774
+ false,
1775
+ false,
1776
+ false,
1777
+ false
1778
+ ],
1779
+ "model.layers.23.self_attn.v_proj.lora_E": [
1780
+ false,
1781
+ false,
1782
+ false,
1783
+ false,
1784
+ false,
1785
+ false,
1786
+ false,
1787
+ false,
1788
+ false,
1789
+ true,
1790
+ false,
1791
+ false,
1792
+ false,
1793
+ false,
1794
+ false,
1795
+ false,
1796
+ false,
1797
+ false,
1798
+ false,
1799
+ false,
1800
+ false,
1801
+ false,
1802
+ false,
1803
+ false
1804
+ ],
1805
+ "model.layers.24.self_attn.k_proj.lora_E": [
1806
+ false,
1807
+ false,
1808
+ false,
1809
+ false,
1810
+ false,
1811
+ false,
1812
+ false,
1813
+ false,
1814
+ false,
1815
+ false,
1816
+ false,
1817
+ false,
1818
+ false,
1819
+ false,
1820
+ false,
1821
+ false,
1822
+ false,
1823
+ false,
1824
+ false,
1825
+ false,
1826
+ false,
1827
+ false,
1828
+ false,
1829
+ false
1830
+ ],
1831
+ "model.layers.24.self_attn.o_proj.lora_E": [
1832
+ true,
1833
+ false,
1834
+ false,
1835
+ false,
1836
+ false,
1837
+ false,
1838
+ true,
1839
+ false,
1840
+ true,
1841
+ false,
1842
+ false,
1843
+ true,
1844
+ false,
1845
+ false,
1846
+ false,
1847
+ true,
1848
+ false,
1849
+ false,
1850
+ false,
1851
+ false,
1852
+ false,
1853
+ false,
1854
+ false,
1855
+ false
1856
+ ],
1857
+ "model.layers.24.self_attn.q_proj.lora_E": [
1858
+ false,
1859
+ false,
1860
+ true,
1861
+ false,
1862
+ false,
1863
+ false,
1864
+ false,
1865
+ false,
1866
+ false,
1867
+ false,
1868
+ false,
1869
+ false,
1870
+ false,
1871
+ false,
1872
+ false,
1873
+ false,
1874
+ false,
1875
+ false,
1876
+ false,
1877
+ false,
1878
+ false,
1879
+ false,
1880
+ false,
1881
+ false
1882
+ ],
1883
+ "model.layers.24.self_attn.v_proj.lora_E": [
1884
+ false,
1885
+ false,
1886
+ false,
1887
+ false,
1888
+ false,
1889
+ false,
1890
+ false,
1891
+ false,
1892
+ false,
1893
+ false,
1894
+ false,
1895
+ false,
1896
+ false,
1897
+ false,
1898
+ false,
1899
+ false,
1900
+ true,
1901
+ false,
1902
+ false,
1903
+ false,
1904
+ false,
1905
+ false,
1906
+ false,
1907
+ false
1908
+ ],
1909
+ "model.layers.25.self_attn.k_proj.lora_E": [
1910
+ false,
1911
+ false,
1912
+ false,
1913
+ false,
1914
+ false,
1915
+ false,
1916
+ false,
1917
+ false,
1918
+ false,
1919
+ false,
1920
+ false,
1921
+ false,
1922
+ false,
1923
+ false,
1924
+ false,
1925
+ false,
1926
+ false,
1927
+ false,
1928
+ false,
1929
+ false,
1930
+ false,
1931
+ false,
1932
+ false,
1933
+ false
1934
+ ],
1935
+ "model.layers.25.self_attn.o_proj.lora_E": [
1936
+ false,
1937
+ false,
1938
+ false,
1939
+ false,
1940
+ false,
1941
+ false,
1942
+ false,
1943
+ false,
1944
+ false,
1945
+ false,
1946
+ false,
1947
+ false,
1948
+ false,
1949
+ false,
1950
+ false,
1951
+ false,
1952
+ false,
1953
+ false,
1954
+ false,
1955
+ false,
1956
+ false,
1957
+ false,
1958
+ false,
1959
+ false
1960
+ ],
1961
+ "model.layers.25.self_attn.q_proj.lora_E": [
1962
+ false,
1963
+ false,
1964
+ false,
1965
+ false,
1966
+ false,
1967
+ false,
1968
+ false,
1969
+ false,
1970
+ false,
1971
+ false,
1972
+ false,
1973
+ false,
1974
+ false,
1975
+ false,
1976
+ false,
1977
+ false,
1978
+ true,
1979
+ false,
1980
+ false,
1981
+ true,
1982
+ false,
1983
+ false,
1984
+ false,
1985
+ false
1986
+ ],
1987
+ "model.layers.25.self_attn.v_proj.lora_E": [
1988
+ false,
1989
+ false,
1990
+ false,
1991
+ false,
1992
+ false,
1993
+ false,
1994
+ false,
1995
+ false,
1996
+ false,
1997
+ false,
1998
+ false,
1999
+ false,
2000
+ false,
2001
+ false,
2002
+ false,
2003
+ false,
2004
+ false,
2005
+ false,
2006
+ false,
2007
+ false,
2008
+ false,
2009
+ false,
2010
+ false,
2011
+ false
2012
+ ],
2013
+ "model.layers.26.self_attn.k_proj.lora_E": [
2014
+ false,
2015
+ false,
2016
+ false,
2017
+ false,
2018
+ false,
2019
+ false,
2020
+ false,
2021
+ false,
2022
+ false,
2023
+ false,
2024
+ false,
2025
+ false,
2026
+ false,
2027
+ false,
2028
+ false,
2029
+ false,
2030
+ false,
2031
+ false,
2032
+ false,
2033
+ false,
2034
+ false,
2035
+ false,
2036
+ false,
2037
+ false
2038
+ ],
2039
+ "model.layers.26.self_attn.o_proj.lora_E": [
2040
+ false,
2041
+ false,
2042
+ false,
2043
+ false,
2044
+ false,
2045
+ false,
2046
+ false,
2047
+ false,
2048
+ false,
2049
+ false,
2050
+ false,
2051
+ false,
2052
+ false,
2053
+ false,
2054
+ false,
2055
+ false,
2056
+ false,
2057
+ false,
2058
+ false,
2059
+ false,
2060
+ true,
2061
+ false,
2062
+ false,
2063
+ false
2064
+ ],
2065
+ "model.layers.26.self_attn.q_proj.lora_E": [
2066
+ false,
2067
+ false,
2068
+ false,
2069
+ false,
2070
+ false,
2071
+ false,
2072
+ false,
2073
+ false,
2074
+ false,
2075
+ false,
2076
+ false,
2077
+ false,
2078
+ false,
2079
+ false,
2080
+ false,
2081
+ false,
2082
+ false,
2083
+ false,
2084
+ false,
2085
+ false,
2086
+ false,
2087
+ false,
2088
+ false,
2089
+ false
2090
+ ],
2091
+ "model.layers.26.self_attn.v_proj.lora_E": [
2092
+ false,
2093
+ false,
2094
+ false,
2095
+ false,
2096
+ false,
2097
+ false,
2098
+ false,
2099
+ false,
2100
+ false,
2101
+ true,
2102
+ false,
2103
+ false,
2104
+ false,
2105
+ false,
2106
+ false,
2107
+ false,
2108
+ false,
2109
+ false,
2110
+ false,
2111
+ false,
2112
+ false,
2113
+ false,
2114
+ false,
2115
+ false
2116
+ ],
2117
+ "model.layers.27.self_attn.k_proj.lora_E": [
2118
+ false,
2119
+ false,
2120
+ false,
2121
+ false,
2122
+ false,
2123
+ false,
2124
+ false,
2125
+ false,
2126
+ false,
2127
+ false,
2128
+ false,
2129
+ false,
2130
+ false,
2131
+ false,
2132
+ false,
2133
+ false,
2134
+ false,
2135
+ false,
2136
+ false,
2137
+ false,
2138
+ false,
2139
+ false,
2140
+ false,
2141
+ false
2142
+ ],
2143
+ "model.layers.27.self_attn.o_proj.lora_E": [
2144
+ false,
2145
+ false,
2146
+ false,
2147
+ false,
2148
+ false,
2149
+ false,
2150
+ false,
2151
+ false,
2152
+ false,
2153
+ false,
2154
+ false,
2155
+ false,
2156
+ false,
2157
+ false,
2158
+ false,
2159
+ false,
2160
+ false,
2161
+ false,
2162
+ false,
2163
+ false,
2164
+ false,
2165
+ false,
2166
+ false,
2167
+ false
2168
+ ],
2169
+ "model.layers.27.self_attn.q_proj.lora_E": [
2170
+ false,
2171
+ true,
2172
+ false,
2173
+ false,
2174
+ false,
2175
+ false,
2176
+ false,
2177
+ false,
2178
+ false,
2179
+ false,
2180
+ false,
2181
+ false,
2182
+ false,
2183
+ false,
2184
+ false,
2185
+ true,
2186
+ false,
2187
+ false,
2188
+ false,
2189
+ false,
2190
+ false,
2191
+ false,
2192
+ false,
2193
+ false
2194
+ ],
2195
+ "model.layers.27.self_attn.v_proj.lora_E": [
2196
+ false,
2197
+ false,
2198
+ false,
2199
+ false,
2200
+ false,
2201
+ false,
2202
+ false,
2203
+ false,
2204
+ false,
2205
+ false,
2206
+ false,
2207
+ false,
2208
+ false,
2209
+ false,
2210
+ false,
2211
+ false,
2212
+ false,
2213
+ false,
2214
+ false,
2215
+ false,
2216
+ false,
2217
+ false,
2218
+ false,
2219
+ false
2220
+ ],
2221
+ "model.layers.3.self_attn.k_proj.lora_E": [
2222
+ false,
2223
+ false,
2224
+ false,
2225
+ false,
2226
+ false,
2227
+ false,
2228
+ false,
2229
+ false,
2230
+ false,
2231
+ false,
2232
+ false,
2233
+ false,
2234
+ false,
2235
+ false,
2236
+ false,
2237
+ false,
2238
+ false,
2239
+ false,
2240
+ false,
2241
+ false,
2242
+ false,
2243
+ false,
2244
+ false,
2245
+ false
2246
+ ],
2247
+ "model.layers.3.self_attn.o_proj.lora_E": [
2248
+ true,
2249
+ false,
2250
+ false,
2251
+ false,
2252
+ true,
2253
+ false,
2254
+ false,
2255
+ false,
2256
+ false,
2257
+ true,
2258
+ false,
2259
+ true,
2260
+ true,
2261
+ false,
2262
+ true,
2263
+ false,
2264
+ true,
2265
+ true,
2266
+ true,
2267
+ true,
2268
+ false,
2269
+ false,
2270
+ false,
2271
+ true
2272
+ ],
2273
+ "model.layers.3.self_attn.q_proj.lora_E": [
2274
+ false,
2275
+ false,
2276
+ true,
2277
+ false,
2278
+ false,
2279
+ false,
2280
+ false,
2281
+ true,
2282
+ true,
2283
+ true,
2284
+ false,
2285
+ false,
2286
+ false,
2287
+ false,
2288
+ false,
2289
+ false,
2290
+ false,
2291
+ false,
2292
+ false,
2293
+ false,
2294
+ false,
2295
+ true,
2296
+ false,
2297
+ false
2298
+ ],
2299
+ "model.layers.3.self_attn.v_proj.lora_E": [
2300
+ false,
2301
+ true,
2302
+ false,
2303
+ true,
2304
+ true,
2305
+ true,
2306
+ true,
2307
+ false,
2308
+ true,
2309
+ true,
2310
+ false,
2311
+ false,
2312
+ true,
2313
+ false,
2314
+ false,
2315
+ false,
2316
+ true,
2317
+ false,
2318
+ true,
2319
+ true,
2320
+ true,
2321
+ true,
2322
+ true,
2323
+ true
2324
+ ],
2325
+ "model.layers.4.self_attn.k_proj.lora_E": [
2326
+ false,
2327
+ false,
2328
+ false,
2329
+ true,
2330
+ true,
2331
+ false,
2332
+ false,
2333
+ false,
2334
+ false,
2335
+ false,
2336
+ false,
2337
+ false,
2338
+ false,
2339
+ false,
2340
+ false,
2341
+ false,
2342
+ false,
2343
+ false,
2344
+ true,
2345
+ false,
2346
+ false,
2347
+ true,
2348
+ true,
2349
+ false
2350
+ ],
2351
+ "model.layers.4.self_attn.o_proj.lora_E": [
2352
+ false,
2353
+ true,
2354
+ true,
2355
+ true,
2356
+ true,
2357
+ true,
2358
+ false,
2359
+ true,
2360
+ true,
2361
+ false,
2362
+ false,
2363
+ true,
2364
+ true,
2365
+ true,
2366
+ true,
2367
+ false,
2368
+ true,
2369
+ true,
2370
+ false,
2371
+ true,
2372
+ true,
2373
+ true,
2374
+ true,
2375
+ false
2376
+ ],
2377
+ "model.layers.4.self_attn.q_proj.lora_E": [
2378
+ false,
2379
+ true,
2380
+ true,
2381
+ false,
2382
+ false,
2383
+ true,
2384
+ true,
2385
+ false,
2386
+ false,
2387
+ false,
2388
+ true,
2389
+ true,
2390
+ false,
2391
+ false,
2392
+ true,
2393
+ false,
2394
+ false,
2395
+ false,
2396
+ false,
2397
+ true,
2398
+ true,
2399
+ true,
2400
+ false,
2401
+ true
2402
+ ],
2403
+ "model.layers.4.self_attn.v_proj.lora_E": [
2404
+ true,
2405
+ true,
2406
+ false,
2407
+ true,
2408
+ false,
2409
+ true,
2410
+ true,
2411
+ true,
2412
+ true,
2413
+ false,
2414
+ false,
2415
+ true,
2416
+ true,
2417
+ false,
2418
+ true,
2419
+ true,
2420
+ true,
2421
+ true,
2422
+ true,
2423
+ true,
2424
+ true,
2425
+ false,
2426
+ true,
2427
+ true
2428
+ ],
2429
+ "model.layers.5.self_attn.k_proj.lora_E": [
2430
+ true,
2431
+ false,
2432
+ true,
2433
+ false,
2434
+ false,
2435
+ false,
2436
+ false,
2437
+ false,
2438
+ false,
2439
+ false,
2440
+ false,
2441
+ false,
2442
+ true,
2443
+ false,
2444
+ false,
2445
+ false,
2446
+ false,
2447
+ true,
2448
+ false,
2449
+ false,
2450
+ false,
2451
+ false,
2452
+ true,
2453
+ false
2454
+ ],
2455
+ "model.layers.5.self_attn.o_proj.lora_E": [
2456
+ false,
2457
+ false,
2458
+ false,
2459
+ false,
2460
+ true,
2461
+ false,
2462
+ false,
2463
+ true,
2464
+ true,
2465
+ true,
2466
+ false,
2467
+ false,
2468
+ false,
2469
+ false,
2470
+ true,
2471
+ false,
2472
+ false,
2473
+ false,
2474
+ false,
2475
+ true,
2476
+ true,
2477
+ true,
2478
+ false,
2479
+ false
2480
+ ],
2481
+ "model.layers.5.self_attn.q_proj.lora_E": [
2482
+ false,
2483
+ true,
2484
+ false,
2485
+ false,
2486
+ true,
2487
+ true,
2488
+ true,
2489
+ true,
2490
+ false,
2491
+ true,
2492
+ false,
2493
+ false,
2494
+ false,
2495
+ false,
2496
+ true,
2497
+ false,
2498
+ true,
2499
+ false,
2500
+ true,
2501
+ false,
2502
+ false,
2503
+ false,
2504
+ false,
2505
+ false
2506
+ ],
2507
+ "model.layers.5.self_attn.v_proj.lora_E": [
2508
+ false,
2509
+ false,
2510
+ true,
2511
+ true,
2512
+ true,
2513
+ true,
2514
+ true,
2515
+ true,
2516
+ false,
2517
+ false,
2518
+ true,
2519
+ false,
2520
+ true,
2521
+ false,
2522
+ true,
2523
+ true,
2524
+ true,
2525
+ true,
2526
+ false,
2527
+ true,
2528
+ true,
2529
+ false,
2530
+ false,
2531
+ false
2532
+ ],
2533
+ "model.layers.6.self_attn.k_proj.lora_E": [
2534
+ false,
2535
+ true,
2536
+ true,
2537
+ false,
2538
+ false,
2539
+ false,
2540
+ false,
2541
+ true,
2542
+ true,
2543
+ false,
2544
+ true,
2545
+ false,
2546
+ true,
2547
+ false,
2548
+ false,
2549
+ false,
2550
+ true,
2551
+ true,
2552
+ false,
2553
+ false,
2554
+ true,
2555
+ true,
2556
+ false,
2557
+ false
2558
+ ],
2559
+ "model.layers.6.self_attn.o_proj.lora_E": [
2560
+ false,
2561
+ true,
2562
+ false,
2563
+ true,
2564
+ true,
2565
+ true,
2566
+ true,
2567
+ true,
2568
+ true,
2569
+ true,
2570
+ true,
2571
+ true,
2572
+ true,
2573
+ true,
2574
+ true,
2575
+ false,
2576
+ true,
2577
+ false,
2578
+ false,
2579
+ true,
2580
+ true,
2581
+ true,
2582
+ true,
2583
+ true
2584
+ ],
2585
+ "model.layers.6.self_attn.q_proj.lora_E": [
2586
+ true,
2587
+ true,
2588
+ false,
2589
+ true,
2590
+ true,
2591
+ false,
2592
+ true,
2593
+ false,
2594
+ true,
2595
+ true,
2596
+ false,
2597
+ true,
2598
+ true,
2599
+ false,
2600
+ true,
2601
+ false,
2602
+ true,
2603
+ true,
2604
+ false,
2605
+ false,
2606
+ true,
2607
+ true,
2608
+ false,
2609
+ false
2610
+ ],
2611
+ "model.layers.6.self_attn.v_proj.lora_E": [
2612
+ false,
2613
+ true,
2614
+ true,
2615
+ false,
2616
+ true,
2617
+ false,
2618
+ false,
2619
+ true,
2620
+ false,
2621
+ false,
2622
+ true,
2623
+ true,
2624
+ true,
2625
+ true,
2626
+ true,
2627
+ true,
2628
+ true,
2629
+ true,
2630
+ true,
2631
+ true,
2632
+ false,
2633
+ true,
2634
+ true,
2635
+ true
2636
+ ],
2637
+ "model.layers.7.self_attn.k_proj.lora_E": [
2638
+ false,
2639
+ true,
2640
+ false,
2641
+ false,
2642
+ false,
2643
+ false,
2644
+ true,
2645
+ false,
2646
+ false,
2647
+ false,
2648
+ false,
2649
+ true,
2650
+ false,
2651
+ false,
2652
+ false,
2653
+ false,
2654
+ false,
2655
+ false,
2656
+ false,
2657
+ false,
2658
+ false,
2659
+ false,
2660
+ true,
2661
+ false
2662
+ ],
2663
+ "model.layers.7.self_attn.o_proj.lora_E": [
2664
+ true,
2665
+ true,
2666
+ true,
2667
+ true,
2668
+ false,
2669
+ false,
2670
+ true,
2671
+ true,
2672
+ true,
2673
+ true,
2674
+ false,
2675
+ false,
2676
+ false,
2677
+ true,
2678
+ true,
2679
+ true,
2680
+ true,
2681
+ true,
2682
+ true,
2683
+ false,
2684
+ true,
2685
+ true,
2686
+ false,
2687
+ true
2688
+ ],
2689
+ "model.layers.7.self_attn.q_proj.lora_E": [
2690
+ false,
2691
+ true,
2692
+ true,
2693
+ true,
2694
+ true,
2695
+ true,
2696
+ false,
2697
+ false,
2698
+ true,
2699
+ true,
2700
+ false,
2701
+ false,
2702
+ true,
2703
+ false,
2704
+ true,
2705
+ false,
2706
+ true,
2707
+ true,
2708
+ true,
2709
+ false,
2710
+ true,
2711
+ true,
2712
+ true,
2713
+ true
2714
+ ],
2715
+ "model.layers.7.self_attn.v_proj.lora_E": [
2716
+ true,
2717
+ true,
2718
+ true,
2719
+ true,
2720
+ true,
2721
+ true,
2722
+ false,
2723
+ false,
2724
+ false,
2725
+ true,
2726
+ true,
2727
+ true,
2728
+ false,
2729
+ true,
2730
+ true,
2731
+ true,
2732
+ true,
2733
+ false,
2734
+ true,
2735
+ true,
2736
+ true,
2737
+ true,
2738
+ true,
2739
+ false
2740
+ ],
2741
+ "model.layers.8.self_attn.k_proj.lora_E": [
2742
+ true,
2743
+ true,
2744
+ true,
2745
+ false,
2746
+ true,
2747
+ true,
2748
+ true,
2749
+ true,
2750
+ true,
2751
+ true,
2752
+ false,
2753
+ true,
2754
+ false,
2755
+ false,
2756
+ false,
2757
+ true,
2758
+ false,
2759
+ true,
2760
+ false,
2761
+ true,
2762
+ true,
2763
+ true,
2764
+ false,
2765
+ true
2766
+ ],
2767
+ "model.layers.8.self_attn.o_proj.lora_E": [
2768
+ false,
2769
+ true,
2770
+ true,
2771
+ true,
2772
+ true,
2773
+ false,
2774
+ true,
2775
+ false,
2776
+ true,
2777
+ true,
2778
+ true,
2779
+ true,
2780
+ true,
2781
+ true,
2782
+ true,
2783
+ true,
2784
+ true,
2785
+ true,
2786
+ true,
2787
+ false,
2788
+ false,
2789
+ true,
2790
+ true,
2791
+ true
2792
+ ],
2793
+ "model.layers.8.self_attn.q_proj.lora_E": [
2794
+ true,
2795
+ true,
2796
+ true,
2797
+ false,
2798
+ true,
2799
+ true,
2800
+ true,
2801
+ false,
2802
+ true,
2803
+ false,
2804
+ false,
2805
+ true,
2806
+ true,
2807
+ true,
2808
+ true,
2809
+ true,
2810
+ true,
2811
+ true,
2812
+ true,
2813
+ true,
2814
+ true,
2815
+ false,
2816
+ true,
2817
+ true
2818
+ ],
2819
+ "model.layers.8.self_attn.v_proj.lora_E": [
2820
+ true,
2821
+ false,
2822
+ true,
2823
+ false,
2824
+ true,
2825
+ true,
2826
+ true,
2827
+ true,
2828
+ true,
2829
+ true,
2830
+ true,
2831
+ true,
2832
+ true,
2833
+ true,
2834
+ true,
2835
+ true,
2836
+ true,
2837
+ false,
2838
+ true,
2839
+ true,
2840
+ true,
2841
+ true,
2842
+ true,
2843
+ true
2844
+ ],
2845
+ "model.layers.9.self_attn.k_proj.lora_E": [
2846
+ false,
2847
+ false,
2848
+ true,
2849
+ true,
2850
+ true,
2851
+ false,
2852
+ false,
2853
+ false,
2854
+ true,
2855
+ false,
2856
+ false,
2857
+ false,
2858
+ false,
2859
+ false,
2860
+ false,
2861
+ false,
2862
+ true,
2863
+ false,
2864
+ true,
2865
+ true,
2866
+ true,
2867
+ false,
2868
+ false,
2869
+ false
2870
+ ],
2871
+ "model.layers.9.self_attn.o_proj.lora_E": [
2872
+ true,
2873
+ true,
2874
+ false,
2875
+ true,
2876
+ true,
2877
+ false,
2878
+ true,
2879
+ false,
2880
+ true,
2881
+ true,
2882
+ true,
2883
+ true,
2884
+ true,
2885
+ true,
2886
+ false,
2887
+ false,
2888
+ true,
2889
+ true,
2890
+ true,
2891
+ true,
2892
+ true,
2893
+ true,
2894
+ true,
2895
+ false
2896
+ ],
2897
+ "model.layers.9.self_attn.q_proj.lora_E": [
2898
+ false,
2899
+ false,
2900
+ true,
2901
+ true,
2902
+ true,
2903
+ true,
2904
+ true,
2905
+ true,
2906
+ false,
2907
+ true,
2908
+ false,
2909
+ false,
2910
+ false,
2911
+ true,
2912
+ false,
2913
+ true,
2914
+ true,
2915
+ true,
2916
+ true,
2917
+ true,
2918
+ true,
2919
+ true,
2920
+ true,
2921
+ true
2922
+ ],
2923
+ "model.layers.9.self_attn.v_proj.lora_E": [
2924
+ true,
2925
+ true,
2926
+ true,
2927
+ true,
2928
+ false,
2929
+ true,
2930
+ false,
2931
+ true,
2932
+ false,
2933
+ true,
2934
+ true,
2935
+ false,
2936
+ false,
2937
+ true,
2938
+ false,
2939
+ true,
2940
+ true,
2941
+ true,
2942
+ true,
2943
+ true,
2944
+ true,
2945
+ true,
2946
+ true,
2947
+ true
2948
+ ]
2949
+ },
2950
+ "revision": null,
2951
+ "target_modules": [
2952
+ "q_proj",
2953
+ "k_proj",
2954
+ "o_proj",
2955
+ "v_proj"
2956
+ ],
2957
+ "target_parameters": null,
2958
+ "target_r": 8,
2959
+ "task_type": "CAUSAL_LM",
2960
+ "tfinal": 50,
2961
+ "tinit": 50,
2962
+ "total_step": 500,
2963
+ "trainable_token_indices": null,
2964
+ "use_bdlora": null,
2965
+ "use_dora": false,
2966
+ "use_qalora": false,
2967
+ "use_rslora": false,
2968
+ "velora_config": null
2969
+ }
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:910d730ef98d7191f366eb173530429dad9e185c6fa0b14db8048216543d54c7
3
+ size 9441464
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/chat_template.jinja ADDED
@@ -0,0 +1,89 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {%- if tools %}
2
+ {{- '<|im_start|>system\n' }}
3
+ {%- if messages[0].role == 'system' %}
4
+ {{- messages[0].content + '\n\n' }}
5
+ {%- endif %}
6
+ {{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
7
+ {%- for tool in tools %}
8
+ {{- "\n" }}
9
+ {{- tool | tojson }}
10
+ {%- endfor %}
11
+ {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
12
+ {%- else %}
13
+ {%- if messages[0].role == 'system' %}
14
+ {{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
15
+ {%- endif %}
16
+ {%- endif %}
17
+ {%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
18
+ {%- for message in messages[::-1] %}
19
+ {%- set index = (messages|length - 1) - loop.index0 %}
20
+ {%- if ns.multi_step_tool and message.role == "user" and message.content is string and not(message.content.startswith('<tool_response>') and message.content.endswith('</tool_response>')) %}
21
+ {%- set ns.multi_step_tool = false %}
22
+ {%- set ns.last_query_index = index %}
23
+ {%- endif %}
24
+ {%- endfor %}
25
+ {%- for message in messages %}
26
+ {%- if message.content is string %}
27
+ {%- set content = message.content %}
28
+ {%- else %}
29
+ {%- set content = '' %}
30
+ {%- endif %}
31
+ {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
32
+ {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
33
+ {%- elif message.role == "assistant" %}
34
+ {%- set reasoning_content = '' %}
35
+ {%- if message.reasoning_content is string %}
36
+ {%- set reasoning_content = message.reasoning_content %}
37
+ {%- else %}
38
+ {%- if '</think>' in content %}
39
+ {%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
40
+ {%- set content = content.split('</think>')[-1].lstrip('\n') %}
41
+ {%- endif %}
42
+ {%- endif %}
43
+ {%- if loop.index0 > ns.last_query_index %}
44
+ {%- if loop.last or (not loop.last and reasoning_content) %}
45
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
46
+ {%- else %}
47
+ {{- '<|im_start|>' + message.role + '\n' + content }}
48
+ {%- endif %}
49
+ {%- else %}
50
+ {{- '<|im_start|>' + message.role + '\n' + content }}
51
+ {%- endif %}
52
+ {%- if message.tool_calls %}
53
+ {%- for tool_call in message.tool_calls %}
54
+ {%- if (loop.first and content) or (not loop.first) %}
55
+ {{- '\n' }}
56
+ {%- endif %}
57
+ {%- if tool_call.function %}
58
+ {%- set tool_call = tool_call.function %}
59
+ {%- endif %}
60
+ {{- '<tool_call>\n{"name": "' }}
61
+ {{- tool_call.name }}
62
+ {{- '", "arguments": ' }}
63
+ {%- if tool_call.arguments is string %}
64
+ {{- tool_call.arguments }}
65
+ {%- else %}
66
+ {{- tool_call.arguments | tojson }}
67
+ {%- endif %}
68
+ {{- '}\n</tool_call>' }}
69
+ {%- endfor %}
70
+ {%- endif %}
71
+ {{- '<|im_end|>\n' }}
72
+ {%- elif message.role == "tool" %}
73
+ {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
74
+ {{- '<|im_start|>user' }}
75
+ {%- endif %}
76
+ {{- '\n<tool_response>\n' }}
77
+ {{- content }}
78
+ {{- '\n</tool_response>' }}
79
+ {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
80
+ {{- '<|im_end|>\n' }}
81
+ {%- endif %}
82
+ {%- endif %}
83
+ {%- endfor %}
84
+ {%- if add_generation_prompt %}
85
+ {{- '<|im_start|>assistant\n' }}
86
+ {%- if enable_thinking is defined and enable_thinking is false %}
87
+ {{- '<think>\n\n</think>\n\n' }}
88
+ {%- endif %}
89
+ {%- endif %}
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:be75606093db2094d7cd20f3c2f385c212750648bd6ea4fb2bf507a6a4c55506
3
+ size 11422650
v2.0/qwen3-0.6b_AdaLoRA_B_1k_20260827-013947/tokenizer_config.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "backend": "tokenizers",
4
+ "bos_token": null,
5
+ "clean_up_tokenization_spaces": false,
6
+ "eos_token": "<|im_end|>",
7
+ "errors": "replace",
8
+ "extra_special_tokens": [
9
+ "<|im_start|>",
10
+ "<|im_end|>",
11
+ "<|object_ref_start|>",
12
+ "<|object_ref_end|>",
13
+ "<|box_start|>",
14
+ "<|box_end|>",
15
+ "<|quad_start|>",
16
+ "<|quad_end|>",
17
+ "<|vision_start|>",
18
+ "<|vision_end|>",
19
+ "<|vision_pad|>",
20
+ "<|image_pad|>",
21
+ "<|video_pad|>"
22
+ ],
23
+ "is_local": false,
24
+ "local_files_only": false,
25
+ "model_max_length": 131072,
26
+ "pad_token": "<|endoftext|>",
27
+ "split_special_tokens": false,
28
+ "tokenizer_class": "Qwen2Tokenizer",
29
+ "unk_token": null
30
+ }