Hugging Face's logo

kon171verma
/
intent-classifier

Text Classification
Transformers
ONNX
Safetensors
GGUF
intent-classification
tool-routing
llama.cpp
onnxruntime
conversational
Model card Files
xet
 Community
Konark Verma commited on
Commit
94c9fec
·
verified ·
1 Parent(s): 72cb223

Add AdaLoRA adapter: qwen3-0.6b_B_1k

Browse files
Files changed (7) hide show
  1. .gitattributes +1 -0
  2. AdaLoRA/qwen3-0.6b_B_1k/README.md +208 -0
  3. AdaLoRA/qwen3-0.6b_B_1k/adapter_config.json +2967 -0
  4. AdaLoRA/qwen3-0.6b_B_1k/adapter_model.safetensors +3 -0
  5. AdaLoRA/qwen3-0.6b_B_1k/chat_template.jinja +89 -0
  6. AdaLoRA/qwen3-0.6b_B_1k/tokenizer.json +3 -0
  7. AdaLoRA/qwen3-0.6b_B_1k/tokenizer_config.json +30 -0
.gitattributes CHANGED
@@ -50,3 +50,4 @@ AdaLoRA/qwen2.5-0.5b_B_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
50
  AdaLoRA/qwen2.5-0.5b_C_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
51
  AdaLoRA/qwen2.5-0.5b_D_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
52
  AdaLoRA/qwen3-0.6b_A_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
50
  AdaLoRA/qwen2.5-0.5b_C_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
51
  AdaLoRA/qwen2.5-0.5b_D_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
52
  AdaLoRA/qwen3-0.6b_A_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
53
+ AdaLoRA/qwen3-0.6b_B_1k/tokenizer.json filter=lfs diff=lfs merge=lfs -text
AdaLoRA/qwen3-0.6b_B_1k/README.md ADDED
@@ -0,0 +1,208 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: Qwen/Qwen3-0.6B
3
+ library_name: peft
4
+ pipeline_tag: text-generation
5
+ tags:
6
+ - base_model:adapter:Qwen/Qwen3-0.6B
7
+ - sft
8
+ - transformers
9
+ - trl
10
+ ---
11
+
12
+ # Model Card for Model ID
13
+
14
+ <!-- Provide a quick summary of what the model is/does. -->
15
+
16
+
17
+
18
+ ## Model Details
19
+
20
+ ### Model Description
21
+
22
+ <!-- Provide a longer summary of what this model is. -->
23
+
24
+
25
+
26
+ - **Developed by:** [More Information Needed]
27
+ - **Funded by [optional]:** [More Information Needed]
28
+ - **Shared by [optional]:** [More Information Needed]
29
+ - **Model type:** [More Information Needed]
30
+ - **Language(s) (NLP):** [More Information Needed]
31
+ - **License:** [More Information Needed]
32
+ - **Finetuned from model [optional]:** [More Information Needed]
33
+
34
+ ### Model Sources [optional]
35
+
36
+ <!-- Provide the basic links for the model. -->
37
+
38
+ - **Repository:** [More Information Needed]
39
+ - **Paper [optional]:** [More Information Needed]
40
+ - **Demo [optional]:** [More Information Needed]
41
+
42
+ ## Uses
43
+
44
+ <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
45
+
46
+ ### Direct Use
47
+
48
+ <!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
49
+
50
+ [More Information Needed]
51
+
52
+ ### Downstream Use [optional]
53
+
54
+ <!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
55
+
56
+ [More Information Needed]
57
+
58
+ ### Out-of-Scope Use
59
+
60
+ <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
61
+
62
+ [More Information Needed]
63
+
64
+ ## Bias, Risks, and Limitations
65
+
66
+ <!-- This section is meant to convey both technical and sociotechnical limitations. -->
67
+
68
+ [More Information Needed]
69
+
70
+ ### Recommendations
71
+
72
+ <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
73
+
74
+ Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
75
+
76
+ ## How to Get Started with the Model
77
+
78
+ Use the code below to get started with the model.
79
+
80
+ [More Information Needed]
81
+
82
+ ## Training Details
83
+
84
+ ### Training Data
85
+
86
+ <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
87
+
88
+ [More Information Needed]
89
+
90
+ ### Training Procedure
91
+
92
+ <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
93
+
94
+ #### Preprocessing [optional]
95
+
96
+ [More Information Needed]
97
+
98
+
99
+ #### Training Hyperparameters
100
+
101
+ - **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
102
+
103
+ #### Speeds, Sizes, Times [optional]
104
+
105
+ <!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
106
+
107
+ [More Information Needed]
108
+
109
+ ## Evaluation
110
+
111
+ <!-- This section describes the evaluation protocols and provides the results. -->
112
+
113
+ ### Testing Data, Factors & Metrics
114
+
115
+ #### Testing Data
116
+
117
+ <!-- This should link to a Dataset Card if possible. -->
118
+
119
+ [More Information Needed]
120
+
121
+ #### Factors
122
+
123
+ <!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
124
+
125
+ [More Information Needed]
126
+
127
+ #### Metrics
128
+
129
+ <!-- These are the evaluation metrics being used, ideally with a description of why. -->
130
+
131
+ [More Information Needed]
132
+
133
+ ### Results
134
+
135
+ [More Information Needed]
136
+
137
+ #### Summary
138
+
139
+
140
+
141
+ ## Model Examination [optional]
142
+
143
+ <!-- Relevant interpretability work for the model goes here -->
144
+
145
+ [More Information Needed]
146
+
147
+ ## Environmental Impact
148
+
149
+ <!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
150
+
151
+ Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
152
+
153
+ - **Hardware Type:** [More Information Needed]
154
+ - **Hours used:** [More Information Needed]
155
+ - **Cloud Provider:** [More Information Needed]
156
+ - **Compute Region:** [More Information Needed]
157
+ - **Carbon Emitted:** [More Information Needed]
158
+
159
+ ## Technical Specifications [optional]
160
+
161
+ ### Model Architecture and Objective
162
+
163
+ [More Information Needed]
164
+
165
+ ### Compute Infrastructure
166
+
167
+ [More Information Needed]
168
+
169
+ #### Hardware
170
+
171
+ [More Information Needed]
172
+
173
+ #### Software
174
+
175
+ [More Information Needed]
176
+
177
+ ## Citation [optional]
178
+
179
+ <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
180
+
181
+ **BibTeX:**
182
+
183
+ [More Information Needed]
184
+
185
+ **APA:**
186
+
187
+ [More Information Needed]
188
+
189
+ ## Glossary [optional]
190
+
191
+ <!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
192
+
193
+ [More Information Needed]
194
+
195
+ ## More Information [optional]
196
+
197
+ [More Information Needed]
198
+
199
+ ## Model Card Authors [optional]
200
+
201
+ [More Information Needed]
202
+
203
+ ## Model Card Contact
204
+
205
+ [More Information Needed]
206
+ ### Framework versions
207
+
208
+ - PEFT 0.19.1
AdaLoRA/qwen3-0.6b_B_1k/adapter_config.json ADDED
@@ -0,0 +1,2967 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": null,
6
+ "base_model_name_or_path": "Qwen/Qwen3-0.6B",
7
+ "beta1": 0.85,
8
+ "beta2": 0.85,
9
+ "bias": "none",
10
+ "corda_config": null,
11
+ "deltaT": 1,
12
+ "ensure_weight_tying": false,
13
+ "eva_config": null,
14
+ "exclude_modules": null,
15
+ "fan_in_fan_out": false,
16
+ "inference_mode": true,
17
+ "init_lora_weights": true,
18
+ "init_r": 24,
19
+ "layer_replication": null,
20
+ "layers_pattern": null,
21
+ "layers_to_transform": null,
22
+ "loftq_config": {},
23
+ "lora_alpha": 48,
24
+ "lora_bias": false,
25
+ "lora_dropout": 0.0,
26
+ "lora_ga_config": null,
27
+ "megatron_config": null,
28
+ "megatron_core": "megatron.core",
29
+ "modules_to_save": null,
30
+ "orth_reg_weight": 0.1,
31
+ "peft_type": "ADALORA",
32
+ "peft_version": "0.19.1",
33
+ "qalora_group_size": 16,
34
+ "r": 8,
35
+ "rank_pattern": {
36
+ "model.layers.0.self_attn.k_proj.lora_E": [
37
+ false,
38
+ false,
39
+ false,
40
+ false,
41
+ false,
42
+ false,
43
+ false,
44
+ false,
45
+ false,
46
+ false,
47
+ false,
48
+ false,
49
+ false,
50
+ false,
51
+ false,
52
+ false,
53
+ false,
54
+ false,
55
+ false,
56
+ false,
57
+ false,
58
+ false,
59
+ false,
60
+ false
61
+ ],
62
+ "model.layers.0.self_attn.o_proj.lora_E": [
63
+ true,
64
+ true,
65
+ true,
66
+ true,
67
+ true,
68
+ true,
69
+ true,
70
+ true,
71
+ true,
72
+ true,
73
+ false,
74
+ true,
75
+ true,
76
+ true,
77
+ true,
78
+ true,
79
+ true,
80
+ true,
81
+ true,
82
+ true,
83
+ true,
84
+ true,
85
+ true,
86
+ true
87
+ ],
88
+ "model.layers.0.self_attn.q_proj.lora_E": [
89
+ false,
90
+ false,
91
+ false,
92
+ false,
93
+ false,
94
+ false,
95
+ false,
96
+ false,
97
+ false,
98
+ false,
99
+ false,
100
+ false,
101
+ false,
102
+ false,
103
+ false,
104
+ false,
105
+ false,
106
+ false,
107
+ false,
108
+ false,
109
+ false,
110
+ false,
111
+ false,
112
+ false
113
+ ],
114
+ "model.layers.0.self_attn.v_proj.lora_E": [
115
+ true,
116
+ true,
117
+ true,
118
+ true,
119
+ true,
120
+ true,
121
+ true,
122
+ true,
123
+ true,
124
+ true,
125
+ true,
126
+ true,
127
+ true,
128
+ true,
129
+ true,
130
+ true,
131
+ true,
132
+ true,
133
+ true,
134
+ true,
135
+ true,
136
+ true,
137
+ true,
138
+ true
139
+ ],
140
+ "model.layers.1.self_attn.k_proj.lora_E": [
141
+ false,
142
+ false,
143
+ false,
144
+ false,
145
+ false,
146
+ false,
147
+ false,
148
+ false,
149
+ false,
150
+ false,
151
+ false,
152
+ false,
153
+ false,
154
+ false,
155
+ false,
156
+ false,
157
+ false,
158
+ false,
159
+ false,
160
+ false,
161
+ false,
162
+ false,
163
+ false,
164
+ false
165
+ ],
166
+ "model.layers.1.self_attn.o_proj.lora_E": [
167
+ false,
168
+ false,
169
+ false,
170
+ false,
171
+ false,
172
+ true,
173
+ false,
174
+ false,
175
+ true,
176
+ true,
177
+ false,
178
+ true,
179
+ false,
180
+ false,
181
+ false,
182
+ false,
183
+ false,
184
+ false,
185
+ false,
186
+ false,
187
+ true,
188
+ false,
189
+ false,
190
+ false
191
+ ],
192
+ "model.layers.1.self_attn.q_proj.lora_E": [
193
+ false,
194
+ false,
195
+ false,
196
+ false,
197
+ false,
198
+ false,
199
+ false,
200
+ false,
201
+ false,
202
+ false,
203
+ false,
204
+ false,
205
+ false,
206
+ false,
207
+ false,
208
+ false,
209
+ false,
210
+ false,
211
+ false,
212
+ false,
213
+ false,
214
+ false,
215
+ false,
216
+ false
217
+ ],
218
+ "model.layers.1.self_attn.v_proj.lora_E": [
219
+ false,
220
+ false,
221
+ false,
222
+ true,
223
+ true,
224
+ false,
225
+ false,
226
+ false,
227
+ false,
228
+ false,
229
+ false,
230
+ false,
231
+ true,
232
+ false,
233
+ false,
234
+ false,
235
+ false,
236
+ false,
237
+ false,
238
+ false,
239
+ false,
240
+ false,
241
+ false,
242
+ false
243
+ ],
244
+ "model.layers.10.self_attn.k_proj.lora_E": [
245
+ false,
246
+ false,
247
+ false,
248
+ false,
249
+ false,
250
+ false,
251
+ false,
252
+ true,
253
+ false,
254
+ false,
255
+ false,
256
+ false,
257
+ false,
258
+ false,
259
+ false,
260
+ false,
261
+ false,
262
+ false,
263
+ false,
264
+ false,
265
+ false,
266
+ false,
267
+ false,
268
+ false
269
+ ],
270
+ "model.layers.10.self_attn.o_proj.lora_E": [
271
+ true,
272
+ true,
273
+ true,
274
+ true,
275
+ true,
276
+ true,
277
+ true,
278
+ true,
279
+ false,
280
+ true,
281
+ true,
282
+ true,
283
+ true,
284
+ true,
285
+ true,
286
+ true,
287
+ true,
288
+ true,
289
+ true,
290
+ true,
291
+ true,
292
+ true,
293
+ true,
294
+ true
295
+ ],
296
+ "model.layers.10.self_attn.q_proj.lora_E": [
297
+ true,
298
+ false,
299
+ true,
300
+ true,
301
+ true,
302
+ true,
303
+ true,
304
+ false,
305
+ true,
306
+ true,
307
+ false,
308
+ true,
309
+ false,
310
+ true,
311
+ true,
312
+ true,
313
+ true,
314
+ false,
315
+ false,
316
+ false,
317
+ true,
318
+ false,
319
+ false,
320
+ true
321
+ ],
322
+ "model.layers.10.self_attn.v_proj.lora_E": [
323
+ true,
324
+ true,
325
+ true,
326
+ true,
327
+ true,
328
+ true,
329
+ false,
330
+ true,
331
+ true,
332
+ true,
333
+ true,
334
+ true,
335
+ true,
336
+ true,
337
+ true,
338
+ true,
339
+ true,
340
+ false,
341
+ true,
342
+ true,
343
+ true,
344
+ true,
345
+ true,
346
+ true
347
+ ],
348
+ "model.layers.11.self_attn.k_proj.lora_E": [
349
+ false,
350
+ true,
351
+ false,
352
+ false,
353
+ false,
354
+ false,
355
+ false,
356
+ false,
357
+ false,
358
+ false,
359
+ true,
360
+ true,
361
+ false,
362
+ false,
363
+ false,
364
+ false,
365
+ false,
366
+ false,
367
+ false,
368
+ false,
369
+ false,
370
+ true,
371
+ false,
372
+ false
373
+ ],
374
+ "model.layers.11.self_attn.o_proj.lora_E": [
375
+ true,
376
+ true,
377
+ true,
378
+ true,
379
+ true,
380
+ true,
381
+ true,
382
+ true,
383
+ true,
384
+ true,
385
+ true,
386
+ true,
387
+ true,
388
+ true,
389
+ true,
390
+ true,
391
+ true,
392
+ true,
393
+ true,
394
+ true,
395
+ true,
396
+ false,
397
+ true,
398
+ true
399
+ ],
400
+ "model.layers.11.self_attn.q_proj.lora_E": [
401
+ false,
402
+ true,
403
+ true,
404
+ false,
405
+ true,
406
+ true,
407
+ false,
408
+ true,
409
+ false,
410
+ true,
411
+ true,
412
+ true,
413
+ true,
414
+ false,
415
+ false,
416
+ true,
417
+ true,
418
+ true,
419
+ false,
420
+ false,
421
+ true,
422
+ true,
423
+ false,
424
+ true
425
+ ],
426
+ "model.layers.11.self_attn.v_proj.lora_E": [
427
+ false,
428
+ true,
429
+ true,
430
+ true,
431
+ true,
432
+ true,
433
+ true,
434
+ true,
435
+ true,
436
+ true,
437
+ true,
438
+ true,
439
+ true,
440
+ true,
441
+ true,
442
+ true,
443
+ true,
444
+ false,
445
+ true,
446
+ true,
447
+ false,
448
+ true,
449
+ true,
450
+ true
451
+ ],
452
+ "model.layers.12.self_attn.k_proj.lora_E": [
453
+ false,
454
+ false,
455
+ false,
456
+ true,
457
+ true,
458
+ false,
459
+ false,
460
+ false,
461
+ false,
462
+ false,
463
+ false,
464
+ true,
465
+ true,
466
+ false,
467
+ false,
468
+ false,
469
+ true,
470
+ false,
471
+ false,
472
+ true,
473
+ false,
474
+ false,
475
+ false,
476
+ false
477
+ ],
478
+ "model.layers.12.self_attn.o_proj.lora_E": [
479
+ true,
480
+ true,
481
+ true,
482
+ true,
483
+ true,
484
+ true,
485
+ true,
486
+ true,
487
+ true,
488
+ true,
489
+ true,
490
+ true,
491
+ true,
492
+ true,
493
+ true,
494
+ true,
495
+ true,
496
+ false,
497
+ true,
498
+ true,
499
+ true,
500
+ true,
501
+ true,
502
+ true
503
+ ],
504
+ "model.layers.12.self_attn.q_proj.lora_E": [
505
+ true,
506
+ true,
507
+ false,
508
+ true,
509
+ false,
510
+ true,
511
+ false,
512
+ true,
513
+ false,
514
+ false,
515
+ false,
516
+ false,
517
+ true,
518
+ false,
519
+ true,
520
+ true,
521
+ true,
522
+ true,
523
+ true,
524
+ false,
525
+ true,
526
+ false,
527
+ false,
528
+ true
529
+ ],
530
+ "model.layers.12.self_attn.v_proj.lora_E": [
531
+ true,
532
+ true,
533
+ true,
534
+ true,
535
+ true,
536
+ true,
537
+ true,
538
+ true,
539
+ true,
540
+ true,
541
+ true,
542
+ true,
543
+ true,
544
+ true,
545
+ true,
546
+ true,
547
+ true,
548
+ true,
549
+ true,
550
+ true,
551
+ true,
552
+ true,
553
+ true,
554
+ true
555
+ ],
556
+ "model.layers.13.self_attn.k_proj.lora_E": [
557
+ false,
558
+ false,
559
+ false,
560
+ false,
561
+ false,
562
+ false,
563
+ false,
564
+ false,
565
+ false,
566
+ false,
567
+ false,
568
+ false,
569
+ false,
570
+ true,
571
+ false,
572
+ false,
573
+ false,
574
+ false,
575
+ false,
576
+ false,
577
+ false,
578
+ false,
579
+ false,
580
+ false
581
+ ],
582
+ "model.layers.13.self_attn.o_proj.lora_E": [
583
+ true,
584
+ true,
585
+ true,
586
+ false,
587
+ true,
588
+ true,
589
+ true,
590
+ true,
591
+ true,
592
+ false,
593
+ true,
594
+ true,
595
+ true,
596
+ true,
597
+ false,
598
+ true,
599
+ true,
600
+ true,
601
+ true,
602
+ true,
603
+ true,
604
+ true,
605
+ true,
606
+ true
607
+ ],
608
+ "model.layers.13.self_attn.q_proj.lora_E": [
609
+ false,
610
+ true,
611
+ true,
612
+ true,
613
+ true,
614
+ true,
615
+ false,
616
+ true,
617
+ true,
618
+ true,
619
+ true,
620
+ true,
621
+ true,
622
+ true,
623
+ false,
624
+ true,
625
+ false,
626
+ true,
627
+ true,
628
+ true,
629
+ true,
630
+ true,
631
+ false,
632
+ true
633
+ ],
634
+ "model.layers.13.self_attn.v_proj.lora_E": [
635
+ true,
636
+ true,
637
+ true,
638
+ true,
639
+ true,
640
+ true,
641
+ false,
642
+ true,
643
+ true,
644
+ false,
645
+ true,
646
+ true,
647
+ false,
648
+ true,
649
+ true,
650
+ true,
651
+ true,
652
+ true,
653
+ true,
654
+ true,
655
+ true,
656
+ true,
657
+ true,
658
+ true
659
+ ],
660
+ "model.layers.14.self_attn.k_proj.lora_E": [
661
+ true,
662
+ false,
663
+ false,
664
+ true,
665
+ false,
666
+ true,
667
+ true,
668
+ false,
669
+ false,
670
+ true,
671
+ true,
672
+ false,
673
+ false,
674
+ false,
675
+ true,
676
+ false,
677
+ false,
678
+ true,
679
+ true,
680
+ false,
681
+ false,
682
+ false,
683
+ true,
684
+ false
685
+ ],
686
+ "model.layers.14.self_attn.o_proj.lora_E": [
687
+ true,
688
+ true,
689
+ true,
690
+ true,
691
+ true,
692
+ true,
693
+ true,
694
+ true,
695
+ true,
696
+ true,
697
+ true,
698
+ true,
699
+ true,
700
+ true,
701
+ true,
702
+ true,
703
+ true,
704
+ true,
705
+ false,
706
+ true,
707
+ true,
708
+ true,
709
+ true,
710
+ true
711
+ ],
712
+ "model.layers.14.self_attn.q_proj.lora_E": [
713
+ true,
714
+ true,
715
+ true,
716
+ true,
717
+ true,
718
+ true,
719
+ true,
720
+ false,
721
+ true,
722
+ true,
723
+ true,
724
+ true,
725
+ true,
726
+ true,
727
+ true,
728
+ true,
729
+ true,
730
+ true,
731
+ true,
732
+ true,
733
+ true,
734
+ true,
735
+ true,
736
+ true
737
+ ],
738
+ "model.layers.14.self_attn.v_proj.lora_E": [
739
+ true,
740
+ true,
741
+ true,
742
+ true,
743
+ true,
744
+ true,
745
+ true,
746
+ true,
747
+ true,
748
+ false,
749
+ true,
750
+ true,
751
+ true,
752
+ true,
753
+ true,
754
+ true,
755
+ true,
756
+ true,
757
+ true,
758
+ true,
759
+ true,
760
+ true,
761
+ false,
762
+ true
763
+ ],
764
+ "model.layers.15.self_attn.k_proj.lora_E": [
765
+ true,
766
+ false,
767
+ false,
768
+ false,
769
+ true,
770
+ false,
771
+ false,
772
+ false,
773
+ false,
774
+ false,
775
+ false,
776
+ false,
777
+ false,
778
+ false,
779
+ false,
780
+ false,
781
+ false,
782
+ false,
783
+ false,
784
+ true,
785
+ true,
786
+ false,
787
+ false,
788
+ true
789
+ ],
790
+ "model.layers.15.self_attn.o_proj.lora_E": [
791
+ true,
792
+ true,
793
+ false,
794
+ true,
795
+ true,
796
+ true,
797
+ true,
798
+ true,
799
+ true,
800
+ true,
801
+ true,
802
+ true,
803
+ true,
804
+ true,
805
+ true,
806
+ true,
807
+ true,
808
+ true,
809
+ true,
810
+ true,
811
+ true,
812
+ true,
813
+ true,
814
+ true
815
+ ],
816
+ "model.layers.15.self_attn.q_proj.lora_E": [
817
+ true,
818
+ true,
819
+ true,
820
+ false,
821
+ true,
822
+ true,
823
+ false,
824
+ true,
825
+ true,
826
+ false,
827
+ true,
828
+ false,
829
+ true,
830
+ true,
831
+ false,
832
+ true,
833
+ false,
834
+ true,
835
+ true,
836
+ true,
837
+ true,
838
+ true,
839
+ false,
840
+ true
841
+ ],
842
+ "model.layers.15.self_attn.v_proj.lora_E": [
843
+ true,
844
+ true,
845
+ true,
846
+ true,
847
+ false,
848
+ true,
849
+ true,
850
+ false,
851
+ true,
852
+ true,
853
+ true,
854
+ true,
855
+ false,
856
+ true,
857
+ true,
858
+ true,
859
+ true,
860
+ true,
861
+ true,
862
+ true,
863
+ true,
864
+ true,
865
+ true,
866
+ true
867
+ ],
868
+ "model.layers.16.self_attn.k_proj.lora_E": [
869
+ false,
870
+ false,
871
+ false,
872
+ false,
873
+ false,
874
+ false,
875
+ false,
876
+ false,
877
+ false,
878
+ false,
879
+ false,
880
+ false,
881
+ false,
882
+ false,
883
+ false,
884
+ false,
885
+ false,
886
+ false,
887
+ false,
888
+ false,
889
+ false,
890
+ false,
891
+ false,
892
+ false
893
+ ],
894
+ "model.layers.16.self_attn.o_proj.lora_E": [
895
+ true,
896
+ true,
897
+ true,
898
+ true,
899
+ false,
900
+ true,
901
+ true,
902
+ true,
903
+ true,
904
+ true,
905
+ true,
906
+ true,
907
+ true,
908
+ true,
909
+ true,
910
+ true,
911
+ true,
912
+ true,
913
+ true,
914
+ true,
915
+ true,
916
+ true,
917
+ true,
918
+ true
919
+ ],
920
+ "model.layers.16.self_attn.q_proj.lora_E": [
921
+ true,
922
+ false,
923
+ false,
924
+ true,
925
+ true,
926
+ false,
927
+ true,
928
+ true,
929
+ true,
930
+ true,
931
+ false,
932
+ false,
933
+ true,
934
+ true,
935
+ false,
936
+ true,
937
+ false,
938
+ false,
939
+ true,
940
+ true,
941
+ true,
942
+ true,
943
+ false,
944
+ false
945
+ ],
946
+ "model.layers.16.self_attn.v_proj.lora_E": [
947
+ true,
948
+ true,
949
+ true,
950
+ true,
951
+ false,
952
+ true,
953
+ true,
954
+ false,
955
+ true,
956
+ false,
957
+ true,
958
+ true,
959
+ true,
960
+ false,
961
+ true,
962
+ true,
963
+ true,
964
+ true,
965
+ true,
966
+ true,
967
+ false,
968
+ true,
969
+ true,
970
+ true
971
+ ],
972
+ "model.layers.17.self_attn.k_proj.lora_E": [
973
+ false,
974
+ true,
975
+ false,
976
+ true,
977
+ false,
978
+ true,
979
+ false,
980
+ true,
981
+ false,
982
+ true,
983
+ false,
984
+ false,
985
+ true,
986
+ false,
987
+ false,
988
+ false,
989
+ false,
990
+ false,
991
+ false,
992
+ true,
993
+ false,
994
+ false,
995
+ false,
996
+ false
997
+ ],
998
+ "model.layers.17.self_attn.o_proj.lora_E": [
999
+ true,
1000
+ true,
1001
+ true,
1002
+ true,
1003
+ true,
1004
+ true,
1005
+ true,
1006
+ true,
1007
+ true,
1008
+ true,
1009
+ true,
1010
+ true,
1011
+ true,
1012
+ true,
1013
+ true,
1014
+ true,
1015
+ true,
1016
+ true,
1017
+ true,
1018
+ true,
1019
+ true,
1020
+ true,
1021
+ true,
1022
+ true
1023
+ ],
1024
+ "model.layers.17.self_attn.q_proj.lora_E": [
1025
+ true,
1026
+ true,
1027
+ true,
1028
+ true,
1029
+ true,
1030
+ true,
1031
+ true,
1032
+ true,
1033
+ true,
1034
+ true,
1035
+ true,
1036
+ false,
1037
+ true,
1038
+ true,
1039
+ true,
1040
+ true,
1041
+ true,
1042
+ false,
1043
+ false,
1044
+ false,
1045
+ true,
1046
+ true,
1047
+ true,
1048
+ false
1049
+ ],
1050
+ "model.layers.17.self_attn.v_proj.lora_E": [
1051
+ true,
1052
+ true,
1053
+ false,
1054
+ true,
1055
+ true,
1056
+ true,
1057
+ false,
1058
+ true,
1059
+ true,
1060
+ true,
1061
+ true,
1062
+ true,
1063
+ true,
1064
+ true,
1065
+ true,
1066
+ false,
1067
+ true,
1068
+ false,
1069
+ true,
1070
+ true,
1071
+ true,
1072
+ true,
1073
+ true,
1074
+ true
1075
+ ],
1076
+ "model.layers.18.self_attn.k_proj.lora_E": [
1077
+ false,
1078
+ true,
1079
+ false,
1080
+ false,
1081
+ false,
1082
+ false,
1083
+ false,
1084
+ false,
1085
+ false,
1086
+ false,
1087
+ true,
1088
+ false,
1089
+ false,
1090
+ true,
1091
+ false,
1092
+ false,
1093
+ false,
1094
+ false,
1095
+ false,
1096
+ false,
1097
+ true,
1098
+ true,
1099
+ false,
1100
+ false
1101
+ ],
1102
+ "model.layers.18.self_attn.o_proj.lora_E": [
1103
+ false,
1104
+ true,
1105
+ false,
1106
+ true,
1107
+ false,
1108
+ true,
1109
+ true,
1110
+ true,
1111
+ true,
1112
+ true,
1113
+ true,
1114
+ false,
1115
+ true,
1116
+ true,
1117
+ false,
1118
+ false,
1119
+ false,
1120
+ false,
1121
+ true,
1122
+ true,
1123
+ true,
1124
+ true,
1125
+ true,
1126
+ false
1127
+ ],
1128
+ "model.layers.18.self_attn.q_proj.lora_E": [
1129
+ false,
1130
+ true,
1131
+ true,
1132
+ true,
1133
+ true,
1134
+ true,
1135
+ true,
1136
+ false,
1137
+ true,
1138
+ false,
1139
+ true,
1140
+ true,
1141
+ true,
1142
+ true,
1143
+ true,
1144
+ true,
1145
+ true,
1146
+ true,
1147
+ false,
1148
+ true,
1149
+ true,
1150
+ true,
1151
+ true,
1152
+ true
1153
+ ],
1154
+ "model.layers.18.self_attn.v_proj.lora_E": [
1155
+ true,
1156
+ false,
1157
+ true,
1158
+ true,
1159
+ true,
1160
+ true,
1161
+ true,
1162
+ true,
1163
+ false,
1164
+ true,
1165
+ true,
1166
+ false,
1167
+ false,
1168
+ false,
1169
+ true,
1170
+ true,
1171
+ true,
1172
+ false,
1173
+ true,
1174
+ true,
1175
+ true,
1176
+ true,
1177
+ true,
1178
+ true
1179
+ ],
1180
+ "model.layers.19.self_attn.k_proj.lora_E": [
1181
+ false,
1182
+ false,
1183
+ false,
1184
+ false,
1185
+ false,
1186
+ false,
1187
+ false,
1188
+ false,
1189
+ false,
1190
+ false,
1191
+ false,
1192
+ false,
1193
+ false,
1194
+ false,
1195
+ false,
1196
+ false,
1197
+ false,
1198
+ false,
1199
+ false,
1200
+ false,
1201
+ false,
1202
+ false,
1203
+ false,
1204
+ false
1205
+ ],
1206
+ "model.layers.19.self_attn.o_proj.lora_E": [
1207
+ false,
1208
+ false,
1209
+ true,
1210
+ true,
1211
+ false,
1212
+ true,
1213
+ true,
1214
+ true,
1215
+ false,
1216
+ false,
1217
+ false,
1218
+ false,
1219
+ false,
1220
+ true,
1221
+ false,
1222
+ false,
1223
+ false,
1224
+ false,
1225
+ false,
1226
+ true,
1227
+ true,
1228
+ true,
1229
+ true,
1230
+ false
1231
+ ],
1232
+ "model.layers.19.self_attn.q_proj.lora_E": [
1233
+ false,
1234
+ false,
1235
+ true,
1236
+ true,
1237
+ false,
1238
+ false,
1239
+ false,
1240
+ false,
1241
+ false,
1242
+ false,
1243
+ false,
1244
+ false,
1245
+ false,
1246
+ false,
1247
+ false,
1248
+ true,
1249
+ false,
1250
+ false,
1251
+ false,
1252
+ false,
1253
+ false,
1254
+ true,
1255
+ true,
1256
+ true
1257
+ ],
1258
+ "model.layers.19.self_attn.v_proj.lora_E": [
1259
+ false,
1260
+ false,
1261
+ true,
1262
+ false,
1263
+ false,
1264
+ false,
1265
+ false,
1266
+ false,
1267
+ true,
1268
+ false,
1269
+ false,
1270
+ false,
1271
+ false,
1272
+ false,
1273
+ true,
1274
+ false,
1275
+ false,
1276
+ false,
1277
+ true,
1278
+ true,
1279
+ false,
1280
+ false,
1281
+ true,
1282
+ false
1283
+ ],
1284
+ "model.layers.2.self_attn.k_proj.lora_E": [
1285
+ false,
1286
+ false,
1287
+ false,
1288
+ false,
1289
+ false,
1290
+ false,
1291
+ false,
1292
+ false,
1293
+ false,
1294
+ false,
1295
+ false,
1296
+ false,
1297
+ false,
1298
+ false,
1299
+ false,
1300
+ false,
1301
+ false,
1302
+ false,
1303
+ false,
1304
+ false,
1305
+ false,
1306
+ false,
1307
+ false,
1308
+ false
1309
+ ],
1310
+ "model.layers.2.self_attn.o_proj.lora_E": [
1311
+ false,
1312
+ true,
1313
+ false,
1314
+ false,
1315
+ true,
1316
+ false,
1317
+ true,
1318
+ false,
1319
+ true,
1320
+ true,
1321
+ false,
1322
+ false,
1323
+ true,
1324
+ true,
1325
+ false,
1326
+ false,
1327
+ true,
1328
+ true,
1329
+ false,
1330
+ true,
1331
+ true,
1332
+ true,
1333
+ true,
1334
+ true
1335
+ ],
1336
+ "model.layers.2.self_attn.q_proj.lora_E": [
1337
+ false,
1338
+ false,
1339
+ false,
1340
+ false,
1341
+ false,
1342
+ false,
1343
+ false,
1344
+ false,
1345
+ false,
1346
+ false,
1347
+ false,
1348
+ false,
1349
+ false,
1350
+ false,
1351
+ false,
1352
+ false,
1353
+ false,
1354
+ false,
1355
+ false,
1356
+ false,
1357
+ false,
1358
+ false,
1359
+ false,
1360
+ false
1361
+ ],
1362
+ "model.layers.2.self_attn.v_proj.lora_E": [
1363
+ false,
1364
+ false,
1365
+ false,
1366
+ false,
1367
+ false,
1368
+ false,
1369
+ false,
1370
+ false,
1371
+ false,
1372
+ false,
1373
+ false,
1374
+ true,
1375
+ false,
1376
+ true,
1377
+ false,
1378
+ true,
1379
+ false,
1380
+ false,
1381
+ false,
1382
+ true,
1383
+ true,
1384
+ true,
1385
+ false,
1386
+ false
1387
+ ],
1388
+ "model.layers.20.self_attn.k_proj.lora_E": [
1389
+ false,
1390
+ false,
1391
+ false,
1392
+ false,
1393
+ false,
1394
+ false,
1395
+ false,
1396
+ false,
1397
+ false,
1398
+ false,
1399
+ false,
1400
+ false,
1401
+ false,
1402
+ false,
1403
+ false,
1404
+ false,
1405
+ false,
1406
+ false,
1407
+ false,
1408
+ false,
1409
+ false,
1410
+ false,
1411
+ false,
1412
+ false
1413
+ ],
1414
+ "model.layers.20.self_attn.o_proj.lora_E": [
1415
+ false,
1416
+ false,
1417
+ false,
1418
+ false,
1419
+ false,
1420
+ false,
1421
+ false,
1422
+ false,
1423
+ false,
1424
+ false,
1425
+ false,
1426
+ false,
1427
+ false,
1428
+ false,
1429
+ false,
1430
+ false,
1431
+ false,
1432
+ true,
1433
+ false,
1434
+ false,
1435
+ false,
1436
+ false,
1437
+ false,
1438
+ false
1439
+ ],
1440
+ "model.layers.20.self_attn.q_proj.lora_E": [
1441
+ false,
1442
+ false,
1443
+ false,
1444
+ false,
1445
+ false,
1446
+ false,
1447
+ false,
1448
+ false,
1449
+ false,
1450
+ false,
1451
+ false,
1452
+ false,
1453
+ false,
1454
+ false,
1455
+ false,
1456
+ false,
1457
+ false,
1458
+ false,
1459
+ false,
1460
+ false,
1461
+ false,
1462
+ false,
1463
+ false,
1464
+ false
1465
+ ],
1466
+ "model.layers.20.self_attn.v_proj.lora_E": [
1467
+ false,
1468
+ false,
1469
+ false,
1470
+ false,
1471
+ false,
1472
+ false,
1473
+ false,
1474
+ false,
1475
+ false,
1476
+ false,
1477
+ false,
1478
+ false,
1479
+ false,
1480
+ false,
1481
+ false,
1482
+ false,
1483
+ false,
1484
+ false,
1485
+ false,
1486
+ false,
1487
+ false,
1488
+ false,
1489
+ false,
1490
+ false
1491
+ ],
1492
+ "model.layers.21.self_attn.k_proj.lora_E": [
1493
+ false,
1494
+ false,
1495
+ false,
1496
+ false,
1497
+ false,
1498
+ false,
1499
+ false,
1500
+ false,
1501
+ false,
1502
+ false,
1503
+ false,
1504
+ false,
1505
+ false,
1506
+ false,
1507
+ false,
1508
+ false,
1509
+ false,
1510
+ false,
1511
+ false,
1512
+ false,
1513
+ false,
1514
+ false,
1515
+ false,
1516
+ false
1517
+ ],
1518
+ "model.layers.21.self_attn.o_proj.lora_E": [
1519
+ false,
1520
+ false,
1521
+ false,
1522
+ false,
1523
+ false,
1524
+ false,
1525
+ false,
1526
+ false,
1527
+ false,
1528
+ false,
1529
+ false,
1530
+ false,
1531
+ false,
1532
+ false,
1533
+ false,
1534
+ false,
1535
+ false,
1536
+ false,
1537
+ false,
1538
+ false,
1539
+ false,
1540
+ false,
1541
+ false,
1542
+ false
1543
+ ],
1544
+ "model.layers.21.self_attn.q_proj.lora_E": [
1545
+ false,
1546
+ false,
1547
+ true,
1548
+ false,
1549
+ false,
1550
+ true,
1551
+ true,
1552
+ true,
1553
+ false,
1554
+ false,
1555
+ false,
1556
+ false,
1557
+ true,
1558
+ false,
1559
+ true,
1560
+ false,
1561
+ false,
1562
+ true,
1563
+ true,
1564
+ true,
1565
+ false,
1566
+ false,
1567
+ true,
1568
+ false
1569
+ ],
1570
+ "model.layers.21.self_attn.v_proj.lora_E": [
1571
+ false,
1572
+ false,
1573
+ false,
1574
+ false,
1575
+ false,
1576
+ false,
1577
+ false,
1578
+ false,
1579
+ false,
1580
+ false,
1581
+ false,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
+ false,
1587
+ false,
1588
+ false,
1589
+ false,
1590
+ false,
1591
+ false,
1592
+ false,
1593
+ false,
1594
+ false
1595
+ ],
1596
+ "model.layers.22.self_attn.k_proj.lora_E": [
1597
+ false,
1598
+ false,
1599
+ false,
1600
+ false,
1601
+ false,
1602
+ false,
1603
+ false,
1604
+ false,
1605
+ false,
1606
+ false,
1607
+ false,
1608
+ false,
1609
+ false,
1610
+ false,
1611
+ false,
1612
+ false,
1613
+ false,
1614
+ false,
1615
+ false,
1616
+ false,
1617
+ false,
1618
+ false,
1619
+ false,
1620
+ false
1621
+ ],
1622
+ "model.layers.22.self_attn.o_proj.lora_E": [
1623
+ false,
1624
+ false,
1625
+ false,
1626
+ false,
1627
+ false,
1628
+ false,
1629
+ false,
1630
+ false,
1631
+ false,
1632
+ false,
1633
+ false,
1634
+ false,
1635
+ false,
1636
+ false,
1637
+ false,
1638
+ false,
1639
+ false,
1640
+ false,
1641
+ false,
1642
+ false,
1643
+ false,
1644
+ false,
1645
+ false,
1646
+ false
1647
+ ],
1648
+ "model.layers.22.self_attn.q_proj.lora_E": [
1649
+ true,
1650
+ false,
1651
+ false,
1652
+ false,
1653
+ true,
1654
+ false,
1655
+ false,
1656
+ false,
1657
+ false,
1658
+ false,
1659
+ false,
1660
+ false,
1661
+ false,
1662
+ false,
1663
+ false,
1664
+ false,
1665
+ false,
1666
+ false,
1667
+ true,
1668
+ false,
1669
+ false,
1670
+ false,
1671
+ false,
1672
+ false
1673
+ ],
1674
+ "model.layers.22.self_attn.v_proj.lora_E": [
1675
+ false,
1676
+ false,
1677
+ false,
1678
+ false,
1679
+ false,
1680
+ false,
1681
+ false,
1682
+ false,
1683
+ false,
1684
+ false,
1685
+ false,
1686
+ false,
1687
+ false,
1688
+ false,
1689
+ false,
1690
+ false,
1691
+ false,
1692
+ false,
1693
+ false,
1694
+ false,
1695
+ false,
1696
+ false,
1697
+ false,
1698
+ false
1699
+ ],
1700
+ "model.layers.23.self_attn.k_proj.lora_E": [
1701
+ false,
1702
+ false,
1703
+ false,
1704
+ false,
1705
+ false,
1706
+ false,
1707
+ false,
1708
+ false,
1709
+ false,
1710
+ false,
1711
+ false,
1712
+ false,
1713
+ false,
1714
+ false,
1715
+ false,
1716
+ false,
1717
+ false,
1718
+ false,
1719
+ false,
1720
+ false,
1721
+ false,
1722
+ false,
1723
+ false,
1724
+ false
1725
+ ],
1726
+ "model.layers.23.self_attn.o_proj.lora_E": [
1727
+ false,
1728
+ false,
1729
+ false,
1730
+ false,
1731
+ false,
1732
+ false,
1733
+ false,
1734
+ false,
1735
+ false,
1736
+ false,
1737
+ false,
1738
+ false,
1739
+ false,
1740
+ false,
1741
+ false,
1742
+ false,
1743
+ false,
1744
+ false,
1745
+ false,
1746
+ false,
1747
+ false,
1748
+ false,
1749
+ false,
1750
+ false
1751
+ ],
1752
+ "model.layers.23.self_attn.q_proj.lora_E": [
1753
+ false,
1754
+ false,
1755
+ false,
1756
+ false,
1757
+ false,
1758
+ false,
1759
+ false,
1760
+ false,
1761
+ false,
1762
+ false,
1763
+ false,
1764
+ false,
1765
+ false,
1766
+ false,
1767
+ false,
1768
+ false,
1769
+ false,
1770
+ false,
1771
+ false,
1772
+ false,
1773
+ false,
1774
+ false,
1775
+ false,
1776
+ false
1777
+ ],
1778
+ "model.layers.23.self_attn.v_proj.lora_E": [
1779
+ false,
1780
+ false,
1781
+ false,
1782
+ false,
1783
+ false,
1784
+ false,
1785
+ false,
1786
+ false,
1787
+ false,
1788
+ false,
1789
+ false,
1790
+ false,
1791
+ false,
1792
+ false,
1793
+ false,
1794
+ false,
1795
+ false,
1796
+ false,
1797
+ false,
1798
+ false,
1799
+ false,
1800
+ false,
1801
+ false,
1802
+ false
1803
+ ],
1804
+ "model.layers.24.self_attn.k_proj.lora_E": [
1805
+ false,
1806
+ false,
1807
+ false,
1808
+ false,
1809
+ false,
1810
+ false,
1811
+ false,
1812
+ false,
1813
+ false,
1814
+ false,
1815
+ false,
1816
+ false,
1817
+ false,
1818
+ false,
1819
+ false,
1820
+ false,
1821
+ false,
1822
+ false,
1823
+ false,
1824
+ false,
1825
+ false,
1826
+ false,
1827
+ false,
1828
+ false
1829
+ ],
1830
+ "model.layers.24.self_attn.o_proj.lora_E": [
1831
+ false,
1832
+ false,
1833
+ false,
1834
+ false,
1835
+ false,
1836
+ false,
1837
+ false,
1838
+ false,
1839
+ false,
1840
+ false,
1841
+ false,
1842
+ false,
1843
+ false,
1844
+ false,
1845
+ false,
1846
+ false,
1847
+ false,
1848
+ false,
1849
+ false,
1850
+ false,
1851
+ false,
1852
+ false,
1853
+ false,
1854
+ false
1855
+ ],
1856
+ "model.layers.24.self_attn.q_proj.lora_E": [
1857
+ false,
1858
+ false,
1859
+ false,
1860
+ false,
1861
+ false,
1862
+ false,
1863
+ false,
1864
+ false,
1865
+ false,
1866
+ false,
1867
+ false,
1868
+ false,
1869
+ false,
1870
+ false,
1871
+ false,
1872
+ false,
1873
+ false,
1874
+ false,
1875
+ false,
1876
+ false,
1877
+ false,
1878
+ false,
1879
+ false,
1880
+ false
1881
+ ],
1882
+ "model.layers.24.self_attn.v_proj.lora_E": [
1883
+ false,
1884
+ false,
1885
+ false,
1886
+ false,
1887
+ false,
1888
+ false,
1889
+ false,
1890
+ false,
1891
+ false,
1892
+ false,
1893
+ false,
1894
+ false,
1895
+ false,
1896
+ false,
1897
+ false,
1898
+ false,
1899
+ false,
1900
+ false,
1901
+ false,
1902
+ false,
1903
+ false,
1904
+ false,
1905
+ false,
1906
+ false
1907
+ ],
1908
+ "model.layers.25.self_attn.k_proj.lora_E": [
1909
+ false,
1910
+ false,
1911
+ false,
1912
+ false,
1913
+ false,
1914
+ false,
1915
+ false,
1916
+ false,
1917
+ false,
1918
+ false,
1919
+ false,
1920
+ false,
1921
+ false,
1922
+ false,
1923
+ false,
1924
+ false,
1925
+ false,
1926
+ false,
1927
+ false,
1928
+ false,
1929
+ false,
1930
+ false,
1931
+ false,
1932
+ false
1933
+ ],
1934
+ "model.layers.25.self_attn.o_proj.lora_E": [
1935
+ false,
1936
+ false,
1937
+ false,
1938
+ false,
1939
+ false,
1940
+ false,
1941
+ false,
1942
+ false,
1943
+ false,
1944
+ false,
1945
+ false,
1946
+ false,
1947
+ false,
1948
+ false,
1949
+ false,
1950
+ false,
1951
+ false,
1952
+ false,
1953
+ false,
1954
+ false,
1955
+ false,
1956
+ false,
1957
+ false,
1958
+ false
1959
+ ],
1960
+ "model.layers.25.self_attn.q_proj.lora_E": [
1961
+ false,
1962
+ false,
1963
+ false,
1964
+ false,
1965
+ false,
1966
+ false,
1967
+ false,
1968
+ false,
1969
+ false,
1970
+ false,
1971
+ false,
1972
+ false,
1973
+ false,
1974
+ false,
1975
+ false,
1976
+ false,
1977
+ false,
1978
+ false,
1979
+ false,
1980
+ false,
1981
+ false,
1982
+ false,
1983
+ false,
1984
+ false
1985
+ ],
1986
+ "model.layers.25.self_attn.v_proj.lora_E": [
1987
+ false,
1988
+ false,
1989
+ false,
1990
+ false,
1991
+ false,
1992
+ false,
1993
+ false,
1994
+ false,
1995
+ false,
1996
+ false,
1997
+ false,
1998
+ false,
1999
+ false,
2000
+ false,
2001
+ false,
2002
+ false,
2003
+ false,
2004
+ false,
2005
+ false,
2006
+ false,
2007
+ false,
2008
+ false,
2009
+ false,
2010
+ false
2011
+ ],
2012
+ "model.layers.26.self_attn.k_proj.lora_E": [
2013
+ false,
2014
+ false,
2015
+ false,
2016
+ false,
2017
+ false,
2018
+ false,
2019
+ false,
2020
+ false,
2021
+ false,
2022
+ false,
2023
+ false,
2024
+ false,
2025
+ false,
2026
+ false,
2027
+ false,
2028
+ false,
2029
+ false,
2030
+ false,
2031
+ false,
2032
+ false,
2033
+ false,
2034
+ false,
2035
+ false,
2036
+ false
2037
+ ],
2038
+ "model.layers.26.self_attn.o_proj.lora_E": [
2039
+ false,
2040
+ false,
2041
+ false,
2042
+ false,
2043
+ false,
2044
+ false,
2045
+ false,
2046
+ false,
2047
+ false,
2048
+ false,
2049
+ false,
2050
+ false,
2051
+ false,
2052
+ false,
2053
+ false,
2054
+ false,
2055
+ false,
2056
+ false,
2057
+ false,
2058
+ false,
2059
+ false,
2060
+ false,
2061
+ false,
2062
+ false
2063
+ ],
2064
+ "model.layers.26.self_attn.q_proj.lora_E": [
2065
+ false,
2066
+ false,
2067
+ false,
2068
+ false,
2069
+ false,
2070
+ false,
2071
+ false,
2072
+ false,
2073
+ false,
2074
+ false,
2075
+ false,
2076
+ false,
2077
+ false,
2078
+ false,
2079
+ false,
2080
+ false,
2081
+ false,
2082
+ false,
2083
+ false,
2084
+ false,
2085
+ false,
2086
+ false,
2087
+ false,
2088
+ false
2089
+ ],
2090
+ "model.layers.26.self_attn.v_proj.lora_E": [
2091
+ false,
2092
+ false,
2093
+ false,
2094
+ false,
2095
+ false,
2096
+ false,
2097
+ false,
2098
+ false,
2099
+ false,
2100
+ false,
2101
+ false,
2102
+ false,
2103
+ false,
2104
+ false,
2105
+ false,
2106
+ false,
2107
+ false,
2108
+ false,
2109
+ false,
2110
+ false,
2111
+ false,
2112
+ false,
2113
+ false,
2114
+ false
2115
+ ],
2116
+ "model.layers.27.self_attn.k_proj.lora_E": [
2117
+ false,
2118
+ false,
2119
+ false,
2120
+ false,
2121
+ false,
2122
+ false,
2123
+ false,
2124
+ false,
2125
+ false,
2126
+ false,
2127
+ false,
2128
+ false,
2129
+ false,
2130
+ false,
2131
+ false,
2132
+ false,
2133
+ false,
2134
+ false,
2135
+ false,
2136
+ false,
2137
+ false,
2138
+ false,
2139
+ false,
2140
+ false
2141
+ ],
2142
+ "model.layers.27.self_attn.o_proj.lora_E": [
2143
+ false,
2144
+ false,
2145
+ false,
2146
+ false,
2147
+ false,
2148
+ false,
2149
+ false,
2150
+ false,
2151
+ false,
2152
+ false,
2153
+ false,
2154
+ false,
2155
+ false,
2156
+ false,
2157
+ false,
2158
+ false,
2159
+ false,
2160
+ false,
2161
+ false,
2162
+ false,
2163
+ false,
2164
+ false,
2165
+ false,
2166
+ false
2167
+ ],
2168
+ "model.layers.27.self_attn.q_proj.lora_E": [
2169
+ false,
2170
+ false,
2171
+ false,
2172
+ false,
2173
+ false,
2174
+ false,
2175
+ false,
2176
+ false,
2177
+ false,
2178
+ false,
2179
+ false,
2180
+ false,
2181
+ false,
2182
+ false,
2183
+ false,
2184
+ false,
2185
+ false,
2186
+ false,
2187
+ false,
2188
+ false,
2189
+ false,
2190
+ false,
2191
+ false,
2192
+ false
2193
+ ],
2194
+ "model.layers.27.self_attn.v_proj.lora_E": [
2195
+ false,
2196
+ false,
2197
+ false,
2198
+ false,
2199
+ false,
2200
+ false,
2201
+ false,
2202
+ false,
2203
+ false,
2204
+ false,
2205
+ false,
2206
+ false,
2207
+ false,
2208
+ false,
2209
+ false,
2210
+ false,
2211
+ false,
2212
+ false,
2213
+ false,
2214
+ false,
2215
+ false,
2216
+ false,
2217
+ false,
2218
+ false
2219
+ ],
2220
+ "model.layers.3.self_attn.k_proj.lora_E": [
2221
+ false,
2222
+ false,
2223
+ false,
2224
+ false,
2225
+ false,
2226
+ false,
2227
+ false,
2228
+ false,
2229
+ false,
2230
+ false,
2231
+ false,
2232
+ false,
2233
+ false,
2234
+ false,
2235
+ false,
2236
+ false,
2237
+ false,
2238
+ false,
2239
+ false,
2240
+ false,
2241
+ false,
2242
+ false,
2243
+ false,
2244
+ false
2245
+ ],
2246
+ "model.layers.3.self_attn.o_proj.lora_E": [
2247
+ false,
2248
+ false,
2249
+ false,
2250
+ false,
2251
+ false,
2252
+ true,
2253
+ false,
2254
+ false,
2255
+ false,
2256
+ false,
2257
+ false,
2258
+ false,
2259
+ false,
2260
+ false,
2261
+ false,
2262
+ false,
2263
+ false,
2264
+ false,
2265
+ false,
2266
+ true,
2267
+ false,
2268
+ true,
2269
+ false,
2270
+ true
2271
+ ],
2272
+ "model.layers.3.self_attn.q_proj.lora_E": [
2273
+ false,
2274
+ false,
2275
+ false,
2276
+ false,
2277
+ false,
2278
+ false,
2279
+ false,
2280
+ false,
2281
+ false,
2282
+ false,
2283
+ false,
2284
+ false,
2285
+ false,
2286
+ false,
2287
+ false,
2288
+ false,
2289
+ false,
2290
+ false,
2291
+ false,
2292
+ false,
2293
+ false,
2294
+ false,
2295
+ false,
2296
+ false
2297
+ ],
2298
+ "model.layers.3.self_attn.v_proj.lora_E": [
2299
+ false,
2300
+ true,
2301
+ false,
2302
+ false,
2303
+ false,
2304
+ false,
2305
+ true,
2306
+ false,
2307
+ true,
2308
+ true,
2309
+ false,
2310
+ false,
2311
+ false,
2312
+ false,
2313
+ false,
2314
+ true,
2315
+ false,
2316
+ false,
2317
+ false,
2318
+ false,
2319
+ false,
2320
+ false,
2321
+ true,
2322
+ false
2323
+ ],
2324
+ "model.layers.4.self_attn.k_proj.lora_E": [
2325
+ false,
2326
+ false,
2327
+ false,
2328
+ false,
2329
+ false,
2330
+ false,
2331
+ false,
2332
+ false,
2333
+ false,
2334
+ false,
2335
+ false,
2336
+ false,
2337
+ false,
2338
+ false,
2339
+ false,
2340
+ false,
2341
+ false,
2342
+ false,
2343
+ false,
2344
+ false,
2345
+ false,
2346
+ false,
2347
+ false,
2348
+ false
2349
+ ],
2350
+ "model.layers.4.self_attn.o_proj.lora_E": [
2351
+ false,
2352
+ false,
2353
+ false,
2354
+ false,
2355
+ false,
2356
+ false,
2357
+ false,
2358
+ false,
2359
+ false,
2360
+ false,
2361
+ true,
2362
+ true,
2363
+ false,
2364
+ true,
2365
+ false,
2366
+ false,
2367
+ false,
2368
+ false,
2369
+ false,
2370
+ true,
2371
+ false,
2372
+ false,
2373
+ false,
2374
+ false
2375
+ ],
2376
+ "model.layers.4.self_attn.q_proj.lora_E": [
2377
+ false,
2378
+ false,
2379
+ false,
2380
+ false,
2381
+ false,
2382
+ false,
2383
+ false,
2384
+ false,
2385
+ false,
2386
+ false,
2387
+ false,
2388
+ false,
2389
+ false,
2390
+ false,
2391
+ false,
2392
+ false,
2393
+ false,
2394
+ false,
2395
+ false,
2396
+ false,
2397
+ false,
2398
+ false,
2399
+ false,
2400
+ false
2401
+ ],
2402
+ "model.layers.4.self_attn.v_proj.lora_E": [
2403
+ false,
2404
+ false,
2405
+ false,
2406
+ false,
2407
+ false,
2408
+ false,
2409
+ false,
2410
+ false,
2411
+ false,
2412
+ false,
2413
+ false,
2414
+ false,
2415
+ false,
2416
+ false,
2417
+ false,
2418
+ false,
2419
+ false,
2420
+ false,
2421
+ false,
2422
+ false,
2423
+ false,
2424
+ false,
2425
+ false,
2426
+ true
2427
+ ],
2428
+ "model.layers.5.self_attn.k_proj.lora_E": [
2429
+ false,
2430
+ false,
2431
+ false,
2432
+ false,
2433
+ false,
2434
+ false,
2435
+ false,
2436
+ false,
2437
+ false,
2438
+ true,
2439
+ false,
2440
+ false,
2441
+ false,
2442
+ false,
2443
+ false,
2444
+ false,
2445
+ false,
2446
+ false,
2447
+ false,
2448
+ false,
2449
+ false,
2450
+ false,
2451
+ false,
2452
+ false
2453
+ ],
2454
+ "model.layers.5.self_attn.o_proj.lora_E": [
2455
+ false,
2456
+ false,
2457
+ false,
2458
+ false,
2459
+ false,
2460
+ false,
2461
+ true,
2462
+ false,
2463
+ false,
2464
+ true,
2465
+ true,
2466
+ false,
2467
+ true,
2468
+ false,
2469
+ false,
2470
+ true,
2471
+ false,
2472
+ false,
2473
+ false,
2474
+ true,
2475
+ false,
2476
+ false,
2477
+ false,
2478
+ false
2479
+ ],
2480
+ "model.layers.5.self_attn.q_proj.lora_E": [
2481
+ false,
2482
+ false,
2483
+ false,
2484
+ true,
2485
+ false,
2486
+ true,
2487
+ false,
2488
+ false,
2489
+ false,
2490
+ false,
2491
+ false,
2492
+ true,
2493
+ false,
2494
+ false,
2495
+ false,
2496
+ true,
2497
+ false,
2498
+ false,
2499
+ true,
2500
+ false,
2501
+ true,
2502
+ true,
2503
+ false,
2504
+ true
2505
+ ],
2506
+ "model.layers.5.self_attn.v_proj.lora_E": [
2507
+ false,
2508
+ false,
2509
+ false,
2510
+ true,
2511
+ true,
2512
+ true,
2513
+ false,
2514
+ false,
2515
+ false,
2516
+ false,
2517
+ false,
2518
+ false,
2519
+ false,
2520
+ true,
2521
+ false,
2522
+ true,
2523
+ false,
2524
+ false,
2525
+ false,
2526
+ false,
2527
+ false,
2528
+ false,
2529
+ false,
2530
+ false
2531
+ ],
2532
+ "model.layers.6.self_attn.k_proj.lora_E": [
2533
+ false,
2534
+ false,
2535
+ false,
2536
+ false,
2537
+ false,
2538
+ false,
2539
+ false,
2540
+ false,
2541
+ false,
2542
+ false,
2543
+ false,
2544
+ false,
2545
+ false,
2546
+ false,
2547
+ false,
2548
+ false,
2549
+ false,
2550
+ false,
2551
+ false,
2552
+ false,
2553
+ false,
2554
+ false,
2555
+ false,
2556
+ false
2557
+ ],
2558
+ "model.layers.6.self_attn.o_proj.lora_E": [
2559
+ true,
2560
+ true,
2561
+ true,
2562
+ true,
2563
+ true,
2564
+ true,
2565
+ false,
2566
+ true,
2567
+ true,
2568
+ true,
2569
+ false,
2570
+ true,
2571
+ false,
2572
+ false,
2573
+ true,
2574
+ true,
2575
+ false,
2576
+ true,
2577
+ false,
2578
+ true,
2579
+ true,
2580
+ true,
2581
+ false,
2582
+ false
2583
+ ],
2584
+ "model.layers.6.self_attn.q_proj.lora_E": [
2585
+ false,
2586
+ false,
2587
+ true,
2588
+ false,
2589
+ false,
2590
+ true,
2591
+ false,
2592
+ false,
2593
+ false,
2594
+ false,
2595
+ false,
2596
+ false,
2597
+ false,
2598
+ false,
2599
+ false,
2600
+ false,
2601
+ false,
2602
+ false,
2603
+ false,
2604
+ false,
2605
+ false,
2606
+ false,
2607
+ false,
2608
+ false
2609
+ ],
2610
+ "model.layers.6.self_attn.v_proj.lora_E": [
2611
+ true,
2612
+ false,
2613
+ true,
2614
+ false,
2615
+ true,
2616
+ false,
2617
+ false,
2618
+ false,
2619
+ false,
2620
+ false,
2621
+ false,
2622
+ false,
2623
+ true,
2624
+ false,
2625
+ false,
2626
+ true,
2627
+ true,
2628
+ true,
2629
+ true,
2630
+ true,
2631
+ true,
2632
+ false,
2633
+ false,
2634
+ false
2635
+ ],
2636
+ "model.layers.7.self_attn.k_proj.lora_E": [
2637
+ false,
2638
+ false,
2639
+ false,
2640
+ false,
2641
+ false,
2642
+ false,
2643
+ false,
2644
+ false,
2645
+ false,
2646
+ false,
2647
+ false,
2648
+ false,
2649
+ false,
2650
+ false,
2651
+ false,
2652
+ false,
2653
+ false,
2654
+ false,
2655
+ false,
2656
+ false,
2657
+ false,
2658
+ false,
2659
+ false,
2660
+ false
2661
+ ],
2662
+ "model.layers.7.self_attn.o_proj.lora_E": [
2663
+ true,
2664
+ true,
2665
+ true,
2666
+ true,
2667
+ true,
2668
+ true,
2669
+ true,
2670
+ true,
2671
+ true,
2672
+ false,
2673
+ true,
2674
+ false,
2675
+ true,
2676
+ false,
2677
+ true,
2678
+ false,
2679
+ true,
2680
+ false,
2681
+ true,
2682
+ true,
2683
+ true,
2684
+ true,
2685
+ true,
2686
+ true
2687
+ ],
2688
+ "model.layers.7.self_attn.q_proj.lora_E": [
2689
+ false,
2690
+ true,
2691
+ false,
2692
+ false,
2693
+ false,
2694
+ false,
2695
+ false,
2696
+ true,
2697
+ true,
2698
+ false,
2699
+ false,
2700
+ false,
2701
+ false,
2702
+ false,
2703
+ true,
2704
+ true,
2705
+ false,
2706
+ true,
2707
+ false,
2708
+ false,
2709
+ false,
2710
+ true,
2711
+ false,
2712
+ true
2713
+ ],
2714
+ "model.layers.7.self_attn.v_proj.lora_E": [
2715
+ false,
2716
+ true,
2717
+ false,
2718
+ true,
2719
+ true,
2720
+ false,
2721
+ true,
2722
+ false,
2723
+ true,
2724
+ true,
2725
+ true,
2726
+ false,
2727
+ true,
2728
+ false,
2729
+ false,
2730
+ false,
2731
+ true,
2732
+ true,
2733
+ true,
2734
+ true,
2735
+ true,
2736
+ false,
2737
+ true,
2738
+ true
2739
+ ],
2740
+ "model.layers.8.self_attn.k_proj.lora_E": [
2741
+ false,
2742
+ false,
2743
+ false,
2744
+ false,
2745
+ false,
2746
+ false,
2747
+ false,
2748
+ true,
2749
+ false,
2750
+ false,
2751
+ false,
2752
+ false,
2753
+ false,
2754
+ false,
2755
+ false,
2756
+ false,
2757
+ false,
2758
+ false,
2759
+ false,
2760
+ false,
2761
+ false,
2762
+ false,
2763
+ false,
2764
+ false
2765
+ ],
2766
+ "model.layers.8.self_attn.o_proj.lora_E": [
2767
+ true,
2768
+ true,
2769
+ false,
2770
+ true,
2771
+ false,
2772
+ true,
2773
+ true,
2774
+ true,
2775
+ true,
2776
+ true,
2777
+ true,
2778
+ true,
2779
+ true,
2780
+ true,
2781
+ true,
2782
+ true,
2783
+ true,
2784
+ true,
2785
+ true,
2786
+ true,
2787
+ true,
2788
+ true,
2789
+ true,
2790
+ true
2791
+ ],
2792
+ "model.layers.8.self_attn.q_proj.lora_E": [
2793
+ true,
2794
+ false,
2795
+ false,
2796
+ false,
2797
+ true,
2798
+ false,
2799
+ false,
2800
+ false,
2801
+ false,
2802
+ false,
2803
+ false,
2804
+ false,
2805
+ false,
2806
+ false,
2807
+ false,
2808
+ false,
2809
+ false,
2810
+ false,
2811
+ false,
2812
+ false,
2813
+ true,
2814
+ true,
2815
+ false,
2816
+ false
2817
+ ],
2818
+ "model.layers.8.self_attn.v_proj.lora_E": [
2819
+ true,
2820
+ true,
2821
+ true,
2822
+ true,
2823
+ true,
2824
+ true,
2825
+ true,
2826
+ true,
2827
+ true,
2828
+ true,
2829
+ true,
2830
+ true,
2831
+ false,
2832
+ true,
2833
+ true,
2834
+ false,
2835
+ false,
2836
+ false,
2837
+ true,
2838
+ false,
2839
+ true,
2840
+ true,
2841
+ true,
2842
+ false
2843
+ ],
2844
+ "model.layers.9.self_attn.k_proj.lora_E": [
2845
+ false,
2846
+ false,
2847
+ false,
2848
+ false,
2849
+ false,
2850
+ false,
2851
+ false,
2852
+ false,
2853
+ false,
2854
+ false,
2855
+ false,
2856
+ false,
2857
+ false,
2858
+ false,
2859
+ false,
2860
+ false,
2861
+ false,
2862
+ false,
2863
+ false,
2864
+ false,
2865
+ false,
2866
+ false,
2867
+ false,
2868
+ false
2869
+ ],
2870
+ "model.layers.9.self_attn.o_proj.lora_E": [
2871
+ true,
2872
+ true,
2873
+ false,
2874
+ true,
2875
+ true,
2876
+ true,
2877
+ true,
2878
+ true,
2879
+ true,
2880
+ true,
2881
+ true,
2882
+ true,
2883
+ true,
2884
+ true,
2885
+ true,
2886
+ true,
2887
+ true,
2888
+ false,
2889
+ true,
2890
+ true,
2891
+ true,
2892
+ true,
2893
+ true,
2894
+ true
2895
+ ],
2896
+ "model.layers.9.self_attn.q_proj.lora_E": [
2897
+ false,
2898
+ true,
2899
+ false,
2900
+ true,
2901
+ false,
2902
+ false,
2903
+ false,
2904
+ false,
2905
+ false,
2906
+ true,
2907
+ true,
2908
+ true,
2909
+ false,
2910
+ true,
2911
+ true,
2912
+ true,
2913
+ true,
2914
+ true,
2915
+ true,
2916
+ true,
2917
+ false,
2918
+ true,
2919
+ true,
2920
+ false
2921
+ ],
2922
+ "model.layers.9.self_attn.v_proj.lora_E": [
2923
+ true,
2924
+ true,
2925
+ true,
2926
+ true,
2927
+ true,
2928
+ true,
2929
+ true,
2930
+ true,
2931
+ false,
2932
+ true,
2933
+ true,
2934
+ true,
2935
+ true,
2936
+ false,
2937
+ true,
2938
+ false,
2939
+ false,
2940
+ true,
2941
+ true,
2942
+ false,
2943
+ true,
2944
+ true,
2945
+ true,
2946
+ true
2947
+ ]
2948
+ },
2949
+ "revision": null,
2950
+ "target_modules": [
2951
+ "v_proj",
2952
+ "q_proj",
2953
+ "o_proj",
2954
+ "k_proj"
2955
+ ],
2956
+ "target_parameters": null,
2957
+ "target_r": 8,
2958
+ "task_type": "CAUSAL_LM",
2959
+ "tfinal": 0,
2960
+ "tinit": 0,
2961
+ "total_step": 150,
2962
+ "trainable_token_indices": null,
2963
+ "use_bdlora": null,
2964
+ "use_dora": false,
2965
+ "use_qalora": false,
2966
+ "use_rslora": false
2967
+ }
AdaLoRA/qwen3-0.6b_B_1k/adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:237d01323bbc8255140534a5f4945c98b37780db4df96409c9f75b0713882a95
3
+ size 9654416
AdaLoRA/qwen3-0.6b_B_1k/chat_template.jinja ADDED
@@ -0,0 +1,89 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {%- if tools %}
2
+ {{- '<|im_start|>system\n' }}
3
+ {%- if messages[0].role == 'system' %}
4
+ {{- messages[0].content + '\n\n' }}
5
+ {%- endif %}
6
+ {{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
7
+ {%- for tool in tools %}
8
+ {{- "\n" }}
9
+ {{- tool | tojson }}
10
+ {%- endfor %}
11
+ {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
12
+ {%- else %}
13
+ {%- if messages[0].role == 'system' %}
14
+ {{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
15
+ {%- endif %}
16
+ {%- endif %}
17
+ {%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
18
+ {%- for message in messages[::-1] %}
19
+ {%- set index = (messages|length - 1) - loop.index0 %}
20
+ {%- if ns.multi_step_tool and message.role == "user" and message.content is string and not(message.content.startswith('<tool_response>') and message.content.endswith('</tool_response>')) %}
21
+ {%- set ns.multi_step_tool = false %}
22
+ {%- set ns.last_query_index = index %}
23
+ {%- endif %}
24
+ {%- endfor %}
25
+ {%- for message in messages %}
26
+ {%- if message.content is string %}
27
+ {%- set content = message.content %}
28
+ {%- else %}
29
+ {%- set content = '' %}
30
+ {%- endif %}
31
+ {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
32
+ {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
33
+ {%- elif message.role == "assistant" %}
34
+ {%- set reasoning_content = '' %}
35
+ {%- if message.reasoning_content is string %}
36
+ {%- set reasoning_content = message.reasoning_content %}
37
+ {%- else %}
38
+ {%- if '</think>' in content %}
39
+ {%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
40
+ {%- set content = content.split('</think>')[-1].lstrip('\n') %}
41
+ {%- endif %}
42
+ {%- endif %}
43
+ {%- if loop.index0 > ns.last_query_index %}
44
+ {%- if loop.last or (not loop.last and reasoning_content) %}
45
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
46
+ {%- else %}
47
+ {{- '<|im_start|>' + message.role + '\n' + content }}
48
+ {%- endif %}
49
+ {%- else %}
50
+ {{- '<|im_start|>' + message.role + '\n' + content }}
51
+ {%- endif %}
52
+ {%- if message.tool_calls %}
53
+ {%- for tool_call in message.tool_calls %}
54
+ {%- if (loop.first and content) or (not loop.first) %}
55
+ {{- '\n' }}
56
+ {%- endif %}
57
+ {%- if tool_call.function %}
58
+ {%- set tool_call = tool_call.function %}
59
+ {%- endif %}
60
+ {{- '<tool_call>\n{"name": "' }}
61
+ {{- tool_call.name }}
62
+ {{- '", "arguments": ' }}
63
+ {%- if tool_call.arguments is string %}
64
+ {{- tool_call.arguments }}
65
+ {%- else %}
66
+ {{- tool_call.arguments | tojson }}
67
+ {%- endif %}
68
+ {{- '}\n</tool_call>' }}
69
+ {%- endfor %}
70
+ {%- endif %}
71
+ {{- '<|im_end|>\n' }}
72
+ {%- elif message.role == "tool" %}
73
+ {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
74
+ {{- '<|im_start|>user' }}
75
+ {%- endif %}
76
+ {{- '\n<tool_response>\n' }}
77
+ {{- content }}
78
+ {{- '\n</tool_response>' }}
79
+ {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
80
+ {{- '<|im_end|>\n' }}
81
+ {%- endif %}
82
+ {%- endif %}
83
+ {%- endfor %}
84
+ {%- if add_generation_prompt %}
85
+ {{- '<|im_start|>assistant\n' }}
86
+ {%- if enable_thinking is defined and enable_thinking is false %}
87
+ {{- '<think>\n\n</think>\n\n' }}
88
+ {%- endif %}
89
+ {%- endif %}
AdaLoRA/qwen3-0.6b_B_1k/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:be75606093db2094d7cd20f3c2f385c212750648bd6ea4fb2bf507a6a4c55506
3
+ size 11422650
AdaLoRA/qwen3-0.6b_B_1k/tokenizer_config.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "backend": "tokenizers",
4
+ "bos_token": null,
5
+ "clean_up_tokenization_spaces": false,
6
+ "eos_token": "<|im_end|>",
7
+ "errors": "replace",
8
+ "extra_special_tokens": [
9
+ "<|im_start|>",
10
+ "<|im_end|>",
11
+ "<|object_ref_start|>",
12
+ "<|object_ref_end|>",
13
+ "<|box_start|>",
14
+ "<|box_end|>",
15
+ "<|quad_start|>",
16
+ "<|quad_end|>",
17
+ "<|vision_start|>",
18
+ "<|vision_end|>",
19
+ "<|vision_pad|>",
20
+ "<|image_pad|>",
21
+ "<|video_pad|>"
22
+ ],
23
+ "is_local": false,
24
+ "local_files_only": false,
25
+ "model_max_length": 131072,
26
+ "pad_token": "<|endoftext|>",
27
+ "split_special_tokens": false,
28
+ "tokenizer_class": "Qwen2Tokenizer",
29
+ "unk_token": null
30
+ }