Hugging Face's logo

kon172verma
/
intent-classifier-experiments

Text Classification
PEFT
Safetensors
lora
dora
lora+
dora+
adalora
qlora
intent-classification
Model card Files
xet
 Community
kon172verma commited on
Commit
6a6988f
·
verified ·
1 Parent(s): a175c2a

Add AdaLoRA adapter: qwen3-0.6b_D_1k [20260827-024250]

Browse files
Files changed (7) hide show
  1. .gitattributes +1 -0
  2. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/README.md +208 -0
  3. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/adapter_config.json +6724 -0
  4. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/adapter_model.safetensors +3 -0
  5. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/chat_template.jinja +89 -0
  6. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/tokenizer.json +3 -0
  7. v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/tokenizer_config.json +30 -0
.gitattributes CHANGED
@@ -100,3 +100,4 @@ v2.0/qwen3-0.6b_QLoRA_C_1k_20260827-020531/tokenizer.json filter=lfs diff=lfs me
100
  v2.0/qwen3-0.6b_AdaLoRA_C_1k_20260827-021108/tokenizer.json filter=lfs diff=lfs merge=lfs -text
101
  v2.0/llama3.2-1b_QLoRA_A_1k_20260827-021645/tokenizer.json filter=lfs diff=lfs merge=lfs -text
102
  v2.0/llama3.2-1b_QLoRA_B_1k_20260827-022811/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
100
  v2.0/qwen3-0.6b_AdaLoRA_C_1k_20260827-021108/tokenizer.json filter=lfs diff=lfs merge=lfs -text
101
  v2.0/llama3.2-1b_QLoRA_A_1k_20260827-021645/tokenizer.json filter=lfs diff=lfs merge=lfs -text
102
  v2.0/llama3.2-1b_QLoRA_B_1k_20260827-022811/tokenizer.json filter=lfs diff=lfs merge=lfs -text
103
+ v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/tokenizer.json filter=lfs diff=lfs merge=lfs -text
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/README.md ADDED
@@ -0,0 +1,208 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: Qwen/Qwen3-0.6B
3
+ library_name: peft
4
+ pipeline_tag: text-generation
5
+ tags:
6
+ - base_model:adapter:Qwen/Qwen3-0.6B
7
+ - sft
8
+ - transformers
9
+ - trl
10
+ ---
11
+
12
+ # Model Card for Model ID
13
+
14
+ <!-- Provide a quick summary of what the model is/does. -->
15
+
16
+
17
+
18
+ ## Model Details
19
+
20
+ ### Model Description
21
+
22
+ <!-- Provide a longer summary of what this model is. -->
23
+
24
+
25
+
26
+ - **Developed by:** [More Information Needed]
27
+ - **Funded by [optional]:** [More Information Needed]
28
+ - **Shared by [optional]:** [More Information Needed]
29
+ - **Model type:** [More Information Needed]
30
+ - **Language(s) (NLP):** [More Information Needed]
31
+ - **License:** [More Information Needed]
32
+ - **Finetuned from model [optional]:** [More Information Needed]
33
+
34
+ ### Model Sources [optional]
35
+
36
+ <!-- Provide the basic links for the model. -->
37
+
38
+ - **Repository:** [More Information Needed]
39
+ - **Paper [optional]:** [More Information Needed]
40
+ - **Demo [optional]:** [More Information Needed]
41
+
42
+ ## Uses
43
+
44
+ <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
45
+
46
+ ### Direct Use
47
+
48
+ <!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
49
+
50
+ [More Information Needed]
51
+
52
+ ### Downstream Use [optional]
53
+
54
+ <!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
55
+
56
+ [More Information Needed]
57
+
58
+ ### Out-of-Scope Use
59
+
60
+ <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
61
+
62
+ [More Information Needed]
63
+
64
+ ## Bias, Risks, and Limitations
65
+
66
+ <!-- This section is meant to convey both technical and sociotechnical limitations. -->
67
+
68
+ [More Information Needed]
69
+
70
+ ### Recommendations
71
+
72
+ <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
73
+
74
+ Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
75
+
76
+ ## How to Get Started with the Model
77
+
78
+ Use the code below to get started with the model.
79
+
80
+ [More Information Needed]
81
+
82
+ ## Training Details
83
+
84
+ ### Training Data
85
+
86
+ <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
87
+
88
+ [More Information Needed]
89
+
90
+ ### Training Procedure
91
+
92
+ <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
93
+
94
+ #### Preprocessing [optional]
95
+
96
+ [More Information Needed]
97
+
98
+
99
+ #### Training Hyperparameters
100
+
101
+ - **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
102
+
103
+ #### Speeds, Sizes, Times [optional]
104
+
105
+ <!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
106
+
107
+ [More Information Needed]
108
+
109
+ ## Evaluation
110
+
111
+ <!-- This section describes the evaluation protocols and provides the results. -->
112
+
113
+ ### Testing Data, Factors & Metrics
114
+
115
+ #### Testing Data
116
+
117
+ <!-- This should link to a Dataset Card if possible. -->
118
+
119
+ [More Information Needed]
120
+
121
+ #### Factors
122
+
123
+ <!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
124
+
125
+ [More Information Needed]
126
+
127
+ #### Metrics
128
+
129
+ <!-- These are the evaluation metrics being used, ideally with a description of why. -->
130
+
131
+ [More Information Needed]
132
+
133
+ ### Results
134
+
135
+ [More Information Needed]
136
+
137
+ #### Summary
138
+
139
+
140
+
141
+ ## Model Examination [optional]
142
+
143
+ <!-- Relevant interpretability work for the model goes here -->
144
+
145
+ [More Information Needed]
146
+
147
+ ## Environmental Impact
148
+
149
+ <!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
150
+
151
+ Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
152
+
153
+ - **Hardware Type:** [More Information Needed]
154
+ - **Hours used:** [More Information Needed]
155
+ - **Cloud Provider:** [More Information Needed]
156
+ - **Compute Region:** [More Information Needed]
157
+ - **Carbon Emitted:** [More Information Needed]
158
+
159
+ ## Technical Specifications [optional]
160
+
161
+ ### Model Architecture and Objective
162
+
163
+ [More Information Needed]
164
+
165
+ ### Compute Infrastructure
166
+
167
+ [More Information Needed]
168
+
169
+ #### Hardware
170
+
171
+ [More Information Needed]
172
+
173
+ #### Software
174
+
175
+ [More Information Needed]
176
+
177
+ ## Citation [optional]
178
+
179
+ <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
180
+
181
+ **BibTeX:**
182
+
183
+ [More Information Needed]
184
+
185
+ **APA:**
186
+
187
+ [More Information Needed]
188
+
189
+ ## Glossary [optional]
190
+
191
+ <!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
192
+
193
+ [More Information Needed]
194
+
195
+ ## More Information [optional]
196
+
197
+ [More Information Needed]
198
+
199
+ ## Model Card Authors [optional]
200
+
201
+ [More Information Needed]
202
+
203
+ ## Model Card Contact
204
+
205
+ [More Information Needed]
206
+ ### Framework versions
207
+
208
+ - PEFT 0.20.0
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/adapter_config.json ADDED
@@ -0,0 +1,6724 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": null,
6
+ "base_model_name_or_path": "Qwen/Qwen3-0.6B",
7
+ "beta1": 0.85,
8
+ "beta2": 0.85,
9
+ "bias": "none",
10
+ "corda_config": null,
11
+ "deltaT": 10,
12
+ "ensure_weight_tying": false,
13
+ "eva_config": null,
14
+ "exclude_modules": null,
15
+ "fan_in_fan_out": false,
16
+ "inference_mode": true,
17
+ "init_lora_weights": true,
18
+ "init_r": 32,
19
+ "layer_replication": null,
20
+ "layers_pattern": null,
21
+ "layers_to_transform": null,
22
+ "loftq_config": {},
23
+ "lora_alpha": 64,
24
+ "lora_bias": false,
25
+ "lora_dropout": 0.0,
26
+ "lora_ga_config": null,
27
+ "megatron_config": null,
28
+ "megatron_core": "megatron.core",
29
+ "modules_to_save": null,
30
+ "monteclora_config": null,
31
+ "orth_reg_weight": 0.1,
32
+ "peft_type": "ADALORA",
33
+ "peft_version": "0.20.0",
34
+ "qalora_group_size": 16,
35
+ "r": 8,
36
+ "rank_pattern": {
37
+ "model.layers.0.mlp.down_proj.lora_E": [
38
+ true,
39
+ true,
40
+ true,
41
+ true,
42
+ true,
43
+ true,
44
+ true,
45
+ true,
46
+ true,
47
+ true,
48
+ true,
49
+ false,
50
+ true,
51
+ true,
52
+ true,
53
+ true,
54
+ true,
55
+ false,
56
+ true,
57
+ true,
58
+ true,
59
+ false,
60
+ true,
61
+ true,
62
+ true,
63
+ true,
64
+ true,
65
+ true,
66
+ false,
67
+ true,
68
+ true,
69
+ true
70
+ ],
71
+ "model.layers.0.mlp.gate_proj.lora_E": [
72
+ true,
73
+ false,
74
+ true,
75
+ true,
76
+ false,
77
+ false,
78
+ true,
79
+ false,
80
+ false,
81
+ true,
82
+ false,
83
+ true,
84
+ false,
85
+ true,
86
+ false,
87
+ false,
88
+ true,
89
+ true,
90
+ false,
91
+ false,
92
+ true,
93
+ false,
94
+ true,
95
+ true,
96
+ true,
97
+ true,
98
+ true,
99
+ false,
100
+ true,
101
+ true,
102
+ true,
103
+ false
104
+ ],
105
+ "model.layers.0.mlp.up_proj.lora_E": [
106
+ true,
107
+ true,
108
+ true,
109
+ false,
110
+ true,
111
+ true,
112
+ true,
113
+ true,
114
+ false,
115
+ true,
116
+ true,
117
+ true,
118
+ true,
119
+ true,
120
+ true,
121
+ true,
122
+ true,
123
+ true,
124
+ true,
125
+ true,
126
+ true,
127
+ true,
128
+ true,
129
+ true,
130
+ true,
131
+ true,
132
+ false,
133
+ true,
134
+ true,
135
+ true,
136
+ true,
137
+ true
138
+ ],
139
+ "model.layers.0.self_attn.k_proj.lora_E": [
140
+ true,
141
+ true,
142
+ false,
143
+ false,
144
+ true,
145
+ true,
146
+ false,
147
+ false,
148
+ true,
149
+ true,
150
+ false,
151
+ true,
152
+ true,
153
+ true,
154
+ false,
155
+ true,
156
+ true,
157
+ false,
158
+ true,
159
+ true,
160
+ true,
161
+ true,
162
+ true,
163
+ false,
164
+ false,
165
+ true,
166
+ true,
167
+ true,
168
+ false,
169
+ false,
170
+ false,
171
+ true
172
+ ],
173
+ "model.layers.0.self_attn.o_proj.lora_E": [
174
+ true,
175
+ true,
176
+ true,
177
+ true,
178
+ true,
179
+ true,
180
+ true,
181
+ true,
182
+ true,
183
+ true,
184
+ true,
185
+ true,
186
+ true,
187
+ true,
188
+ true,
189
+ true,
190
+ true,
191
+ true,
192
+ true,
193
+ false,
194
+ true,
195
+ false,
196
+ true,
197
+ true,
198
+ false,
199
+ true,
200
+ true,
201
+ true,
202
+ true,
203
+ true,
204
+ true,
205
+ true
206
+ ],
207
+ "model.layers.0.self_attn.q_proj.lora_E": [
208
+ false,
209
+ false,
210
+ false,
211
+ true,
212
+ true,
213
+ true,
214
+ true,
215
+ true,
216
+ true,
217
+ false,
218
+ true,
219
+ true,
220
+ false,
221
+ true,
222
+ false,
223
+ true,
224
+ true,
225
+ true,
226
+ false,
227
+ true,
228
+ false,
229
+ true,
230
+ false,
231
+ true,
232
+ true,
233
+ false,
234
+ false,
235
+ false,
236
+ false,
237
+ false,
238
+ true,
239
+ true
240
+ ],
241
+ "model.layers.0.self_attn.v_proj.lora_E": [
242
+ true,
243
+ true,
244
+ true,
245
+ true,
246
+ true,
247
+ true,
248
+ false,
249
+ true,
250
+ true,
251
+ true,
252
+ true,
253
+ true,
254
+ false,
255
+ true,
256
+ true,
257
+ true,
258
+ true,
259
+ true,
260
+ true,
261
+ true,
262
+ true,
263
+ true,
264
+ true,
265
+ true,
266
+ true,
267
+ true,
268
+ true,
269
+ true,
270
+ true,
271
+ true,
272
+ true,
273
+ true
274
+ ],
275
+ "model.layers.1.mlp.down_proj.lora_E": [
276
+ true,
277
+ true,
278
+ true,
279
+ true,
280
+ true,
281
+ true,
282
+ true,
283
+ true,
284
+ true,
285
+ true,
286
+ true,
287
+ true,
288
+ true,
289
+ true,
290
+ true,
291
+ true,
292
+ true,
293
+ true,
294
+ true,
295
+ true,
296
+ true,
297
+ false,
298
+ false,
299
+ true,
300
+ true,
301
+ true,
302
+ false,
303
+ true,
304
+ true,
305
+ true,
306
+ true,
307
+ true
308
+ ],
309
+ "model.layers.1.mlp.gate_proj.lora_E": [
310
+ true,
311
+ true,
312
+ true,
313
+ false,
314
+ false,
315
+ false,
316
+ false,
317
+ false,
318
+ false,
319
+ false,
320
+ true,
321
+ true,
322
+ false,
323
+ true,
324
+ false,
325
+ true,
326
+ true,
327
+ true,
328
+ true,
329
+ false,
330
+ false,
331
+ false,
332
+ true,
333
+ true,
334
+ true,
335
+ true,
336
+ false,
337
+ false,
338
+ false,
339
+ true,
340
+ true,
341
+ true
342
+ ],
343
+ "model.layers.1.mlp.up_proj.lora_E": [
344
+ true,
345
+ false,
346
+ true,
347
+ true,
348
+ true,
349
+ true,
350
+ true,
351
+ true,
352
+ true,
353
+ true,
354
+ true,
355
+ true,
356
+ true,
357
+ true,
358
+ true,
359
+ false,
360
+ true,
361
+ true,
362
+ true,
363
+ true,
364
+ true,
365
+ true,
366
+ true,
367
+ true,
368
+ true,
369
+ true,
370
+ true,
371
+ true,
372
+ true,
373
+ true,
374
+ true,
375
+ true
376
+ ],
377
+ "model.layers.1.self_attn.k_proj.lora_E": [
378
+ false,
379
+ false,
380
+ false,
381
+ false,
382
+ true,
383
+ true,
384
+ false,
385
+ false,
386
+ false,
387
+ false,
388
+ false,
389
+ false,
390
+ false,
391
+ false,
392
+ false,
393
+ false,
394
+ false,
395
+ false,
396
+ false,
397
+ false,
398
+ false,
399
+ false,
400
+ false,
401
+ true,
402
+ false,
403
+ false,
404
+ true,
405
+ false,
406
+ false,
407
+ false,
408
+ false,
409
+ false
410
+ ],
411
+ "model.layers.1.self_attn.o_proj.lora_E": [
412
+ false,
413
+ true,
414
+ true,
415
+ true,
416
+ true,
417
+ true,
418
+ true,
419
+ true,
420
+ true,
421
+ false,
422
+ false,
423
+ true,
424
+ true,
425
+ true,
426
+ true,
427
+ true,
428
+ true,
429
+ true,
430
+ false,
431
+ true,
432
+ false,
433
+ true,
434
+ true,
435
+ true,
436
+ true,
437
+ true,
438
+ true,
439
+ true,
440
+ true,
441
+ false,
442
+ true,
443
+ true
444
+ ],
445
+ "model.layers.1.self_attn.q_proj.lora_E": [
446
+ false,
447
+ false,
448
+ false,
449
+ false,
450
+ false,
451
+ false,
452
+ true,
453
+ false,
454
+ false,
455
+ true,
456
+ false,
457
+ false,
458
+ true,
459
+ true,
460
+ false,
461
+ false,
462
+ true,
463
+ false,
464
+ false,
465
+ false,
466
+ false,
467
+ false,
468
+ false,
469
+ false,
470
+ false,
471
+ false,
472
+ false,
473
+ false,
474
+ true,
475
+ false,
476
+ false,
477
+ true
478
+ ],
479
+ "model.layers.1.self_attn.v_proj.lora_E": [
480
+ true,
481
+ true,
482
+ true,
483
+ false,
484
+ true,
485
+ true,
486
+ true,
487
+ false,
488
+ true,
489
+ true,
490
+ false,
491
+ true,
492
+ true,
493
+ false,
494
+ true,
495
+ true,
496
+ true,
497
+ true,
498
+ false,
499
+ false,
500
+ true,
501
+ true,
502
+ true,
503
+ true,
504
+ false,
505
+ true,
506
+ true,
507
+ true,
508
+ false,
509
+ true,
510
+ true,
511
+ true
512
+ ],
513
+ "model.layers.10.mlp.down_proj.lora_E": [
514
+ false,
515
+ true,
516
+ true,
517
+ false,
518
+ false,
519
+ true,
520
+ true,
521
+ true,
522
+ false,
523
+ true,
524
+ false,
525
+ true,
526
+ true,
527
+ true,
528
+ true,
529
+ true,
530
+ true,
531
+ true,
532
+ true,
533
+ true,
534
+ true,
535
+ true,
536
+ false,
537
+ false,
538
+ true,
539
+ true,
540
+ true,
541
+ true,
542
+ true,
543
+ true,
544
+ false,
545
+ true
546
+ ],
547
+ "model.layers.10.mlp.gate_proj.lora_E": [
548
+ false,
549
+ true,
550
+ true,
551
+ true,
552
+ true,
553
+ true,
554
+ true,
555
+ true,
556
+ true,
557
+ true,
558
+ false,
559
+ false,
560
+ true,
561
+ false,
562
+ true,
563
+ true,
564
+ true,
565
+ true,
566
+ true,
567
+ true,
568
+ true,
569
+ false,
570
+ false,
571
+ true,
572
+ true,
573
+ true,
574
+ true,
575
+ true,
576
+ true,
577
+ false,
578
+ false,
579
+ true
580
+ ],
581
+ "model.layers.10.mlp.up_proj.lora_E": [
582
+ true,
583
+ true,
584
+ true,
585
+ true,
586
+ true,
587
+ true,
588
+ true,
589
+ true,
590
+ true,
591
+ true,
592
+ true,
593
+ true,
594
+ true,
595
+ true,
596
+ true,
597
+ true,
598
+ true,
599
+ false,
600
+ true,
601
+ true,
602
+ true,
603
+ true,
604
+ true,
605
+ false,
606
+ true,
607
+ true,
608
+ false,
609
+ true,
610
+ true,
611
+ true,
612
+ true,
613
+ true
614
+ ],
615
+ "model.layers.10.self_attn.k_proj.lora_E": [
616
+ true,
617
+ false,
618
+ false,
619
+ false,
620
+ false,
621
+ false,
622
+ false,
623
+ false,
624
+ true,
625
+ false,
626
+ false,
627
+ false,
628
+ true,
629
+ true,
630
+ true,
631
+ false,
632
+ true,
633
+ true,
634
+ false,
635
+ false,
636
+ true,
637
+ false,
638
+ false,
639
+ false,
640
+ true,
641
+ false,
642
+ false,
643
+ true,
644
+ true,
645
+ false,
646
+ false,
647
+ false
648
+ ],
649
+ "model.layers.10.self_attn.o_proj.lora_E": [
650
+ true,
651
+ true,
652
+ true,
653
+ true,
654
+ false,
655
+ true,
656
+ true,
657
+ true,
658
+ true,
659
+ true,
660
+ true,
661
+ true,
662
+ true,
663
+ false,
664
+ false,
665
+ true,
666
+ true,
667
+ true,
668
+ true,
669
+ true,
670
+ true,
671
+ true,
672
+ false,
673
+ true,
674
+ true,
675
+ false,
676
+ true,
677
+ true,
678
+ true,
679
+ true,
680
+ true,
681
+ true
682
+ ],
683
+ "model.layers.10.self_attn.q_proj.lora_E": [
684
+ true,
685
+ true,
686
+ true,
687
+ true,
688
+ true,
689
+ false,
690
+ true,
691
+ false,
692
+ true,
693
+ true,
694
+ true,
695
+ true,
696
+ false,
697
+ true,
698
+ true,
699
+ true,
700
+ true,
701
+ true,
702
+ true,
703
+ true,
704
+ true,
705
+ true,
706
+ true,
707
+ true,
708
+ true,
709
+ true,
710
+ true,
711
+ false,
712
+ true,
713
+ false,
714
+ false,
715
+ true
716
+ ],
717
+ "model.layers.10.self_attn.v_proj.lora_E": [
718
+ true,
719
+ true,
720
+ true,
721
+ true,
722
+ true,
723
+ true,
724
+ true,
725
+ true,
726
+ false,
727
+ true,
728
+ false,
729
+ true,
730
+ true,
731
+ true,
732
+ true,
733
+ true,
734
+ true,
735
+ false,
736
+ false,
737
+ true,
738
+ true,
739
+ true,
740
+ true,
741
+ true,
742
+ true,
743
+ false,
744
+ true,
745
+ true,
746
+ false,
747
+ true,
748
+ true,
749
+ true
750
+ ],
751
+ "model.layers.11.mlp.down_proj.lora_E": [
752
+ true,
753
+ true,
754
+ true,
755
+ false,
756
+ true,
757
+ true,
758
+ true,
759
+ true,
760
+ true,
761
+ true,
762
+ true,
763
+ true,
764
+ false,
765
+ true,
766
+ true,
767
+ false,
768
+ true,
769
+ true,
770
+ false,
771
+ true,
772
+ true,
773
+ false,
774
+ false,
775
+ true,
776
+ true,
777
+ true,
778
+ true,
779
+ true,
780
+ false,
781
+ false,
782
+ false,
783
+ true
784
+ ],
785
+ "model.layers.11.mlp.gate_proj.lora_E": [
786
+ false,
787
+ true,
788
+ false,
789
+ true,
790
+ true,
791
+ true,
792
+ true,
793
+ true,
794
+ true,
795
+ true,
796
+ false,
797
+ false,
798
+ true,
799
+ true,
800
+ true,
801
+ true,
802
+ true,
803
+ false,
804
+ true,
805
+ false,
806
+ true,
807
+ false,
808
+ true,
809
+ true,
810
+ false,
811
+ false,
812
+ false,
813
+ false,
814
+ true,
815
+ true,
816
+ true,
817
+ true
818
+ ],
819
+ "model.layers.11.mlp.up_proj.lora_E": [
820
+ false,
821
+ true,
822
+ false,
823
+ false,
824
+ false,
825
+ false,
826
+ true,
827
+ true,
828
+ true,
829
+ false,
830
+ true,
831
+ true,
832
+ false,
833
+ true,
834
+ false,
835
+ true,
836
+ true,
837
+ false,
838
+ true,
839
+ true,
840
+ true,
841
+ true,
842
+ false,
843
+ true,
844
+ true,
845
+ false,
846
+ true,
847
+ true,
848
+ true,
849
+ true,
850
+ true,
851
+ false
852
+ ],
853
+ "model.layers.11.self_attn.k_proj.lora_E": [
854
+ true,
855
+ true,
856
+ true,
857
+ false,
858
+ true,
859
+ true,
860
+ true,
861
+ true,
862
+ true,
863
+ true,
864
+ false,
865
+ true,
866
+ true,
867
+ false,
868
+ true,
869
+ true,
870
+ true,
871
+ true,
872
+ false,
873
+ true,
874
+ true,
875
+ true,
876
+ true,
877
+ true,
878
+ true,
879
+ false,
880
+ true,
881
+ true,
882
+ true,
883
+ true,
884
+ true,
885
+ true
886
+ ],
887
+ "model.layers.11.self_attn.o_proj.lora_E": [
888
+ true,
889
+ true,
890
+ true,
891
+ true,
892
+ true,
893
+ false,
894
+ true,
895
+ true,
896
+ true,
897
+ true,
898
+ true,
899
+ true,
900
+ true,
901
+ true,
902
+ true,
903
+ false,
904
+ true,
905
+ true,
906
+ false,
907
+ false,
908
+ true,
909
+ true,
910
+ true,
911
+ true,
912
+ true,
913
+ false,
914
+ true,
915
+ true,
916
+ false,
917
+ true,
918
+ true,
919
+ true
920
+ ],
921
+ "model.layers.11.self_attn.q_proj.lora_E": [
922
+ false,
923
+ true,
924
+ true,
925
+ true,
926
+ true,
927
+ false,
928
+ false,
929
+ true,
930
+ true,
931
+ true,
932
+ true,
933
+ true,
934
+ true,
935
+ true,
936
+ true,
937
+ true,
938
+ false,
939
+ true,
940
+ true,
941
+ false,
942
+ true,
943
+ true,
944
+ true,
945
+ true,
946
+ true,
947
+ true,
948
+ false,
949
+ true,
950
+ true,
951
+ true,
952
+ false,
953
+ false
954
+ ],
955
+ "model.layers.11.self_attn.v_proj.lora_E": [
956
+ true,
957
+ true,
958
+ false,
959
+ true,
960
+ true,
961
+ true,
962
+ true,
963
+ true,
964
+ true,
965
+ false,
966
+ true,
967
+ true,
968
+ false,
969
+ true,
970
+ true,
971
+ true,
972
+ false,
973
+ true,
974
+ true,
975
+ true,
976
+ true,
977
+ true,
978
+ true,
979
+ true,
980
+ true,
981
+ false,
982
+ true,
983
+ true,
984
+ true,
985
+ true,
986
+ false,
987
+ true
988
+ ],
989
+ "model.layers.12.mlp.down_proj.lora_E": [
990
+ true,
991
+ false,
992
+ true,
993
+ true,
994
+ true,
995
+ true,
996
+ true,
997
+ true,
998
+ true,
999
+ true,
1000
+ true,
1001
+ true,
1002
+ true,
1003
+ true,
1004
+ true,
1005
+ true,
1006
+ true,
1007
+ true,
1008
+ true,
1009
+ true,
1010
+ false,
1011
+ true,
1012
+ true,
1013
+ false,
1014
+ true,
1015
+ true,
1016
+ true,
1017
+ true,
1018
+ true,
1019
+ true,
1020
+ true,
1021
+ true
1022
+ ],
1023
+ "model.layers.12.mlp.gate_proj.lora_E": [
1024
+ false,
1025
+ false,
1026
+ true,
1027
+ true,
1028
+ false,
1029
+ true,
1030
+ false,
1031
+ false,
1032
+ true,
1033
+ true,
1034
+ true,
1035
+ false,
1036
+ false,
1037
+ true,
1038
+ true,
1039
+ true,
1040
+ false,
1041
+ true,
1042
+ false,
1043
+ false,
1044
+ true,
1045
+ true,
1046
+ true,
1047
+ true,
1048
+ false,
1049
+ false,
1050
+ true,
1051
+ false,
1052
+ false,
1053
+ false,
1054
+ true,
1055
+ true
1056
+ ],
1057
+ "model.layers.12.mlp.up_proj.lora_E": [
1058
+ true,
1059
+ true,
1060
+ true,
1061
+ true,
1062
+ true,
1063
+ true,
1064
+ true,
1065
+ true,
1066
+ true,
1067
+ true,
1068
+ false,
1069
+ true,
1070
+ true,
1071
+ true,
1072
+ false,
1073
+ true,
1074
+ true,
1075
+ true,
1076
+ false,
1077
+ true,
1078
+ false,
1079
+ true,
1080
+ true,
1081
+ true,
1082
+ false,
1083
+ true,
1084
+ true,
1085
+ true,
1086
+ true,
1087
+ false,
1088
+ true,
1089
+ true
1090
+ ],
1091
+ "model.layers.12.self_attn.k_proj.lora_E": [
1092
+ true,
1093
+ false,
1094
+ true,
1095
+ false,
1096
+ true,
1097
+ false,
1098
+ true,
1099
+ false,
1100
+ false,
1101
+ false,
1102
+ false,
1103
+ true,
1104
+ true,
1105
+ false,
1106
+ true,
1107
+ false,
1108
+ true,
1109
+ false,
1110
+ true,
1111
+ true,
1112
+ true,
1113
+ false,
1114
+ false,
1115
+ true,
1116
+ false,
1117
+ true,
1118
+ false,
1119
+ false,
1120
+ false,
1121
+ false,
1122
+ false,
1123
+ false
1124
+ ],
1125
+ "model.layers.12.self_attn.o_proj.lora_E": [
1126
+ true,
1127
+ true,
1128
+ false,
1129
+ true,
1130
+ true,
1131
+ true,
1132
+ false,
1133
+ false,
1134
+ true,
1135
+ true,
1136
+ true,
1137
+ true,
1138
+ true,
1139
+ true,
1140
+ false,
1141
+ true,
1142
+ true,
1143
+ true,
1144
+ true,
1145
+ true,
1146
+ true,
1147
+ true,
1148
+ true,
1149
+ true,
1150
+ true,
1151
+ true,
1152
+ true,
1153
+ false,
1154
+ true,
1155
+ true,
1156
+ true,
1157
+ true
1158
+ ],
1159
+ "model.layers.12.self_attn.q_proj.lora_E": [
1160
+ false,
1161
+ true,
1162
+ false,
1163
+ true,
1164
+ true,
1165
+ false,
1166
+ false,
1167
+ true,
1168
+ true,
1169
+ true,
1170
+ true,
1171
+ true,
1172
+ true,
1173
+ false,
1174
+ true,
1175
+ false,
1176
+ true,
1177
+ true,
1178
+ false,
1179
+ true,
1180
+ false,
1181
+ true,
1182
+ false,
1183
+ true,
1184
+ true,
1185
+ true,
1186
+ false,
1187
+ true,
1188
+ true,
1189
+ true,
1190
+ true,
1191
+ false
1192
+ ],
1193
+ "model.layers.12.self_attn.v_proj.lora_E": [
1194
+ true,
1195
+ true,
1196
+ false,
1197
+ false,
1198
+ false,
1199
+ true,
1200
+ false,
1201
+ true,
1202
+ false,
1203
+ false,
1204
+ true,
1205
+ true,
1206
+ true,
1207
+ true,
1208
+ false,
1209
+ false,
1210
+ true,
1211
+ true,
1212
+ false,
1213
+ true,
1214
+ true,
1215
+ false,
1216
+ true,
1217
+ true,
1218
+ true,
1219
+ true,
1220
+ true,
1221
+ true,
1222
+ true,
1223
+ true,
1224
+ true,
1225
+ true
1226
+ ],
1227
+ "model.layers.13.mlp.down_proj.lora_E": [
1228
+ true,
1229
+ true,
1230
+ false,
1231
+ false,
1232
+ true,
1233
+ true,
1234
+ false,
1235
+ true,
1236
+ true,
1237
+ false,
1238
+ true,
1239
+ false,
1240
+ false,
1241
+ false,
1242
+ true,
1243
+ true,
1244
+ true,
1245
+ false,
1246
+ true,
1247
+ true,
1248
+ false,
1249
+ true,
1250
+ true,
1251
+ true,
1252
+ true,
1253
+ true,
1254
+ true,
1255
+ true,
1256
+ false,
1257
+ false,
1258
+ false,
1259
+ true
1260
+ ],
1261
+ "model.layers.13.mlp.gate_proj.lora_E": [
1262
+ true,
1263
+ true,
1264
+ false,
1265
+ false,
1266
+ true,
1267
+ false,
1268
+ true,
1269
+ false,
1270
+ true,
1271
+ true,
1272
+ false,
1273
+ true,
1274
+ true,
1275
+ false,
1276
+ false,
1277
+ false,
1278
+ true,
1279
+ true,
1280
+ false,
1281
+ false,
1282
+ false,
1283
+ false,
1284
+ false,
1285
+ false,
1286
+ true,
1287
+ true,
1288
+ true,
1289
+ true,
1290
+ false,
1291
+ false,
1292
+ false,
1293
+ true
1294
+ ],
1295
+ "model.layers.13.mlp.up_proj.lora_E": [
1296
+ true,
1297
+ true,
1298
+ true,
1299
+ true,
1300
+ true,
1301
+ true,
1302
+ true,
1303
+ true,
1304
+ true,
1305
+ true,
1306
+ false,
1307
+ true,
1308
+ true,
1309
+ true,
1310
+ true,
1311
+ false,
1312
+ true,
1313
+ false,
1314
+ true,
1315
+ true,
1316
+ false,
1317
+ false,
1318
+ true,
1319
+ true,
1320
+ false,
1321
+ true,
1322
+ false,
1323
+ true,
1324
+ true,
1325
+ true,
1326
+ true,
1327
+ true
1328
+ ],
1329
+ "model.layers.13.self_attn.k_proj.lora_E": [
1330
+ true,
1331
+ false,
1332
+ false,
1333
+ true,
1334
+ false,
1335
+ false,
1336
+ false,
1337
+ false,
1338
+ true,
1339
+ false,
1340
+ false,
1341
+ false,
1342
+ false,
1343
+ false,
1344
+ true,
1345
+ false,
1346
+ true,
1347
+ false,
1348
+ false,
1349
+ true,
1350
+ false,
1351
+ true,
1352
+ true,
1353
+ false,
1354
+ false,
1355
+ false,
1356
+ false,
1357
+ false,
1358
+ false,
1359
+ false,
1360
+ false,
1361
+ false
1362
+ ],
1363
+ "model.layers.13.self_attn.o_proj.lora_E": [
1364
+ true,
1365
+ true,
1366
+ true,
1367
+ true,
1368
+ true,
1369
+ false,
1370
+ false,
1371
+ true,
1372
+ true,
1373
+ true,
1374
+ true,
1375
+ true,
1376
+ false,
1377
+ false,
1378
+ false,
1379
+ false,
1380
+ true,
1381
+ true,
1382
+ true,
1383
+ false,
1384
+ true,
1385
+ true,
1386
+ true,
1387
+ false,
1388
+ true,
1389
+ true,
1390
+ false,
1391
+ true,
1392
+ true,
1393
+ true,
1394
+ true,
1395
+ true
1396
+ ],
1397
+ "model.layers.13.self_attn.q_proj.lora_E": [
1398
+ false,
1399
+ false,
1400
+ true,
1401
+ true,
1402
+ true,
1403
+ true,
1404
+ true,
1405
+ false,
1406
+ true,
1407
+ true,
1408
+ true,
1409
+ false,
1410
+ true,
1411
+ true,
1412
+ true,
1413
+ true,
1414
+ true,
1415
+ true,
1416
+ true,
1417
+ true,
1418
+ true,
1419
+ true,
1420
+ true,
1421
+ true,
1422
+ true,
1423
+ true,
1424
+ true,
1425
+ true,
1426
+ true,
1427
+ true,
1428
+ true,
1429
+ true
1430
+ ],
1431
+ "model.layers.13.self_attn.v_proj.lora_E": [
1432
+ false,
1433
+ true,
1434
+ false,
1435
+ true,
1436
+ false,
1437
+ true,
1438
+ false,
1439
+ true,
1440
+ true,
1441
+ true,
1442
+ true,
1443
+ true,
1444
+ true,
1445
+ true,
1446
+ false,
1447
+ true,
1448
+ true,
1449
+ true,
1450
+ false,
1451
+ true,
1452
+ false,
1453
+ true,
1454
+ true,
1455
+ true,
1456
+ false,
1457
+ true,
1458
+ true,
1459
+ false,
1460
+ false,
1461
+ true,
1462
+ false,
1463
+ false
1464
+ ],
1465
+ "model.layers.14.mlp.down_proj.lora_E": [
1466
+ true,
1467
+ false,
1468
+ true,
1469
+ true,
1470
+ false,
1471
+ true,
1472
+ false,
1473
+ true,
1474
+ false,
1475
+ true,
1476
+ true,
1477
+ true,
1478
+ true,
1479
+ true,
1480
+ false,
1481
+ false,
1482
+ true,
1483
+ true,
1484
+ true,
1485
+ true,
1486
+ true,
1487
+ false,
1488
+ true,
1489
+ true,
1490
+ true,
1491
+ true,
1492
+ true,
1493
+ false,
1494
+ true,
1495
+ false,
1496
+ true,
1497
+ true
1498
+ ],
1499
+ "model.layers.14.mlp.gate_proj.lora_E": [
1500
+ true,
1501
+ false,
1502
+ true,
1503
+ true,
1504
+ true,
1505
+ true,
1506
+ true,
1507
+ false,
1508
+ true,
1509
+ true,
1510
+ false,
1511
+ true,
1512
+ true,
1513
+ false,
1514
+ true,
1515
+ true,
1516
+ true,
1517
+ true,
1518
+ true,
1519
+ false,
1520
+ false,
1521
+ true,
1522
+ false,
1523
+ false,
1524
+ false,
1525
+ true,
1526
+ true,
1527
+ true,
1528
+ false,
1529
+ true,
1530
+ true,
1531
+ true
1532
+ ],
1533
+ "model.layers.14.mlp.up_proj.lora_E": [
1534
+ true,
1535
+ true,
1536
+ true,
1537
+ true,
1538
+ true,
1539
+ true,
1540
+ true,
1541
+ true,
1542
+ false,
1543
+ true,
1544
+ false,
1545
+ false,
1546
+ false,
1547
+ false,
1548
+ true,
1549
+ true,
1550
+ true,
1551
+ true,
1552
+ true,
1553
+ true,
1554
+ true,
1555
+ true,
1556
+ true,
1557
+ true,
1558
+ true,
1559
+ true,
1560
+ true,
1561
+ false,
1562
+ false,
1563
+ false,
1564
+ true,
1565
+ true
1566
+ ],
1567
+ "model.layers.14.self_attn.k_proj.lora_E": [
1568
+ true,
1569
+ false,
1570
+ false,
1571
+ false,
1572
+ true,
1573
+ true,
1574
+ false,
1575
+ false,
1576
+ false,
1577
+ false,
1578
+ false,
1579
+ true,
1580
+ false,
1581
+ true,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
+ false,
1587
+ false,
1588
+ true,
1589
+ false,
1590
+ false,
1591
+ false,
1592
+ true,
1593
+ true,
1594
+ false,
1595
+ false,
1596
+ false,
1597
+ false,
1598
+ false,
1599
+ false
1600
+ ],
1601
+ "model.layers.14.self_attn.o_proj.lora_E": [
1602
+ true,
1603
+ false,
1604
+ true,
1605
+ true,
1606
+ false,
1607
+ true,
1608
+ false,
1609
+ false,
1610
+ true,
1611
+ false,
1612
+ true,
1613
+ true,
1614
+ true,
1615
+ false,
1616
+ true,
1617
+ true,
1618
+ false,
1619
+ true,
1620
+ false,
1621
+ false,
1622
+ true,
1623
+ true,
1624
+ true,
1625
+ true,
1626
+ true,
1627
+ false,
1628
+ true,
1629
+ true,
1630
+ true,
1631
+ false,
1632
+ true,
1633
+ false
1634
+ ],
1635
+ "model.layers.14.self_attn.q_proj.lora_E": [
1636
+ false,
1637
+ true,
1638
+ true,
1639
+ true,
1640
+ false,
1641
+ true,
1642
+ true,
1643
+ true,
1644
+ false,
1645
+ true,
1646
+ false,
1647
+ false,
1648
+ true,
1649
+ false,
1650
+ false,
1651
+ false,
1652
+ false,
1653
+ true,
1654
+ false,
1655
+ false,
1656
+ false,
1657
+ false,
1658
+ false,
1659
+ false,
1660
+ false,
1661
+ true,
1662
+ false,
1663
+ false,
1664
+ false,
1665
+ false,
1666
+ false,
1667
+ true
1668
+ ],
1669
+ "model.layers.14.self_attn.v_proj.lora_E": [
1670
+ false,
1671
+ true,
1672
+ true,
1673
+ false,
1674
+ true,
1675
+ true,
1676
+ false,
1677
+ true,
1678
+ true,
1679
+ true,
1680
+ false,
1681
+ true,
1682
+ true,
1683
+ true,
1684
+ true,
1685
+ false,
1686
+ true,
1687
+ true,
1688
+ true,
1689
+ true,
1690
+ false,
1691
+ true,
1692
+ true,
1693
+ false,
1694
+ true,
1695
+ true,
1696
+ false,
1697
+ false,
1698
+ true,
1699
+ false,
1700
+ true,
1701
+ true
1702
+ ],
1703
+ "model.layers.15.mlp.down_proj.lora_E": [
1704
+ true,
1705
+ false,
1706
+ true,
1707
+ true,
1708
+ true,
1709
+ true,
1710
+ true,
1711
+ true,
1712
+ true,
1713
+ false,
1714
+ true,
1715
+ true,
1716
+ false,
1717
+ false,
1718
+ true,
1719
+ true,
1720
+ true,
1721
+ false,
1722
+ true,
1723
+ false,
1724
+ true,
1725
+ true,
1726
+ true,
1727
+ true,
1728
+ false,
1729
+ false,
1730
+ true,
1731
+ true,
1732
+ true,
1733
+ false,
1734
+ true,
1735
+ true
1736
+ ],
1737
+ "model.layers.15.mlp.gate_proj.lora_E": [
1738
+ false,
1739
+ true,
1740
+ false,
1741
+ true,
1742
+ true,
1743
+ true,
1744
+ true,
1745
+ true,
1746
+ true,
1747
+ true,
1748
+ true,
1749
+ true,
1750
+ false,
1751
+ false,
1752
+ true,
1753
+ true,
1754
+ false,
1755
+ true,
1756
+ true,
1757
+ true,
1758
+ true,
1759
+ true,
1760
+ true,
1761
+ true,
1762
+ true,
1763
+ true,
1764
+ false,
1765
+ true,
1766
+ true,
1767
+ false,
1768
+ true,
1769
+ true
1770
+ ],
1771
+ "model.layers.15.mlp.up_proj.lora_E": [
1772
+ true,
1773
+ true,
1774
+ false,
1775
+ true,
1776
+ false,
1777
+ true,
1778
+ true,
1779
+ true,
1780
+ true,
1781
+ true,
1782
+ true,
1783
+ true,
1784
+ true,
1785
+ true,
1786
+ true,
1787
+ false,
1788
+ false,
1789
+ true,
1790
+ true,
1791
+ false,
1792
+ true,
1793
+ true,
1794
+ true,
1795
+ false,
1796
+ false,
1797
+ true,
1798
+ false,
1799
+ false,
1800
+ true,
1801
+ true,
1802
+ false,
1803
+ true
1804
+ ],
1805
+ "model.layers.15.self_attn.k_proj.lora_E": [
1806
+ false,
1807
+ false,
1808
+ false,
1809
+ true,
1810
+ true,
1811
+ false,
1812
+ false,
1813
+ false,
1814
+ false,
1815
+ false,
1816
+ true,
1817
+ true,
1818
+ false,
1819
+ false,
1820
+ false,
1821
+ false,
1822
+ false,
1823
+ true,
1824
+ true,
1825
+ true,
1826
+ false,
1827
+ false,
1828
+ false,
1829
+ false,
1830
+ true,
1831
+ false,
1832
+ false,
1833
+ false,
1834
+ false,
1835
+ false,
1836
+ false,
1837
+ false
1838
+ ],
1839
+ "model.layers.15.self_attn.o_proj.lora_E": [
1840
+ true,
1841
+ false,
1842
+ true,
1843
+ false,
1844
+ false,
1845
+ false,
1846
+ true,
1847
+ true,
1848
+ false,
1849
+ false,
1850
+ true,
1851
+ true,
1852
+ true,
1853
+ true,
1854
+ true,
1855
+ true,
1856
+ true,
1857
+ false,
1858
+ false,
1859
+ true,
1860
+ true,
1861
+ false,
1862
+ false,
1863
+ true,
1864
+ false,
1865
+ false,
1866
+ true,
1867
+ true,
1868
+ true,
1869
+ true,
1870
+ true,
1871
+ true
1872
+ ],
1873
+ "model.layers.15.self_attn.q_proj.lora_E": [
1874
+ false,
1875
+ false,
1876
+ false,
1877
+ true,
1878
+ true,
1879
+ false,
1880
+ true,
1881
+ true,
1882
+ true,
1883
+ false,
1884
+ true,
1885
+ true,
1886
+ false,
1887
+ false,
1888
+ true,
1889
+ true,
1890
+ true,
1891
+ true,
1892
+ false,
1893
+ false,
1894
+ true,
1895
+ true,
1896
+ false,
1897
+ false,
1898
+ false,
1899
+ false,
1900
+ false,
1901
+ false,
1902
+ false,
1903
+ true,
1904
+ false,
1905
+ false
1906
+ ],
1907
+ "model.layers.15.self_attn.v_proj.lora_E": [
1908
+ true,
1909
+ true,
1910
+ true,
1911
+ false,
1912
+ true,
1913
+ false,
1914
+ true,
1915
+ true,
1916
+ true,
1917
+ true,
1918
+ true,
1919
+ true,
1920
+ true,
1921
+ false,
1922
+ true,
1923
+ true,
1924
+ false,
1925
+ true,
1926
+ true,
1927
+ true,
1928
+ false,
1929
+ false,
1930
+ true,
1931
+ true,
1932
+ false,
1933
+ true,
1934
+ true,
1935
+ true,
1936
+ true,
1937
+ true,
1938
+ true,
1939
+ true
1940
+ ],
1941
+ "model.layers.16.mlp.down_proj.lora_E": [
1942
+ true,
1943
+ true,
1944
+ false,
1945
+ false,
1946
+ true,
1947
+ false,
1948
+ false,
1949
+ true,
1950
+ true,
1951
+ true,
1952
+ false,
1953
+ true,
1954
+ false,
1955
+ true,
1956
+ true,
1957
+ false,
1958
+ true,
1959
+ true,
1960
+ false,
1961
+ true,
1962
+ true,
1963
+ true,
1964
+ false,
1965
+ false,
1966
+ true,
1967
+ true,
1968
+ true,
1969
+ false,
1970
+ true,
1971
+ false,
1972
+ true,
1973
+ true
1974
+ ],
1975
+ "model.layers.16.mlp.gate_proj.lora_E": [
1976
+ true,
1977
+ true,
1978
+ true,
1979
+ false,
1980
+ true,
1981
+ false,
1982
+ false,
1983
+ true,
1984
+ false,
1985
+ false,
1986
+ false,
1987
+ true,
1988
+ false,
1989
+ true,
1990
+ false,
1991
+ true,
1992
+ true,
1993
+ false,
1994
+ false,
1995
+ true,
1996
+ true,
1997
+ true,
1998
+ false,
1999
+ true,
2000
+ true,
2001
+ false,
2002
+ true,
2003
+ false,
2004
+ false,
2005
+ true,
2006
+ false,
2007
+ true
2008
+ ],
2009
+ "model.layers.16.mlp.up_proj.lora_E": [
2010
+ true,
2011
+ false,
2012
+ true,
2013
+ true,
2014
+ true,
2015
+ true,
2016
+ true,
2017
+ true,
2018
+ false,
2019
+ false,
2020
+ true,
2021
+ false,
2022
+ false,
2023
+ false,
2024
+ true,
2025
+ true,
2026
+ true,
2027
+ true,
2028
+ true,
2029
+ true,
2030
+ true,
2031
+ true,
2032
+ true,
2033
+ true,
2034
+ true,
2035
+ true,
2036
+ false,
2037
+ true,
2038
+ true,
2039
+ true,
2040
+ true,
2041
+ false
2042
+ ],
2043
+ "model.layers.16.self_attn.k_proj.lora_E": [
2044
+ false,
2045
+ false,
2046
+ false,
2047
+ false,
2048
+ false,
2049
+ false,
2050
+ true,
2051
+ false,
2052
+ false,
2053
+ true,
2054
+ false,
2055
+ false,
2056
+ false,
2057
+ false,
2058
+ false,
2059
+ false,
2060
+ false,
2061
+ true,
2062
+ false,
2063
+ false,
2064
+ false,
2065
+ true,
2066
+ false,
2067
+ false,
2068
+ false,
2069
+ false,
2070
+ false,
2071
+ false,
2072
+ true,
2073
+ false,
2074
+ false,
2075
+ false
2076
+ ],
2077
+ "model.layers.16.self_attn.o_proj.lora_E": [
2078
+ false,
2079
+ true,
2080
+ false,
2081
+ false,
2082
+ true,
2083
+ false,
2084
+ false,
2085
+ true,
2086
+ false,
2087
+ true,
2088
+ true,
2089
+ false,
2090
+ true,
2091
+ true,
2092
+ false,
2093
+ false,
2094
+ true,
2095
+ false,
2096
+ false,
2097
+ true,
2098
+ false,
2099
+ true,
2100
+ false,
2101
+ false,
2102
+ false,
2103
+ false,
2104
+ false,
2105
+ true,
2106
+ false,
2107
+ false,
2108
+ false,
2109
+ false
2110
+ ],
2111
+ "model.layers.16.self_attn.q_proj.lora_E": [
2112
+ true,
2113
+ false,
2114
+ false,
2115
+ true,
2116
+ true,
2117
+ true,
2118
+ true,
2119
+ true,
2120
+ false,
2121
+ true,
2122
+ true,
2123
+ true,
2124
+ true,
2125
+ true,
2126
+ true,
2127
+ true,
2128
+ true,
2129
+ true,
2130
+ false,
2131
+ true,
2132
+ true,
2133
+ false,
2134
+ true,
2135
+ false,
2136
+ true,
2137
+ true,
2138
+ true,
2139
+ true,
2140
+ true,
2141
+ false,
2142
+ true,
2143
+ true
2144
+ ],
2145
+ "model.layers.16.self_attn.v_proj.lora_E": [
2146
+ false,
2147
+ false,
2148
+ false,
2149
+ false,
2150
+ false,
2151
+ false,
2152
+ true,
2153
+ true,
2154
+ false,
2155
+ true,
2156
+ false,
2157
+ true,
2158
+ true,
2159
+ true,
2160
+ true,
2161
+ false,
2162
+ true,
2163
+ false,
2164
+ false,
2165
+ true,
2166
+ true,
2167
+ true,
2168
+ false,
2169
+ true,
2170
+ true,
2171
+ true,
2172
+ false,
2173
+ false,
2174
+ true,
2175
+ true,
2176
+ true,
2177
+ true
2178
+ ],
2179
+ "model.layers.17.mlp.down_proj.lora_E": [
2180
+ false,
2181
+ true,
2182
+ true,
2183
+ false,
2184
+ true,
2185
+ true,
2186
+ true,
2187
+ true,
2188
+ false,
2189
+ false,
2190
+ false,
2191
+ false,
2192
+ false,
2193
+ true,
2194
+ true,
2195
+ false,
2196
+ true,
2197
+ false,
2198
+ false,
2199
+ false,
2200
+ false,
2201
+ false,
2202
+ false,
2203
+ true,
2204
+ true,
2205
+ false,
2206
+ true,
2207
+ true,
2208
+ false,
2209
+ true,
2210
+ false,
2211
+ false
2212
+ ],
2213
+ "model.layers.17.mlp.gate_proj.lora_E": [
2214
+ true,
2215
+ true,
2216
+ true,
2217
+ false,
2218
+ true,
2219
+ true,
2220
+ true,
2221
+ true,
2222
+ true,
2223
+ false,
2224
+ true,
2225
+ true,
2226
+ true,
2227
+ false,
2228
+ true,
2229
+ true,
2230
+ false,
2231
+ false,
2232
+ true,
2233
+ false,
2234
+ true,
2235
+ false,
2236
+ false,
2237
+ true,
2238
+ false,
2239
+ false,
2240
+ true,
2241
+ true,
2242
+ false,
2243
+ true,
2244
+ true,
2245
+ true
2246
+ ],
2247
+ "model.layers.17.mlp.up_proj.lora_E": [
2248
+ false,
2249
+ false,
2250
+ true,
2251
+ false,
2252
+ false,
2253
+ true,
2254
+ true,
2255
+ true,
2256
+ true,
2257
+ true,
2258
+ true,
2259
+ true,
2260
+ true,
2261
+ true,
2262
+ true,
2263
+ true,
2264
+ true,
2265
+ true,
2266
+ true,
2267
+ true,
2268
+ true,
2269
+ true,
2270
+ true,
2271
+ true,
2272
+ true,
2273
+ true,
2274
+ true,
2275
+ true,
2276
+ false,
2277
+ false,
2278
+ true,
2279
+ true
2280
+ ],
2281
+ "model.layers.17.self_attn.k_proj.lora_E": [
2282
+ false,
2283
+ false,
2284
+ false,
2285
+ true,
2286
+ false,
2287
+ true,
2288
+ false,
2289
+ false,
2290
+ true,
2291
+ false,
2292
+ false,
2293
+ false,
2294
+ true,
2295
+ false,
2296
+ true,
2297
+ false,
2298
+ true,
2299
+ false,
2300
+ true,
2301
+ false,
2302
+ false,
2303
+ false,
2304
+ true,
2305
+ true,
2306
+ false,
2307
+ false,
2308
+ false,
2309
+ false,
2310
+ true,
2311
+ true,
2312
+ false,
2313
+ false
2314
+ ],
2315
+ "model.layers.17.self_attn.o_proj.lora_E": [
2316
+ true,
2317
+ true,
2318
+ true,
2319
+ true,
2320
+ true,
2321
+ true,
2322
+ true,
2323
+ false,
2324
+ true,
2325
+ true,
2326
+ false,
2327
+ true,
2328
+ true,
2329
+ false,
2330
+ false,
2331
+ true,
2332
+ false,
2333
+ true,
2334
+ true,
2335
+ true,
2336
+ true,
2337
+ true,
2338
+ true,
2339
+ true,
2340
+ true,
2341
+ false,
2342
+ true,
2343
+ false,
2344
+ true,
2345
+ false,
2346
+ true,
2347
+ false
2348
+ ],
2349
+ "model.layers.17.self_attn.q_proj.lora_E": [
2350
+ true,
2351
+ true,
2352
+ false,
2353
+ true,
2354
+ true,
2355
+ false,
2356
+ true,
2357
+ true,
2358
+ false,
2359
+ true,
2360
+ true,
2361
+ true,
2362
+ true,
2363
+ false,
2364
+ true,
2365
+ true,
2366
+ true,
2367
+ true,
2368
+ true,
2369
+ true,
2370
+ true,
2371
+ false,
2372
+ true,
2373
+ true,
2374
+ true,
2375
+ true,
2376
+ true,
2377
+ true,
2378
+ true,
2379
+ false,
2380
+ true,
2381
+ true
2382
+ ],
2383
+ "model.layers.17.self_attn.v_proj.lora_E": [
2384
+ false,
2385
+ true,
2386
+ false,
2387
+ false,
2388
+ true,
2389
+ false,
2390
+ false,
2391
+ true,
2392
+ false,
2393
+ true,
2394
+ false,
2395
+ false,
2396
+ true,
2397
+ true,
2398
+ false,
2399
+ false,
2400
+ true,
2401
+ false,
2402
+ true,
2403
+ true,
2404
+ true,
2405
+ true,
2406
+ true,
2407
+ true,
2408
+ false,
2409
+ false,
2410
+ false,
2411
+ false,
2412
+ true,
2413
+ true,
2414
+ true,
2415
+ false
2416
+ ],
2417
+ "model.layers.18.mlp.down_proj.lora_E": [
2418
+ false,
2419
+ false,
2420
+ false,
2421
+ false,
2422
+ true,
2423
+ true,
2424
+ false,
2425
+ false,
2426
+ false,
2427
+ false,
2428
+ true,
2429
+ false,
2430
+ false,
2431
+ false,
2432
+ false,
2433
+ false,
2434
+ false,
2435
+ false,
2436
+ false,
2437
+ true,
2438
+ false,
2439
+ false,
2440
+ false,
2441
+ false,
2442
+ false,
2443
+ false,
2444
+ false,
2445
+ false,
2446
+ false,
2447
+ false,
2448
+ false,
2449
+ false
2450
+ ],
2451
+ "model.layers.18.mlp.gate_proj.lora_E": [
2452
+ true,
2453
+ false,
2454
+ false,
2455
+ true,
2456
+ false,
2457
+ false,
2458
+ false,
2459
+ true,
2460
+ false,
2461
+ false,
2462
+ false,
2463
+ true,
2464
+ false,
2465
+ false,
2466
+ false,
2467
+ true,
2468
+ false,
2469
+ false,
2470
+ false,
2471
+ false,
2472
+ false,
2473
+ false,
2474
+ false,
2475
+ false,
2476
+ false,
2477
+ false,
2478
+ false,
2479
+ false,
2480
+ true,
2481
+ false,
2482
+ false,
2483
+ false
2484
+ ],
2485
+ "model.layers.18.mlp.up_proj.lora_E": [
2486
+ false,
2487
+ false,
2488
+ false,
2489
+ false,
2490
+ false,
2491
+ false,
2492
+ false,
2493
+ false,
2494
+ false,
2495
+ false,
2496
+ false,
2497
+ true,
2498
+ false,
2499
+ false,
2500
+ false,
2501
+ false,
2502
+ true,
2503
+ false,
2504
+ false,
2505
+ true,
2506
+ false,
2507
+ false,
2508
+ false,
2509
+ true,
2510
+ false,
2511
+ true,
2512
+ false,
2513
+ false,
2514
+ true,
2515
+ false,
2516
+ false,
2517
+ false
2518
+ ],
2519
+ "model.layers.18.self_attn.k_proj.lora_E": [
2520
+ false,
2521
+ false,
2522
+ true,
2523
+ false,
2524
+ false,
2525
+ false,
2526
+ false,
2527
+ false,
2528
+ false,
2529
+ false,
2530
+ false,
2531
+ true,
2532
+ false,
2533
+ false,
2534
+ false,
2535
+ false,
2536
+ false,
2537
+ false,
2538
+ false,
2539
+ false,
2540
+ false,
2541
+ true,
2542
+ false,
2543
+ true,
2544
+ false,
2545
+ true,
2546
+ false,
2547
+ false,
2548
+ false,
2549
+ false,
2550
+ false,
2551
+ false
2552
+ ],
2553
+ "model.layers.18.self_attn.o_proj.lora_E": [
2554
+ false,
2555
+ false,
2556
+ false,
2557
+ false,
2558
+ true,
2559
+ false,
2560
+ false,
2561
+ false,
2562
+ false,
2563
+ false,
2564
+ false,
2565
+ false,
2566
+ true,
2567
+ true,
2568
+ true,
2569
+ true,
2570
+ false,
2571
+ false,
2572
+ false,
2573
+ true,
2574
+ false,
2575
+ false,
2576
+ false,
2577
+ false,
2578
+ false,
2579
+ true,
2580
+ false,
2581
+ false,
2582
+ false,
2583
+ false,
2584
+ true,
2585
+ false
2586
+ ],
2587
+ "model.layers.18.self_attn.q_proj.lora_E": [
2588
+ true,
2589
+ true,
2590
+ true,
2591
+ false,
2592
+ true,
2593
+ false,
2594
+ false,
2595
+ true,
2596
+ false,
2597
+ true,
2598
+ true,
2599
+ true,
2600
+ true,
2601
+ true,
2602
+ false,
2603
+ false,
2604
+ false,
2605
+ true,
2606
+ true,
2607
+ true,
2608
+ false,
2609
+ true,
2610
+ true,
2611
+ false,
2612
+ true,
2613
+ false,
2614
+ false,
2615
+ false,
2616
+ true,
2617
+ true,
2618
+ true,
2619
+ true
2620
+ ],
2621
+ "model.layers.18.self_attn.v_proj.lora_E": [
2622
+ false,
2623
+ true,
2624
+ false,
2625
+ false,
2626
+ false,
2627
+ false,
2628
+ false,
2629
+ true,
2630
+ true,
2631
+ true,
2632
+ false,
2633
+ false,
2634
+ false,
2635
+ false,
2636
+ false,
2637
+ false,
2638
+ false,
2639
+ true,
2640
+ true,
2641
+ true,
2642
+ false,
2643
+ false,
2644
+ false,
2645
+ false,
2646
+ false,
2647
+ true,
2648
+ true,
2649
+ true,
2650
+ true,
2651
+ false,
2652
+ false,
2653
+ false
2654
+ ],
2655
+ "model.layers.19.mlp.down_proj.lora_E": [
2656
+ true,
2657
+ false,
2658
+ false,
2659
+ false,
2660
+ false,
2661
+ true,
2662
+ false,
2663
+ false,
2664
+ true,
2665
+ false,
2666
+ true,
2667
+ false,
2668
+ true,
2669
+ false,
2670
+ false,
2671
+ false,
2672
+ false,
2673
+ false,
2674
+ true,
2675
+ false,
2676
+ false,
2677
+ false,
2678
+ false,
2679
+ false,
2680
+ true,
2681
+ false,
2682
+ false,
2683
+ false,
2684
+ true,
2685
+ false,
2686
+ true,
2687
+ false
2688
+ ],
2689
+ "model.layers.19.mlp.gate_proj.lora_E": [
2690
+ false,
2691
+ false,
2692
+ false,
2693
+ false,
2694
+ true,
2695
+ false,
2696
+ false,
2697
+ false,
2698
+ true,
2699
+ false,
2700
+ false,
2701
+ true,
2702
+ false,
2703
+ false,
2704
+ true,
2705
+ false,
2706
+ false,
2707
+ true,
2708
+ false,
2709
+ false,
2710
+ false,
2711
+ false,
2712
+ false,
2713
+ false,
2714
+ false,
2715
+ false,
2716
+ false,
2717
+ false,
2718
+ true,
2719
+ false,
2720
+ false,
2721
+ false
2722
+ ],
2723
+ "model.layers.19.mlp.up_proj.lora_E": [
2724
+ false,
2725
+ false,
2726
+ false,
2727
+ false,
2728
+ true,
2729
+ false,
2730
+ false,
2731
+ false,
2732
+ false,
2733
+ false,
2734
+ true,
2735
+ false,
2736
+ false,
2737
+ false,
2738
+ false,
2739
+ false,
2740
+ false,
2741
+ false,
2742
+ false,
2743
+ true,
2744
+ true,
2745
+ false,
2746
+ true,
2747
+ false,
2748
+ false,
2749
+ false,
2750
+ false,
2751
+ false,
2752
+ true,
2753
+ false,
2754
+ false,
2755
+ false
2756
+ ],
2757
+ "model.layers.19.self_attn.k_proj.lora_E": [
2758
+ false,
2759
+ false,
2760
+ false,
2761
+ false,
2762
+ false,
2763
+ false,
2764
+ false,
2765
+ false,
2766
+ false,
2767
+ false,
2768
+ false,
2769
+ false,
2770
+ false,
2771
+ false,
2772
+ false,
2773
+ false,
2774
+ false,
2775
+ false,
2776
+ false,
2777
+ false,
2778
+ false,
2779
+ false,
2780
+ true,
2781
+ false,
2782
+ false,
2783
+ false,
2784
+ false,
2785
+ false,
2786
+ false,
2787
+ false,
2788
+ false,
2789
+ false
2790
+ ],
2791
+ "model.layers.19.self_attn.o_proj.lora_E": [
2792
+ false,
2793
+ false,
2794
+ false,
2795
+ false,
2796
+ true,
2797
+ false,
2798
+ false,
2799
+ false,
2800
+ true,
2801
+ false,
2802
+ true,
2803
+ true,
2804
+ false,
2805
+ true,
2806
+ false,
2807
+ true,
2808
+ false,
2809
+ false,
2810
+ true,
2811
+ false,
2812
+ false,
2813
+ false,
2814
+ false,
2815
+ false,
2816
+ true,
2817
+ false,
2818
+ false,
2819
+ false,
2820
+ false,
2821
+ true,
2822
+ true,
2823
+ false
2824
+ ],
2825
+ "model.layers.19.self_attn.q_proj.lora_E": [
2826
+ false,
2827
+ false,
2828
+ false,
2829
+ false,
2830
+ false,
2831
+ false,
2832
+ false,
2833
+ true,
2834
+ false,
2835
+ true,
2836
+ false,
2837
+ false,
2838
+ false,
2839
+ true,
2840
+ false,
2841
+ false,
2842
+ false,
2843
+ false,
2844
+ false,
2845
+ false,
2846
+ false,
2847
+ false,
2848
+ false,
2849
+ false,
2850
+ false,
2851
+ false,
2852
+ false,
2853
+ false,
2854
+ false,
2855
+ false,
2856
+ false,
2857
+ false
2858
+ ],
2859
+ "model.layers.19.self_attn.v_proj.lora_E": [
2860
+ false,
2861
+ false,
2862
+ false,
2863
+ true,
2864
+ true,
2865
+ false,
2866
+ true,
2867
+ false,
2868
+ true,
2869
+ false,
2870
+ false,
2871
+ true,
2872
+ true,
2873
+ false,
2874
+ false,
2875
+ true,
2876
+ true,
2877
+ false,
2878
+ false,
2879
+ false,
2880
+ false,
2881
+ false,
2882
+ false,
2883
+ false,
2884
+ true,
2885
+ false,
2886
+ false,
2887
+ false,
2888
+ true,
2889
+ false,
2890
+ false,
2891
+ false
2892
+ ],
2893
+ "model.layers.2.mlp.down_proj.lora_E": [
2894
+ true,
2895
+ true,
2896
+ true,
2897
+ true,
2898
+ true,
2899
+ true,
2900
+ true,
2901
+ true,
2902
+ true,
2903
+ true,
2904
+ true,
2905
+ true,
2906
+ true,
2907
+ true,
2908
+ true,
2909
+ true,
2910
+ true,
2911
+ true,
2912
+ true,
2913
+ true,
2914
+ true,
2915
+ true,
2916
+ true,
2917
+ true,
2918
+ true,
2919
+ true,
2920
+ true,
2921
+ true,
2922
+ true,
2923
+ true,
2924
+ true,
2925
+ true
2926
+ ],
2927
+ "model.layers.2.mlp.gate_proj.lora_E": [
2928
+ true,
2929
+ false,
2930
+ true,
2931
+ false,
2932
+ false,
2933
+ true,
2934
+ true,
2935
+ true,
2936
+ false,
2937
+ false,
2938
+ true,
2939
+ true,
2940
+ true,
2941
+ false,
2942
+ true,
2943
+ true,
2944
+ false,
2945
+ true,
2946
+ true,
2947
+ true,
2948
+ false,
2949
+ true,
2950
+ true,
2951
+ true,
2952
+ true,
2953
+ false,
2954
+ false,
2955
+ true,
2956
+ false,
2957
+ true,
2958
+ false,
2959
+ false
2960
+ ],
2961
+ "model.layers.2.mlp.up_proj.lora_E": [
2962
+ true,
2963
+ true,
2964
+ true,
2965
+ true,
2966
+ true,
2967
+ true,
2968
+ true,
2969
+ true,
2970
+ true,
2971
+ true,
2972
+ true,
2973
+ true,
2974
+ true,
2975
+ true,
2976
+ true,
2977
+ true,
2978
+ true,
2979
+ false,
2980
+ true,
2981
+ true,
2982
+ true,
2983
+ true,
2984
+ true,
2985
+ true,
2986
+ true,
2987
+ true,
2988
+ true,
2989
+ true,
2990
+ true,
2991
+ true,
2992
+ true,
2993
+ true
2994
+ ],
2995
+ "model.layers.2.self_attn.k_proj.lora_E": [
2996
+ false,
2997
+ false,
2998
+ false,
2999
+ false,
3000
+ true,
3001
+ true,
3002
+ false,
3003
+ false,
3004
+ true,
3005
+ false,
3006
+ true,
3007
+ false,
3008
+ false,
3009
+ false,
3010
+ false,
3011
+ false,
3012
+ false,
3013
+ true,
3014
+ true,
3015
+ true,
3016
+ true,
3017
+ false,
3018
+ true,
3019
+ true,
3020
+ false,
3021
+ false,
3022
+ true,
3023
+ true,
3024
+ false,
3025
+ true,
3026
+ true,
3027
+ false
3028
+ ],
3029
+ "model.layers.2.self_attn.o_proj.lora_E": [
3030
+ true,
3031
+ true,
3032
+ false,
3033
+ false,
3034
+ true,
3035
+ true,
3036
+ false,
3037
+ true,
3038
+ true,
3039
+ true,
3040
+ true,
3041
+ true,
3042
+ true,
3043
+ false,
3044
+ true,
3045
+ true,
3046
+ true,
3047
+ false,
3048
+ false,
3049
+ false,
3050
+ false,
3051
+ true,
3052
+ true,
3053
+ true,
3054
+ true,
3055
+ true,
3056
+ true,
3057
+ true,
3058
+ false,
3059
+ false,
3060
+ true,
3061
+ false
3062
+ ],
3063
+ "model.layers.2.self_attn.q_proj.lora_E": [
3064
+ true,
3065
+ false,
3066
+ true,
3067
+ false,
3068
+ true,
3069
+ false,
3070
+ false,
3071
+ false,
3072
+ false,
3073
+ true,
3074
+ false,
3075
+ true,
3076
+ false,
3077
+ true,
3078
+ false,
3079
+ false,
3080
+ false,
3081
+ false,
3082
+ false,
3083
+ false,
3084
+ true,
3085
+ false,
3086
+ false,
3087
+ true,
3088
+ true,
3089
+ false,
3090
+ false,
3091
+ true,
3092
+ false,
3093
+ false,
3094
+ true,
3095
+ false
3096
+ ],
3097
+ "model.layers.2.self_attn.v_proj.lora_E": [
3098
+ true,
3099
+ true,
3100
+ true,
3101
+ false,
3102
+ true,
3103
+ true,
3104
+ true,
3105
+ true,
3106
+ true,
3107
+ false,
3108
+ true,
3109
+ false,
3110
+ false,
3111
+ false,
3112
+ true,
3113
+ false,
3114
+ false,
3115
+ true,
3116
+ true,
3117
+ false,
3118
+ false,
3119
+ true,
3120
+ true,
3121
+ true,
3122
+ true,
3123
+ true,
3124
+ true,
3125
+ true,
3126
+ true,
3127
+ true,
3128
+ true,
3129
+ true
3130
+ ],
3131
+ "model.layers.20.mlp.down_proj.lora_E": [
3132
+ false,
3133
+ false,
3134
+ false,
3135
+ false,
3136
+ false,
3137
+ false,
3138
+ false,
3139
+ false,
3140
+ false,
3141
+ false,
3142
+ false,
3143
+ false,
3144
+ false,
3145
+ false,
3146
+ false,
3147
+ true,
3148
+ false,
3149
+ false,
3150
+ false,
3151
+ false,
3152
+ false,
3153
+ false,
3154
+ false,
3155
+ false,
3156
+ false,
3157
+ false,
3158
+ false,
3159
+ false,
3160
+ false,
3161
+ false,
3162
+ false,
3163
+ false
3164
+ ],
3165
+ "model.layers.20.mlp.gate_proj.lora_E": [
3166
+ false,
3167
+ false,
3168
+ false,
3169
+ false,
3170
+ false,
3171
+ true,
3172
+ false,
3173
+ true,
3174
+ true,
3175
+ false,
3176
+ false,
3177
+ true,
3178
+ false,
3179
+ false,
3180
+ true,
3181
+ false,
3182
+ false,
3183
+ true,
3184
+ false,
3185
+ false,
3186
+ false,
3187
+ false,
3188
+ true,
3189
+ true,
3190
+ false,
3191
+ true,
3192
+ false,
3193
+ true,
3194
+ false,
3195
+ false,
3196
+ false,
3197
+ false
3198
+ ],
3199
+ "model.layers.20.mlp.up_proj.lora_E": [
3200
+ false,
3201
+ false,
3202
+ true,
3203
+ false,
3204
+ false,
3205
+ false,
3206
+ false,
3207
+ false,
3208
+ false,
3209
+ false,
3210
+ true,
3211
+ false,
3212
+ false,
3213
+ false,
3214
+ false,
3215
+ true,
3216
+ false,
3217
+ false,
3218
+ false,
3219
+ false,
3220
+ false,
3221
+ true,
3222
+ false,
3223
+ true,
3224
+ false,
3225
+ false,
3226
+ false,
3227
+ true,
3228
+ false,
3229
+ false,
3230
+ false,
3231
+ false
3232
+ ],
3233
+ "model.layers.20.self_attn.k_proj.lora_E": [
3234
+ false,
3235
+ false,
3236
+ false,
3237
+ false,
3238
+ false,
3239
+ false,
3240
+ false,
3241
+ false,
3242
+ false,
3243
+ false,
3244
+ false,
3245
+ false,
3246
+ false,
3247
+ false,
3248
+ false,
3249
+ false,
3250
+ false,
3251
+ false,
3252
+ false,
3253
+ false,
3254
+ false,
3255
+ false,
3256
+ false,
3257
+ true,
3258
+ false,
3259
+ false,
3260
+ false,
3261
+ false,
3262
+ false,
3263
+ false,
3264
+ true,
3265
+ false
3266
+ ],
3267
+ "model.layers.20.self_attn.o_proj.lora_E": [
3268
+ true,
3269
+ false,
3270
+ false,
3271
+ false,
3272
+ false,
3273
+ false,
3274
+ false,
3275
+ false,
3276
+ false,
3277
+ false,
3278
+ true,
3279
+ false,
3280
+ false,
3281
+ false,
3282
+ false,
3283
+ false,
3284
+ false,
3285
+ true,
3286
+ false,
3287
+ false,
3288
+ false,
3289
+ false,
3290
+ false,
3291
+ false,
3292
+ false,
3293
+ false,
3294
+ false,
3295
+ true,
3296
+ true,
3297
+ true,
3298
+ true,
3299
+ false
3300
+ ],
3301
+ "model.layers.20.self_attn.q_proj.lora_E": [
3302
+ false,
3303
+ false,
3304
+ false,
3305
+ false,
3306
+ false,
3307
+ false,
3308
+ false,
3309
+ false,
3310
+ false,
3311
+ false,
3312
+ false,
3313
+ false,
3314
+ true,
3315
+ false,
3316
+ false,
3317
+ false,
3318
+ false,
3319
+ false,
3320
+ false,
3321
+ false,
3322
+ false,
3323
+ false,
3324
+ false,
3325
+ false,
3326
+ false,
3327
+ false,
3328
+ false,
3329
+ false,
3330
+ false,
3331
+ false,
3332
+ false,
3333
+ false
3334
+ ],
3335
+ "model.layers.20.self_attn.v_proj.lora_E": [
3336
+ false,
3337
+ false,
3338
+ false,
3339
+ false,
3340
+ false,
3341
+ false,
3342
+ false,
3343
+ false,
3344
+ false,
3345
+ false,
3346
+ false,
3347
+ true,
3348
+ false,
3349
+ false,
3350
+ false,
3351
+ true,
3352
+ false,
3353
+ false,
3354
+ false,
3355
+ false,
3356
+ false,
3357
+ false,
3358
+ false,
3359
+ false,
3360
+ false,
3361
+ false,
3362
+ false,
3363
+ true,
3364
+ false,
3365
+ true,
3366
+ false,
3367
+ false
3368
+ ],
3369
+ "model.layers.21.mlp.down_proj.lora_E": [
3370
+ false,
3371
+ false,
3372
+ false,
3373
+ false,
3374
+ true,
3375
+ true,
3376
+ false,
3377
+ false,
3378
+ false,
3379
+ false,
3380
+ false,
3381
+ true,
3382
+ false,
3383
+ false,
3384
+ false,
3385
+ false,
3386
+ false,
3387
+ false,
3388
+ true,
3389
+ true,
3390
+ false,
3391
+ false,
3392
+ false,
3393
+ false,
3394
+ false,
3395
+ false,
3396
+ false,
3397
+ true,
3398
+ false,
3399
+ false,
3400
+ false,
3401
+ true
3402
+ ],
3403
+ "model.layers.21.mlp.gate_proj.lora_E": [
3404
+ true,
3405
+ false,
3406
+ false,
3407
+ true,
3408
+ false,
3409
+ false,
3410
+ false,
3411
+ false,
3412
+ false,
3413
+ false,
3414
+ false,
3415
+ false,
3416
+ false,
3417
+ false,
3418
+ false,
3419
+ false,
3420
+ true,
3421
+ false,
3422
+ false,
3423
+ false,
3424
+ false,
3425
+ false,
3426
+ true,
3427
+ false,
3428
+ false,
3429
+ false,
3430
+ false,
3431
+ false,
3432
+ false,
3433
+ false,
3434
+ false,
3435
+ false
3436
+ ],
3437
+ "model.layers.21.mlp.up_proj.lora_E": [
3438
+ false,
3439
+ false,
3440
+ false,
3441
+ false,
3442
+ false,
3443
+ false,
3444
+ false,
3445
+ true,
3446
+ true,
3447
+ false,
3448
+ false,
3449
+ false,
3450
+ true,
3451
+ true,
3452
+ false,
3453
+ false,
3454
+ false,
3455
+ false,
3456
+ false,
3457
+ false,
3458
+ false,
3459
+ false,
3460
+ true,
3461
+ true,
3462
+ false,
3463
+ false,
3464
+ false,
3465
+ false,
3466
+ true,
3467
+ false,
3468
+ false,
3469
+ false
3470
+ ],
3471
+ "model.layers.21.self_attn.k_proj.lora_E": [
3472
+ false,
3473
+ false,
3474
+ false,
3475
+ false,
3476
+ false,
3477
+ false,
3478
+ true,
3479
+ false,
3480
+ false,
3481
+ false,
3482
+ false,
3483
+ false,
3484
+ false,
3485
+ false,
3486
+ false,
3487
+ false,
3488
+ true,
3489
+ false,
3490
+ true,
3491
+ false,
3492
+ false,
3493
+ false,
3494
+ true,
3495
+ false,
3496
+ false,
3497
+ false,
3498
+ false,
3499
+ false,
3500
+ false,
3501
+ false,
3502
+ false,
3503
+ false
3504
+ ],
3505
+ "model.layers.21.self_attn.o_proj.lora_E": [
3506
+ false,
3507
+ false,
3508
+ true,
3509
+ true,
3510
+ true,
3511
+ false,
3512
+ false,
3513
+ false,
3514
+ false,
3515
+ false,
3516
+ false,
3517
+ false,
3518
+ false,
3519
+ false,
3520
+ false,
3521
+ false,
3522
+ true,
3523
+ true,
3524
+ true,
3525
+ false,
3526
+ false,
3527
+ false,
3528
+ true,
3529
+ true,
3530
+ true,
3531
+ false,
3532
+ false,
3533
+ false,
3534
+ false,
3535
+ false,
3536
+ true,
3537
+ true
3538
+ ],
3539
+ "model.layers.21.self_attn.q_proj.lora_E": [
3540
+ false,
3541
+ false,
3542
+ true,
3543
+ true,
3544
+ false,
3545
+ false,
3546
+ true,
3547
+ true,
3548
+ true,
3549
+ true,
3550
+ true,
3551
+ false,
3552
+ false,
3553
+ false,
3554
+ true,
3555
+ false,
3556
+ false,
3557
+ false,
3558
+ false,
3559
+ false,
3560
+ false,
3561
+ false,
3562
+ false,
3563
+ true,
3564
+ true,
3565
+ false,
3566
+ true,
3567
+ false,
3568
+ false,
3569
+ true,
3570
+ false,
3571
+ false
3572
+ ],
3573
+ "model.layers.21.self_attn.v_proj.lora_E": [
3574
+ false,
3575
+ false,
3576
+ true,
3577
+ true,
3578
+ false,
3579
+ false,
3580
+ false,
3581
+ false,
3582
+ false,
3583
+ false,
3584
+ false,
3585
+ false,
3586
+ true,
3587
+ true,
3588
+ true,
3589
+ false,
3590
+ true,
3591
+ false,
3592
+ false,
3593
+ false,
3594
+ false,
3595
+ false,
3596
+ false,
3597
+ false,
3598
+ false,
3599
+ false,
3600
+ false,
3601
+ false,
3602
+ false,
3603
+ true,
3604
+ true,
3605
+ false
3606
+ ],
3607
+ "model.layers.22.mlp.down_proj.lora_E": [
3608
+ false,
3609
+ false,
3610
+ false,
3611
+ false,
3612
+ false,
3613
+ true,
3614
+ false,
3615
+ false,
3616
+ false,
3617
+ false,
3618
+ false,
3619
+ false,
3620
+ false,
3621
+ true,
3622
+ false,
3623
+ false,
3624
+ false,
3625
+ false,
3626
+ false,
3627
+ false,
3628
+ false,
3629
+ false,
3630
+ false,
3631
+ false,
3632
+ false,
3633
+ false,
3634
+ false,
3635
+ false,
3636
+ false,
3637
+ true,
3638
+ false,
3639
+ true
3640
+ ],
3641
+ "model.layers.22.mlp.gate_proj.lora_E": [
3642
+ false,
3643
+ true,
3644
+ true,
3645
+ false,
3646
+ false,
3647
+ false,
3648
+ false,
3649
+ false,
3650
+ false,
3651
+ false,
3652
+ false,
3653
+ false,
3654
+ false,
3655
+ false,
3656
+ false,
3657
+ false,
3658
+ false,
3659
+ false,
3660
+ false,
3661
+ false,
3662
+ false,
3663
+ false,
3664
+ false,
3665
+ false,
3666
+ false,
3667
+ true,
3668
+ false,
3669
+ false,
3670
+ false,
3671
+ true,
3672
+ false,
3673
+ false
3674
+ ],
3675
+ "model.layers.22.mlp.up_proj.lora_E": [
3676
+ false,
3677
+ false,
3678
+ false,
3679
+ false,
3680
+ false,
3681
+ false,
3682
+ false,
3683
+ false,
3684
+ false,
3685
+ false,
3686
+ false,
3687
+ false,
3688
+ false,
3689
+ false,
3690
+ false,
3691
+ false,
3692
+ false,
3693
+ false,
3694
+ true,
3695
+ false,
3696
+ false,
3697
+ false,
3698
+ false,
3699
+ false,
3700
+ true,
3701
+ false,
3702
+ false,
3703
+ false,
3704
+ true,
3705
+ false,
3706
+ false,
3707
+ true
3708
+ ],
3709
+ "model.layers.22.self_attn.k_proj.lora_E": [
3710
+ false,
3711
+ false,
3712
+ false,
3713
+ false,
3714
+ false,
3715
+ false,
3716
+ false,
3717
+ false,
3718
+ false,
3719
+ false,
3720
+ false,
3721
+ false,
3722
+ false,
3723
+ false,
3724
+ false,
3725
+ false,
3726
+ false,
3727
+ false,
3728
+ false,
3729
+ false,
3730
+ false,
3731
+ false,
3732
+ false,
3733
+ false,
3734
+ false,
3735
+ false,
3736
+ false,
3737
+ false,
3738
+ false,
3739
+ false,
3740
+ true,
3741
+ false
3742
+ ],
3743
+ "model.layers.22.self_attn.o_proj.lora_E": [
3744
+ false,
3745
+ false,
3746
+ false,
3747
+ false,
3748
+ false,
3749
+ false,
3750
+ false,
3751
+ false,
3752
+ false,
3753
+ false,
3754
+ false,
3755
+ false,
3756
+ false,
3757
+ false,
3758
+ false,
3759
+ false,
3760
+ false,
3761
+ false,
3762
+ false,
3763
+ false,
3764
+ false,
3765
+ true,
3766
+ false,
3767
+ false,
3768
+ false,
3769
+ false,
3770
+ false,
3771
+ false,
3772
+ false,
3773
+ false,
3774
+ false,
3775
+ false
3776
+ ],
3777
+ "model.layers.22.self_attn.q_proj.lora_E": [
3778
+ false,
3779
+ false,
3780
+ true,
3781
+ false,
3782
+ false,
3783
+ false,
3784
+ true,
3785
+ false,
3786
+ false,
3787
+ false,
3788
+ true,
3789
+ false,
3790
+ false,
3791
+ false,
3792
+ false,
3793
+ false,
3794
+ false,
3795
+ false,
3796
+ false,
3797
+ false,
3798
+ true,
3799
+ false,
3800
+ false,
3801
+ false,
3802
+ false,
3803
+ false,
3804
+ false,
3805
+ false,
3806
+ false,
3807
+ true,
3808
+ false,
3809
+ true
3810
+ ],
3811
+ "model.layers.22.self_attn.v_proj.lora_E": [
3812
+ false,
3813
+ false,
3814
+ false,
3815
+ true,
3816
+ false,
3817
+ false,
3818
+ false,
3819
+ false,
3820
+ false,
3821
+ false,
3822
+ false,
3823
+ false,
3824
+ false,
3825
+ false,
3826
+ false,
3827
+ false,
3828
+ false,
3829
+ false,
3830
+ false,
3831
+ false,
3832
+ false,
3833
+ false,
3834
+ false,
3835
+ false,
3836
+ false,
3837
+ false,
3838
+ false,
3839
+ false,
3840
+ false,
3841
+ false,
3842
+ false,
3843
+ true
3844
+ ],
3845
+ "model.layers.23.mlp.down_proj.lora_E": [
3846
+ false,
3847
+ false,
3848
+ false,
3849
+ false,
3850
+ false,
3851
+ true,
3852
+ false,
3853
+ false,
3854
+ false,
3855
+ false,
3856
+ true,
3857
+ false,
3858
+ false,
3859
+ false,
3860
+ false,
3861
+ false,
3862
+ false,
3863
+ false,
3864
+ false,
3865
+ false,
3866
+ false,
3867
+ false,
3868
+ false,
3869
+ false,
3870
+ false,
3871
+ false,
3872
+ false,
3873
+ false,
3874
+ false,
3875
+ false,
3876
+ false,
3877
+ false
3878
+ ],
3879
+ "model.layers.23.mlp.gate_proj.lora_E": [
3880
+ false,
3881
+ false,
3882
+ false,
3883
+ false,
3884
+ false,
3885
+ false,
3886
+ false,
3887
+ false,
3888
+ false,
3889
+ false,
3890
+ false,
3891
+ false,
3892
+ false,
3893
+ false,
3894
+ false,
3895
+ false,
3896
+ false,
3897
+ false,
3898
+ false,
3899
+ false,
3900
+ false,
3901
+ false,
3902
+ false,
3903
+ false,
3904
+ false,
3905
+ true,
3906
+ false,
3907
+ false,
3908
+ false,
3909
+ false,
3910
+ false,
3911
+ false
3912
+ ],
3913
+ "model.layers.23.mlp.up_proj.lora_E": [
3914
+ false,
3915
+ false,
3916
+ false,
3917
+ false,
3918
+ false,
3919
+ false,
3920
+ false,
3921
+ false,
3922
+ false,
3923
+ false,
3924
+ false,
3925
+ false,
3926
+ false,
3927
+ false,
3928
+ false,
3929
+ false,
3930
+ false,
3931
+ false,
3932
+ false,
3933
+ false,
3934
+ false,
3935
+ false,
3936
+ false,
3937
+ false,
3938
+ false,
3939
+ false,
3940
+ false,
3941
+ true,
3942
+ false,
3943
+ false,
3944
+ false,
3945
+ false
3946
+ ],
3947
+ "model.layers.23.self_attn.k_proj.lora_E": [
3948
+ false,
3949
+ false,
3950
+ false,
3951
+ false,
3952
+ false,
3953
+ false,
3954
+ false,
3955
+ false,
3956
+ false,
3957
+ false,
3958
+ false,
3959
+ false,
3960
+ false,
3961
+ false,
3962
+ false,
3963
+ false,
3964
+ false,
3965
+ false,
3966
+ false,
3967
+ false,
3968
+ false,
3969
+ false,
3970
+ false,
3971
+ false,
3972
+ false,
3973
+ false,
3974
+ false,
3975
+ false,
3976
+ false,
3977
+ false,
3978
+ false,
3979
+ false
3980
+ ],
3981
+ "model.layers.23.self_attn.o_proj.lora_E": [
3982
+ true,
3983
+ false,
3984
+ false,
3985
+ false,
3986
+ true,
3987
+ false,
3988
+ true,
3989
+ false,
3990
+ false,
3991
+ false,
3992
+ false,
3993
+ false,
3994
+ false,
3995
+ false,
3996
+ false,
3997
+ true,
3998
+ false,
3999
+ false,
4000
+ true,
4001
+ false,
4002
+ false,
4003
+ false,
4004
+ true,
4005
+ false,
4006
+ true,
4007
+ false,
4008
+ false,
4009
+ true,
4010
+ true,
4011
+ false,
4012
+ false,
4013
+ false
4014
+ ],
4015
+ "model.layers.23.self_attn.q_proj.lora_E": [
4016
+ false,
4017
+ false,
4018
+ false,
4019
+ true,
4020
+ true,
4021
+ false,
4022
+ false,
4023
+ false,
4024
+ false,
4025
+ false,
4026
+ false,
4027
+ false,
4028
+ true,
4029
+ false,
4030
+ false,
4031
+ false,
4032
+ true,
4033
+ false,
4034
+ false,
4035
+ false,
4036
+ false,
4037
+ false,
4038
+ true,
4039
+ false,
4040
+ false,
4041
+ false,
4042
+ true,
4043
+ false,
4044
+ false,
4045
+ false,
4046
+ true,
4047
+ false
4048
+ ],
4049
+ "model.layers.23.self_attn.v_proj.lora_E": [
4050
+ false,
4051
+ true,
4052
+ false,
4053
+ false,
4054
+ false,
4055
+ false,
4056
+ false,
4057
+ false,
4058
+ false,
4059
+ false,
4060
+ false,
4061
+ false,
4062
+ false,
4063
+ false,
4064
+ false,
4065
+ false,
4066
+ false,
4067
+ false,
4068
+ false,
4069
+ true,
4070
+ false,
4071
+ false,
4072
+ false,
4073
+ false,
4074
+ false,
4075
+ false,
4076
+ false,
4077
+ false,
4078
+ false,
4079
+ false,
4080
+ false,
4081
+ false
4082
+ ],
4083
+ "model.layers.24.mlp.down_proj.lora_E": [
4084
+ false,
4085
+ false,
4086
+ false,
4087
+ false,
4088
+ false,
4089
+ false,
4090
+ false,
4091
+ false,
4092
+ false,
4093
+ false,
4094
+ false,
4095
+ false,
4096
+ false,
4097
+ false,
4098
+ false,
4099
+ false,
4100
+ false,
4101
+ false,
4102
+ false,
4103
+ false,
4104
+ false,
4105
+ false,
4106
+ false,
4107
+ false,
4108
+ false,
4109
+ false,
4110
+ false,
4111
+ false,
4112
+ false,
4113
+ false,
4114
+ false,
4115
+ false
4116
+ ],
4117
+ "model.layers.24.mlp.gate_proj.lora_E": [
4118
+ false,
4119
+ false,
4120
+ false,
4121
+ false,
4122
+ false,
4123
+ false,
4124
+ false,
4125
+ false,
4126
+ false,
4127
+ false,
4128
+ false,
4129
+ false,
4130
+ false,
4131
+ false,
4132
+ false,
4133
+ false,
4134
+ false,
4135
+ false,
4136
+ false,
4137
+ false,
4138
+ false,
4139
+ false,
4140
+ false,
4141
+ false,
4142
+ false,
4143
+ false,
4144
+ false,
4145
+ false,
4146
+ false,
4147
+ false,
4148
+ false,
4149
+ false
4150
+ ],
4151
+ "model.layers.24.mlp.up_proj.lora_E": [
4152
+ false,
4153
+ false,
4154
+ false,
4155
+ false,
4156
+ false,
4157
+ false,
4158
+ false,
4159
+ false,
4160
+ false,
4161
+ false,
4162
+ false,
4163
+ true,
4164
+ false,
4165
+ false,
4166
+ false,
4167
+ false,
4168
+ false,
4169
+ false,
4170
+ false,
4171
+ false,
4172
+ false,
4173
+ false,
4174
+ false,
4175
+ false,
4176
+ false,
4177
+ false,
4178
+ false,
4179
+ false,
4180
+ false,
4181
+ false,
4182
+ false,
4183
+ false
4184
+ ],
4185
+ "model.layers.24.self_attn.k_proj.lora_E": [
4186
+ false,
4187
+ false,
4188
+ false,
4189
+ false,
4190
+ false,
4191
+ false,
4192
+ false,
4193
+ false,
4194
+ false,
4195
+ false,
4196
+ false,
4197
+ false,
4198
+ false,
4199
+ false,
4200
+ false,
4201
+ false,
4202
+ false,
4203
+ false,
4204
+ false,
4205
+ false,
4206
+ false,
4207
+ false,
4208
+ false,
4209
+ false,
4210
+ false,
4211
+ false,
4212
+ false,
4213
+ false,
4214
+ false,
4215
+ false,
4216
+ false,
4217
+ false
4218
+ ],
4219
+ "model.layers.24.self_attn.o_proj.lora_E": [
4220
+ false,
4221
+ true,
4222
+ true,
4223
+ false,
4224
+ false,
4225
+ false,
4226
+ false,
4227
+ false,
4228
+ false,
4229
+ true,
4230
+ false,
4231
+ true,
4232
+ true,
4233
+ false,
4234
+ false,
4235
+ true,
4236
+ false,
4237
+ false,
4238
+ false,
4239
+ true,
4240
+ false,
4241
+ false,
4242
+ false,
4243
+ false,
4244
+ false,
4245
+ false,
4246
+ true,
4247
+ true,
4248
+ false,
4249
+ false,
4250
+ true,
4251
+ true
4252
+ ],
4253
+ "model.layers.24.self_attn.q_proj.lora_E": [
4254
+ false,
4255
+ false,
4256
+ false,
4257
+ true,
4258
+ false,
4259
+ false,
4260
+ false,
4261
+ false,
4262
+ false,
4263
+ false,
4264
+ false,
4265
+ false,
4266
+ false,
4267
+ true,
4268
+ false,
4269
+ false,
4270
+ false,
4271
+ false,
4272
+ false,
4273
+ false,
4274
+ false,
4275
+ false,
4276
+ false,
4277
+ false,
4278
+ false,
4279
+ false,
4280
+ false,
4281
+ false,
4282
+ false,
4283
+ false,
4284
+ false,
4285
+ false
4286
+ ],
4287
+ "model.layers.24.self_attn.v_proj.lora_E": [
4288
+ false,
4289
+ false,
4290
+ false,
4291
+ false,
4292
+ true,
4293
+ true,
4294
+ false,
4295
+ false,
4296
+ false,
4297
+ false,
4298
+ true,
4299
+ false,
4300
+ true,
4301
+ false,
4302
+ false,
4303
+ false,
4304
+ false,
4305
+ false,
4306
+ false,
4307
+ true,
4308
+ false,
4309
+ false,
4310
+ false,
4311
+ false,
4312
+ false,
4313
+ true,
4314
+ false,
4315
+ false,
4316
+ false,
4317
+ false,
4318
+ false,
4319
+ false
4320
+ ],
4321
+ "model.layers.25.mlp.down_proj.lora_E": [
4322
+ false,
4323
+ false,
4324
+ false,
4325
+ false,
4326
+ false,
4327
+ false,
4328
+ false,
4329
+ false,
4330
+ false,
4331
+ false,
4332
+ false,
4333
+ false,
4334
+ false,
4335
+ false,
4336
+ false,
4337
+ false,
4338
+ false,
4339
+ false,
4340
+ false,
4341
+ true,
4342
+ false,
4343
+ false,
4344
+ false,
4345
+ false,
4346
+ false,
4347
+ false,
4348
+ false,
4349
+ false,
4350
+ false,
4351
+ false,
4352
+ false,
4353
+ false
4354
+ ],
4355
+ "model.layers.25.mlp.gate_proj.lora_E": [
4356
+ false,
4357
+ false,
4358
+ false,
4359
+ false,
4360
+ false,
4361
+ false,
4362
+ false,
4363
+ false,
4364
+ false,
4365
+ false,
4366
+ false,
4367
+ false,
4368
+ false,
4369
+ false,
4370
+ false,
4371
+ false,
4372
+ false,
4373
+ false,
4374
+ false,
4375
+ false,
4376
+ false,
4377
+ false,
4378
+ false,
4379
+ false,
4380
+ false,
4381
+ false,
4382
+ false,
4383
+ false,
4384
+ false,
4385
+ false,
4386
+ false,
4387
+ false
4388
+ ],
4389
+ "model.layers.25.mlp.up_proj.lora_E": [
4390
+ false,
4391
+ true,
4392
+ true,
4393
+ false,
4394
+ false,
4395
+ false,
4396
+ false,
4397
+ false,
4398
+ false,
4399
+ false,
4400
+ false,
4401
+ false,
4402
+ false,
4403
+ false,
4404
+ false,
4405
+ false,
4406
+ false,
4407
+ false,
4408
+ false,
4409
+ false,
4410
+ false,
4411
+ false,
4412
+ true,
4413
+ false,
4414
+ false,
4415
+ false,
4416
+ true,
4417
+ false,
4418
+ false,
4419
+ false,
4420
+ false,
4421
+ false
4422
+ ],
4423
+ "model.layers.25.self_attn.k_proj.lora_E": [
4424
+ false,
4425
+ false,
4426
+ false,
4427
+ false,
4428
+ false,
4429
+ false,
4430
+ false,
4431
+ false,
4432
+ false,
4433
+ false,
4434
+ false,
4435
+ false,
4436
+ false,
4437
+ false,
4438
+ false,
4439
+ false,
4440
+ false,
4441
+ false,
4442
+ false,
4443
+ false,
4444
+ false,
4445
+ false,
4446
+ false,
4447
+ false,
4448
+ false,
4449
+ false,
4450
+ false,
4451
+ false,
4452
+ false,
4453
+ false,
4454
+ false,
4455
+ false
4456
+ ],
4457
+ "model.layers.25.self_attn.o_proj.lora_E": [
4458
+ false,
4459
+ true,
4460
+ false,
4461
+ false,
4462
+ false,
4463
+ true,
4464
+ false,
4465
+ false,
4466
+ false,
4467
+ false,
4468
+ false,
4469
+ false,
4470
+ false,
4471
+ false,
4472
+ false,
4473
+ false,
4474
+ false,
4475
+ false,
4476
+ false,
4477
+ false,
4478
+ false,
4479
+ false,
4480
+ false,
4481
+ false,
4482
+ false,
4483
+ false,
4484
+ true,
4485
+ false,
4486
+ false,
4487
+ false,
4488
+ false,
4489
+ false
4490
+ ],
4491
+ "model.layers.25.self_attn.q_proj.lora_E": [
4492
+ false,
4493
+ false,
4494
+ false,
4495
+ false,
4496
+ false,
4497
+ false,
4498
+ true,
4499
+ false,
4500
+ false,
4501
+ false,
4502
+ false,
4503
+ false,
4504
+ false,
4505
+ false,
4506
+ false,
4507
+ false,
4508
+ false,
4509
+ false,
4510
+ false,
4511
+ false,
4512
+ false,
4513
+ false,
4514
+ false,
4515
+ false,
4516
+ false,
4517
+ false,
4518
+ false,
4519
+ false,
4520
+ false,
4521
+ false,
4522
+ false,
4523
+ false
4524
+ ],
4525
+ "model.layers.25.self_attn.v_proj.lora_E": [
4526
+ false,
4527
+ false,
4528
+ true,
4529
+ false,
4530
+ false,
4531
+ false,
4532
+ false,
4533
+ false,
4534
+ false,
4535
+ false,
4536
+ false,
4537
+ false,
4538
+ false,
4539
+ false,
4540
+ false,
4541
+ false,
4542
+ false,
4543
+ false,
4544
+ false,
4545
+ false,
4546
+ false,
4547
+ false,
4548
+ false,
4549
+ false,
4550
+ false,
4551
+ false,
4552
+ false,
4553
+ false,
4554
+ true,
4555
+ false,
4556
+ false,
4557
+ false
4558
+ ],
4559
+ "model.layers.26.mlp.down_proj.lora_E": [
4560
+ false,
4561
+ false,
4562
+ false,
4563
+ false,
4564
+ false,
4565
+ false,
4566
+ false,
4567
+ true,
4568
+ false,
4569
+ true,
4570
+ false,
4571
+ false,
4572
+ false,
4573
+ false,
4574
+ false,
4575
+ false,
4576
+ false,
4577
+ false,
4578
+ false,
4579
+ false,
4580
+ true,
4581
+ false,
4582
+ false,
4583
+ false,
4584
+ false,
4585
+ false,
4586
+ false,
4587
+ true,
4588
+ false,
4589
+ true,
4590
+ false,
4591
+ false
4592
+ ],
4593
+ "model.layers.26.mlp.gate_proj.lora_E": [
4594
+ false,
4595
+ false,
4596
+ false,
4597
+ false,
4598
+ false,
4599
+ false,
4600
+ false,
4601
+ false,
4602
+ false,
4603
+ false,
4604
+ false,
4605
+ false,
4606
+ false,
4607
+ false,
4608
+ false,
4609
+ false,
4610
+ false,
4611
+ false,
4612
+ false,
4613
+ false,
4614
+ false,
4615
+ false,
4616
+ false,
4617
+ false,
4618
+ false,
4619
+ false,
4620
+ false,
4621
+ false,
4622
+ false,
4623
+ false,
4624
+ false,
4625
+ false
4626
+ ],
4627
+ "model.layers.26.mlp.up_proj.lora_E": [
4628
+ false,
4629
+ false,
4630
+ false,
4631
+ false,
4632
+ false,
4633
+ false,
4634
+ false,
4635
+ false,
4636
+ false,
4637
+ false,
4638
+ false,
4639
+ true,
4640
+ false,
4641
+ false,
4642
+ false,
4643
+ false,
4644
+ false,
4645
+ false,
4646
+ false,
4647
+ false,
4648
+ false,
4649
+ false,
4650
+ false,
4651
+ false,
4652
+ false,
4653
+ false,
4654
+ false,
4655
+ false,
4656
+ false,
4657
+ false,
4658
+ false,
4659
+ false
4660
+ ],
4661
+ "model.layers.26.self_attn.k_proj.lora_E": [
4662
+ false,
4663
+ false,
4664
+ false,
4665
+ false,
4666
+ false,
4667
+ false,
4668
+ false,
4669
+ false,
4670
+ false,
4671
+ false,
4672
+ false,
4673
+ false,
4674
+ false,
4675
+ false,
4676
+ false,
4677
+ false,
4678
+ false,
4679
+ false,
4680
+ false,
4681
+ false,
4682
+ false,
4683
+ false,
4684
+ false,
4685
+ false,
4686
+ false,
4687
+ false,
4688
+ false,
4689
+ false,
4690
+ false,
4691
+ false,
4692
+ false,
4693
+ false
4694
+ ],
4695
+ "model.layers.26.self_attn.o_proj.lora_E": [
4696
+ false,
4697
+ false,
4698
+ false,
4699
+ false,
4700
+ false,
4701
+ false,
4702
+ false,
4703
+ false,
4704
+ false,
4705
+ false,
4706
+ false,
4707
+ false,
4708
+ true,
4709
+ false,
4710
+ false,
4711
+ true,
4712
+ true,
4713
+ false,
4714
+ false,
4715
+ false,
4716
+ false,
4717
+ false,
4718
+ false,
4719
+ false,
4720
+ false,
4721
+ false,
4722
+ false,
4723
+ false,
4724
+ false,
4725
+ false,
4726
+ true,
4727
+ false
4728
+ ],
4729
+ "model.layers.26.self_attn.q_proj.lora_E": [
4730
+ false,
4731
+ false,
4732
+ false,
4733
+ false,
4734
+ false,
4735
+ false,
4736
+ false,
4737
+ false,
4738
+ false,
4739
+ false,
4740
+ false,
4741
+ true,
4742
+ false,
4743
+ false,
4744
+ false,
4745
+ false,
4746
+ false,
4747
+ false,
4748
+ false,
4749
+ false,
4750
+ false,
4751
+ false,
4752
+ false,
4753
+ false,
4754
+ false,
4755
+ false,
4756
+ true,
4757
+ false,
4758
+ false,
4759
+ false,
4760
+ false,
4761
+ false
4762
+ ],
4763
+ "model.layers.26.self_attn.v_proj.lora_E": [
4764
+ false,
4765
+ false,
4766
+ true,
4767
+ false,
4768
+ false,
4769
+ false,
4770
+ false,
4771
+ false,
4772
+ false,
4773
+ true,
4774
+ false,
4775
+ false,
4776
+ false,
4777
+ false,
4778
+ false,
4779
+ false,
4780
+ false,
4781
+ false,
4782
+ false,
4783
+ false,
4784
+ false,
4785
+ false,
4786
+ false,
4787
+ false,
4788
+ false,
4789
+ false,
4790
+ false,
4791
+ false,
4792
+ false,
4793
+ false,
4794
+ false,
4795
+ false
4796
+ ],
4797
+ "model.layers.27.mlp.down_proj.lora_E": [
4798
+ true,
4799
+ true,
4800
+ true,
4801
+ true,
4802
+ true,
4803
+ false,
4804
+ true,
4805
+ false,
4806
+ false,
4807
+ true,
4808
+ true,
4809
+ false,
4810
+ false,
4811
+ false,
4812
+ true,
4813
+ true,
4814
+ true,
4815
+ true,
4816
+ false,
4817
+ true,
4818
+ false,
4819
+ false,
4820
+ false,
4821
+ false,
4822
+ false,
4823
+ false,
4824
+ false,
4825
+ true,
4826
+ true,
4827
+ false,
4828
+ false,
4829
+ true
4830
+ ],
4831
+ "model.layers.27.mlp.gate_proj.lora_E": [
4832
+ false,
4833
+ false,
4834
+ true,
4835
+ false,
4836
+ false,
4837
+ false,
4838
+ false,
4839
+ false,
4840
+ false,
4841
+ false,
4842
+ false,
4843
+ false,
4844
+ false,
4845
+ true,
4846
+ false,
4847
+ false,
4848
+ false,
4849
+ false,
4850
+ false,
4851
+ true,
4852
+ false,
4853
+ false,
4854
+ false,
4855
+ false,
4856
+ false,
4857
+ false,
4858
+ false,
4859
+ false,
4860
+ true,
4861
+ false,
4862
+ false,
4863
+ false
4864
+ ],
4865
+ "model.layers.27.mlp.up_proj.lora_E": [
4866
+ false,
4867
+ false,
4868
+ true,
4869
+ false,
4870
+ false,
4871
+ false,
4872
+ true,
4873
+ false,
4874
+ false,
4875
+ true,
4876
+ true,
4877
+ true,
4878
+ false,
4879
+ false,
4880
+ false,
4881
+ false,
4882
+ false,
4883
+ false,
4884
+ true,
4885
+ false,
4886
+ false,
4887
+ false,
4888
+ false,
4889
+ false,
4890
+ false,
4891
+ true,
4892
+ true,
4893
+ true,
4894
+ false,
4895
+ false,
4896
+ false,
4897
+ false
4898
+ ],
4899
+ "model.layers.27.self_attn.k_proj.lora_E": [
4900
+ false,
4901
+ false,
4902
+ false,
4903
+ false,
4904
+ false,
4905
+ false,
4906
+ false,
4907
+ false,
4908
+ false,
4909
+ false,
4910
+ false,
4911
+ false,
4912
+ false,
4913
+ false,
4914
+ false,
4915
+ false,
4916
+ false,
4917
+ false,
4918
+ false,
4919
+ false,
4920
+ false,
4921
+ false,
4922
+ false,
4923
+ false,
4924
+ false,
4925
+ false,
4926
+ false,
4927
+ false,
4928
+ false,
4929
+ false,
4930
+ false,
4931
+ false
4932
+ ],
4933
+ "model.layers.27.self_attn.o_proj.lora_E": [
4934
+ false,
4935
+ false,
4936
+ false,
4937
+ false,
4938
+ false,
4939
+ false,
4940
+ false,
4941
+ false,
4942
+ true,
4943
+ false,
4944
+ false,
4945
+ false,
4946
+ false,
4947
+ false,
4948
+ false,
4949
+ false,
4950
+ false,
4951
+ false,
4952
+ false,
4953
+ false,
4954
+ false,
4955
+ false,
4956
+ false,
4957
+ false,
4958
+ false,
4959
+ false,
4960
+ true,
4961
+ false,
4962
+ false,
4963
+ true,
4964
+ false,
4965
+ false
4966
+ ],
4967
+ "model.layers.27.self_attn.q_proj.lora_E": [
4968
+ false,
4969
+ false,
4970
+ false,
4971
+ false,
4972
+ false,
4973
+ true,
4974
+ false,
4975
+ false,
4976
+ false,
4977
+ false,
4978
+ true,
4979
+ false,
4980
+ false,
4981
+ false,
4982
+ false,
4983
+ false,
4984
+ false,
4985
+ false,
4986
+ false,
4987
+ false,
4988
+ true,
4989
+ false,
4990
+ false,
4991
+ false,
4992
+ false,
4993
+ false,
4994
+ false,
4995
+ false,
4996
+ false,
4997
+ false,
4998
+ false,
4999
+ false
5000
+ ],
5001
+ "model.layers.27.self_attn.v_proj.lora_E": [
5002
+ false,
5003
+ false,
5004
+ false,
5005
+ false,
5006
+ false,
5007
+ false,
5008
+ false,
5009
+ false,
5010
+ false,
5011
+ false,
5012
+ false,
5013
+ false,
5014
+ false,
5015
+ false,
5016
+ false,
5017
+ false,
5018
+ false,
5019
+ false,
5020
+ false,
5021
+ false,
5022
+ false,
5023
+ false,
5024
+ false,
5025
+ false,
5026
+ false,
5027
+ false,
5028
+ false,
5029
+ false,
5030
+ false,
5031
+ false,
5032
+ false,
5033
+ false
5034
+ ],
5035
+ "model.layers.3.mlp.down_proj.lora_E": [
5036
+ false,
5037
+ true,
5038
+ true,
5039
+ true,
5040
+ true,
5041
+ true,
5042
+ true,
5043
+ true,
5044
+ true,
5045
+ true,
5046
+ false,
5047
+ true,
5048
+ true,
5049
+ true,
5050
+ true,
5051
+ false,
5052
+ true,
5053
+ true,
5054
+ true,
5055
+ true,
5056
+ true,
5057
+ true,
5058
+ true,
5059
+ true,
5060
+ true,
5061
+ true,
5062
+ false,
5063
+ true,
5064
+ true,
5065
+ true,
5066
+ true,
5067
+ true
5068
+ ],
5069
+ "model.layers.3.mlp.gate_proj.lora_E": [
5070
+ false,
5071
+ false,
5072
+ false,
5073
+ false,
5074
+ false,
5075
+ true,
5076
+ true,
5077
+ false,
5078
+ false,
5079
+ false,
5080
+ false,
5081
+ false,
5082
+ false,
5083
+ true,
5084
+ true,
5085
+ true,
5086
+ true,
5087
+ false,
5088
+ true,
5089
+ false,
5090
+ false,
5091
+ true,
5092
+ false,
5093
+ false,
5094
+ true,
5095
+ true,
5096
+ false,
5097
+ true,
5098
+ true,
5099
+ true,
5100
+ true,
5101
+ false
5102
+ ],
5103
+ "model.layers.3.mlp.up_proj.lora_E": [
5104
+ true,
5105
+ true,
5106
+ true,
5107
+ true,
5108
+ true,
5109
+ false,
5110
+ true,
5111
+ true,
5112
+ true,
5113
+ true,
5114
+ true,
5115
+ true,
5116
+ true,
5117
+ true,
5118
+ true,
5119
+ true,
5120
+ true,
5121
+ true,
5122
+ true,
5123
+ true,
5124
+ true,
5125
+ true,
5126
+ true,
5127
+ true,
5128
+ true,
5129
+ false,
5130
+ false,
5131
+ true,
5132
+ false,
5133
+ true,
5134
+ true,
5135
+ true
5136
+ ],
5137
+ "model.layers.3.self_attn.k_proj.lora_E": [
5138
+ false,
5139
+ false,
5140
+ false,
5141
+ false,
5142
+ true,
5143
+ false,
5144
+ true,
5145
+ false,
5146
+ false,
5147
+ false,
5148
+ true,
5149
+ false,
5150
+ false,
5151
+ false,
5152
+ false,
5153
+ false,
5154
+ false,
5155
+ false,
5156
+ false,
5157
+ false,
5158
+ false,
5159
+ false,
5160
+ false,
5161
+ true,
5162
+ false,
5163
+ true,
5164
+ true,
5165
+ false,
5166
+ false,
5167
+ false,
5168
+ false,
5169
+ false
5170
+ ],
5171
+ "model.layers.3.self_attn.o_proj.lora_E": [
5172
+ true,
5173
+ false,
5174
+ true,
5175
+ true,
5176
+ true,
5177
+ false,
5178
+ true,
5179
+ false,
5180
+ true,
5181
+ true,
5182
+ false,
5183
+ false,
5184
+ true,
5185
+ false,
5186
+ true,
5187
+ true,
5188
+ false,
5189
+ true,
5190
+ true,
5191
+ true,
5192
+ true,
5193
+ true,
5194
+ true,
5195
+ true,
5196
+ false,
5197
+ false,
5198
+ false,
5199
+ true,
5200
+ false,
5201
+ false,
5202
+ true,
5203
+ false
5204
+ ],
5205
+ "model.layers.3.self_attn.q_proj.lora_E": [
5206
+ false,
5207
+ false,
5208
+ false,
5209
+ false,
5210
+ false,
5211
+ false,
5212
+ false,
5213
+ true,
5214
+ true,
5215
+ false,
5216
+ false,
5217
+ false,
5218
+ true,
5219
+ false,
5220
+ false,
5221
+ false,
5222
+ true,
5223
+ true,
5224
+ false,
5225
+ false,
5226
+ true,
5227
+ true,
5228
+ false,
5229
+ false,
5230
+ false,
5231
+ true,
5232
+ false,
5233
+ true,
5234
+ false,
5235
+ false,
5236
+ false,
5237
+ true
5238
+ ],
5239
+ "model.layers.3.self_attn.v_proj.lora_E": [
5240
+ true,
5241
+ true,
5242
+ false,
5243
+ false,
5244
+ true,
5245
+ true,
5246
+ true,
5247
+ false,
5248
+ false,
5249
+ true,
5250
+ true,
5251
+ true,
5252
+ true,
5253
+ true,
5254
+ false,
5255
+ false,
5256
+ true,
5257
+ false,
5258
+ false,
5259
+ true,
5260
+ false,
5261
+ false,
5262
+ false,
5263
+ true,
5264
+ false,
5265
+ false,
5266
+ true,
5267
+ false,
5268
+ false,
5269
+ true,
5270
+ true,
5271
+ true
5272
+ ],
5273
+ "model.layers.4.mlp.down_proj.lora_E": [
5274
+ true,
5275
+ true,
5276
+ true,
5277
+ true,
5278
+ true,
5279
+ true,
5280
+ true,
5281
+ false,
5282
+ true,
5283
+ true,
5284
+ true,
5285
+ true,
5286
+ true,
5287
+ true,
5288
+ true,
5289
+ false,
5290
+ true,
5291
+ true,
5292
+ true,
5293
+ true,
5294
+ true,
5295
+ true,
5296
+ true,
5297
+ true,
5298
+ true,
5299
+ true,
5300
+ true,
5301
+ true,
5302
+ true,
5303
+ true,
5304
+ true,
5305
+ true
5306
+ ],
5307
+ "model.layers.4.mlp.gate_proj.lora_E": [
5308
+ false,
5309
+ false,
5310
+ false,
5311
+ true,
5312
+ true,
5313
+ true,
5314
+ false,
5315
+ true,
5316
+ true,
5317
+ false,
5318
+ true,
5319
+ false,
5320
+ true,
5321
+ true,
5322
+ false,
5323
+ true,
5324
+ true,
5325
+ true,
5326
+ true,
5327
+ true,
5328
+ true,
5329
+ true,
5330
+ true,
5331
+ false,
5332
+ false,
5333
+ true,
5334
+ false,
5335
+ true,
5336
+ true,
5337
+ false,
5338
+ true,
5339
+ true
5340
+ ],
5341
+ "model.layers.4.mlp.up_proj.lora_E": [
5342
+ true,
5343
+ true,
5344
+ true,
5345
+ true,
5346
+ true,
5347
+ true,
5348
+ true,
5349
+ true,
5350
+ true,
5351
+ true,
5352
+ true,
5353
+ true,
5354
+ true,
5355
+ true,
5356
+ true,
5357
+ true,
5358
+ true,
5359
+ true,
5360
+ true,
5361
+ true,
5362
+ false,
5363
+ true,
5364
+ true,
5365
+ true,
5366
+ true,
5367
+ true,
5368
+ true,
5369
+ true,
5370
+ true,
5371
+ true,
5372
+ true,
5373
+ true
5374
+ ],
5375
+ "model.layers.4.self_attn.k_proj.lora_E": [
5376
+ false,
5377
+ true,
5378
+ false,
5379
+ true,
5380
+ true,
5381
+ false,
5382
+ false,
5383
+ false,
5384
+ true,
5385
+ false,
5386
+ false,
5387
+ false,
5388
+ true,
5389
+ true,
5390
+ false,
5391
+ false,
5392
+ false,
5393
+ true,
5394
+ true,
5395
+ false,
5396
+ true,
5397
+ true,
5398
+ false,
5399
+ false,
5400
+ true,
5401
+ false,
5402
+ true,
5403
+ false,
5404
+ false,
5405
+ false,
5406
+ false,
5407
+ true
5408
+ ],
5409
+ "model.layers.4.self_attn.o_proj.lora_E": [
5410
+ false,
5411
+ true,
5412
+ true,
5413
+ true,
5414
+ true,
5415
+ true,
5416
+ true,
5417
+ true,
5418
+ false,
5419
+ false,
5420
+ true,
5421
+ true,
5422
+ true,
5423
+ true,
5424
+ true,
5425
+ true,
5426
+ true,
5427
+ false,
5428
+ true,
5429
+ true,
5430
+ false,
5431
+ false,
5432
+ true,
5433
+ true,
5434
+ true,
5435
+ false,
5436
+ true,
5437
+ true,
5438
+ true,
5439
+ true,
5440
+ true,
5441
+ true
5442
+ ],
5443
+ "model.layers.4.self_attn.q_proj.lora_E": [
5444
+ false,
5445
+ true,
5446
+ true,
5447
+ true,
5448
+ true,
5449
+ true,
5450
+ false,
5451
+ true,
5452
+ false,
5453
+ false,
5454
+ true,
5455
+ true,
5456
+ false,
5457
+ false,
5458
+ false,
5459
+ false,
5460
+ true,
5461
+ false,
5462
+ false,
5463
+ true,
5464
+ false,
5465
+ true,
5466
+ true,
5467
+ true,
5468
+ false,
5469
+ false,
5470
+ true,
5471
+ false,
5472
+ true,
5473
+ true,
5474
+ true,
5475
+ false
5476
+ ],
5477
+ "model.layers.4.self_attn.v_proj.lora_E": [
5478
+ true,
5479
+ true,
5480
+ true,
5481
+ true,
5482
+ false,
5483
+ true,
5484
+ true,
5485
+ true,
5486
+ true,
5487
+ true,
5488
+ true,
5489
+ true,
5490
+ true,
5491
+ true,
5492
+ true,
5493
+ true,
5494
+ true,
5495
+ true,
5496
+ false,
5497
+ false,
5498
+ true,
5499
+ true,
5500
+ true,
5501
+ true,
5502
+ false,
5503
+ true,
5504
+ true,
5505
+ true,
5506
+ true,
5507
+ true,
5508
+ true,
5509
+ false
5510
+ ],
5511
+ "model.layers.5.mlp.down_proj.lora_E": [
5512
+ true,
5513
+ true,
5514
+ true,
5515
+ true,
5516
+ true,
5517
+ true,
5518
+ true,
5519
+ true,
5520
+ true,
5521
+ true,
5522
+ true,
5523
+ true,
5524
+ true,
5525
+ true,
5526
+ false,
5527
+ true,
5528
+ true,
5529
+ true,
5530
+ true,
5531
+ true,
5532
+ true,
5533
+ true,
5534
+ true,
5535
+ true,
5536
+ true,
5537
+ true,
5538
+ true,
5539
+ true,
5540
+ false,
5541
+ true,
5542
+ false,
5543
+ true
5544
+ ],
5545
+ "model.layers.5.mlp.gate_proj.lora_E": [
5546
+ true,
5547
+ true,
5548
+ true,
5549
+ true,
5550
+ true,
5551
+ true,
5552
+ true,
5553
+ true,
5554
+ true,
5555
+ true,
5556
+ true,
5557
+ true,
5558
+ true,
5559
+ true,
5560
+ true,
5561
+ true,
5562
+ true,
5563
+ true,
5564
+ false,
5565
+ false,
5566
+ true,
5567
+ true,
5568
+ true,
5569
+ true,
5570
+ true,
5571
+ true,
5572
+ true,
5573
+ true,
5574
+ true,
5575
+ true,
5576
+ true,
5577
+ true
5578
+ ],
5579
+ "model.layers.5.mlp.up_proj.lora_E": [
5580
+ true,
5581
+ true,
5582
+ true,
5583
+ true,
5584
+ true,
5585
+ true,
5586
+ true,
5587
+ true,
5588
+ true,
5589
+ true,
5590
+ true,
5591
+ true,
5592
+ true,
5593
+ true,
5594
+ true,
5595
+ true,
5596
+ true,
5597
+ true,
5598
+ true,
5599
+ true,
5600
+ true,
5601
+ true,
5602
+ true,
5603
+ true,
5604
+ true,
5605
+ true,
5606
+ true,
5607
+ true,
5608
+ true,
5609
+ true,
5610
+ true,
5611
+ true
5612
+ ],
5613
+ "model.layers.5.self_attn.k_proj.lora_E": [
5614
+ false,
5615
+ false,
5616
+ false,
5617
+ false,
5618
+ true,
5619
+ true,
5620
+ false,
5621
+ true,
5622
+ false,
5623
+ false,
5624
+ true,
5625
+ true,
5626
+ false,
5627
+ true,
5628
+ false,
5629
+ false,
5630
+ true,
5631
+ true,
5632
+ false,
5633
+ false,
5634
+ true,
5635
+ true,
5636
+ false,
5637
+ true,
5638
+ true,
5639
+ false,
5640
+ false,
5641
+ true,
5642
+ true,
5643
+ true,
5644
+ false,
5645
+ true
5646
+ ],
5647
+ "model.layers.5.self_attn.o_proj.lora_E": [
5648
+ true,
5649
+ false,
5650
+ true,
5651
+ true,
5652
+ true,
5653
+ false,
5654
+ false,
5655
+ true,
5656
+ false,
5657
+ false,
5658
+ true,
5659
+ true,
5660
+ true,
5661
+ true,
5662
+ true,
5663
+ false,
5664
+ false,
5665
+ false,
5666
+ true,
5667
+ true,
5668
+ true,
5669
+ false,
5670
+ false,
5671
+ true,
5672
+ true,
5673
+ true,
5674
+ true,
5675
+ true,
5676
+ true,
5677
+ true,
5678
+ true,
5679
+ true
5680
+ ],
5681
+ "model.layers.5.self_attn.q_proj.lora_E": [
5682
+ true,
5683
+ true,
5684
+ true,
5685
+ true,
5686
+ true,
5687
+ true,
5688
+ true,
5689
+ true,
5690
+ true,
5691
+ true,
5692
+ true,
5693
+ true,
5694
+ true,
5695
+ true,
5696
+ true,
5697
+ true,
5698
+ true,
5699
+ true,
5700
+ true,
5701
+ true,
5702
+ true,
5703
+ true,
5704
+ true,
5705
+ true,
5706
+ true,
5707
+ false,
5708
+ false,
5709
+ false,
5710
+ false,
5711
+ true,
5712
+ true,
5713
+ true
5714
+ ],
5715
+ "model.layers.5.self_attn.v_proj.lora_E": [
5716
+ true,
5717
+ true,
5718
+ true,
5719
+ true,
5720
+ true,
5721
+ false,
5722
+ true,
5723
+ true,
5724
+ false,
5725
+ true,
5726
+ true,
5727
+ false,
5728
+ false,
5729
+ true,
5730
+ true,
5731
+ true,
5732
+ true,
5733
+ true,
5734
+ true,
5735
+ false,
5736
+ true,
5737
+ true,
5738
+ true,
5739
+ true,
5740
+ true,
5741
+ true,
5742
+ true,
5743
+ false,
5744
+ true,
5745
+ true,
5746
+ true,
5747
+ true
5748
+ ],
5749
+ "model.layers.6.mlp.down_proj.lora_E": [
5750
+ true,
5751
+ true,
5752
+ true,
5753
+ true,
5754
+ true,
5755
+ true,
5756
+ true,
5757
+ true,
5758
+ true,
5759
+ false,
5760
+ true,
5761
+ true,
5762
+ true,
5763
+ true,
5764
+ true,
5765
+ true,
5766
+ true,
5767
+ false,
5768
+ true,
5769
+ false,
5770
+ true,
5771
+ true,
5772
+ true,
5773
+ true,
5774
+ true,
5775
+ true,
5776
+ false,
5777
+ true,
5778
+ true,
5779
+ false,
5780
+ true,
5781
+ true
5782
+ ],
5783
+ "model.layers.6.mlp.gate_proj.lora_E": [
5784
+ true,
5785
+ true,
5786
+ true,
5787
+ false,
5788
+ true,
5789
+ false,
5790
+ true,
5791
+ true,
5792
+ true,
5793
+ true,
5794
+ true,
5795
+ true,
5796
+ false,
5797
+ false,
5798
+ true,
5799
+ false,
5800
+ true,
5801
+ true,
5802
+ true,
5803
+ true,
5804
+ true,
5805
+ false,
5806
+ true,
5807
+ true,
5808
+ true,
5809
+ true,
5810
+ true,
5811
+ true,
5812
+ true,
5813
+ true,
5814
+ true,
5815
+ true
5816
+ ],
5817
+ "model.layers.6.mlp.up_proj.lora_E": [
5818
+ true,
5819
+ true,
5820
+ true,
5821
+ true,
5822
+ true,
5823
+ true,
5824
+ true,
5825
+ true,
5826
+ true,
5827
+ true,
5828
+ true,
5829
+ true,
5830
+ true,
5831
+ true,
5832
+ true,
5833
+ true,
5834
+ true,
5835
+ true,
5836
+ true,
5837
+ true,
5838
+ true,
5839
+ true,
5840
+ true,
5841
+ true,
5842
+ true,
5843
+ true,
5844
+ true,
5845
+ true,
5846
+ true,
5847
+ true,
5848
+ true,
5849
+ true
5850
+ ],
5851
+ "model.layers.6.self_attn.k_proj.lora_E": [
5852
+ false,
5853
+ false,
5854
+ false,
5855
+ false,
5856
+ true,
5857
+ true,
5858
+ false,
5859
+ false,
5860
+ true,
5861
+ true,
5862
+ true,
5863
+ true,
5864
+ false,
5865
+ true,
5866
+ true,
5867
+ false,
5868
+ false,
5869
+ true,
5870
+ false,
5871
+ false,
5872
+ true,
5873
+ true,
5874
+ true,
5875
+ false,
5876
+ true,
5877
+ false,
5878
+ true,
5879
+ true,
5880
+ false,
5881
+ true,
5882
+ false,
5883
+ false
5884
+ ],
5885
+ "model.layers.6.self_attn.o_proj.lora_E": [
5886
+ true,
5887
+ false,
5888
+ true,
5889
+ true,
5890
+ false,
5891
+ true,
5892
+ true,
5893
+ true,
5894
+ true,
5895
+ true,
5896
+ true,
5897
+ false,
5898
+ false,
5899
+ false,
5900
+ true,
5901
+ true,
5902
+ true,
5903
+ true,
5904
+ false,
5905
+ true,
5906
+ true,
5907
+ false,
5908
+ false,
5909
+ true,
5910
+ true,
5911
+ true,
5912
+ true,
5913
+ false,
5914
+ false,
5915
+ false,
5916
+ true,
5917
+ true
5918
+ ],
5919
+ "model.layers.6.self_attn.q_proj.lora_E": [
5920
+ true,
5921
+ true,
5922
+ false,
5923
+ true,
5924
+ true,
5925
+ true,
5926
+ true,
5927
+ true,
5928
+ false,
5929
+ false,
5930
+ false,
5931
+ false,
5932
+ false,
5933
+ true,
5934
+ true,
5935
+ true,
5936
+ true,
5937
+ false,
5938
+ true,
5939
+ false,
5940
+ true,
5941
+ false,
5942
+ false,
5943
+ false,
5944
+ true,
5945
+ true,
5946
+ true,
5947
+ true,
5948
+ true,
5949
+ false,
5950
+ true,
5951
+ false
5952
+ ],
5953
+ "model.layers.6.self_attn.v_proj.lora_E": [
5954
+ false,
5955
+ true,
5956
+ true,
5957
+ true,
5958
+ true,
5959
+ true,
5960
+ true,
5961
+ true,
5962
+ true,
5963
+ true,
5964
+ false,
5965
+ true,
5966
+ true,
5967
+ true,
5968
+ true,
5969
+ true,
5970
+ true,
5971
+ true,
5972
+ true,
5973
+ true,
5974
+ true,
5975
+ true,
5976
+ true,
5977
+ false,
5978
+ true,
5979
+ true,
5980
+ true,
5981
+ true,
5982
+ true,
5983
+ true,
5984
+ true,
5985
+ true
5986
+ ],
5987
+ "model.layers.7.mlp.down_proj.lora_E": [
5988
+ true,
5989
+ true,
5990
+ false,
5991
+ true,
5992
+ true,
5993
+ true,
5994
+ false,
5995
+ true,
5996
+ true,
5997
+ true,
5998
+ true,
5999
+ true,
6000
+ true,
6001
+ true,
6002
+ true,
6003
+ true,
6004
+ true,
6005
+ true,
6006
+ true,
6007
+ true,
6008
+ true,
6009
+ false,
6010
+ true,
6011
+ true,
6012
+ true,
6013
+ true,
6014
+ true,
6015
+ true,
6016
+ true,
6017
+ true,
6018
+ false,
6019
+ true
6020
+ ],
6021
+ "model.layers.7.mlp.gate_proj.lora_E": [
6022
+ true,
6023
+ true,
6024
+ true,
6025
+ true,
6026
+ true,
6027
+ false,
6028
+ true,
6029
+ true,
6030
+ true,
6031
+ true,
6032
+ true,
6033
+ false,
6034
+ true,
6035
+ true,
6036
+ true,
6037
+ true,
6038
+ true,
6039
+ true,
6040
+ true,
6041
+ true,
6042
+ true,
6043
+ true,
6044
+ true,
6045
+ true,
6046
+ true,
6047
+ true,
6048
+ true,
6049
+ true,
6050
+ true,
6051
+ false,
6052
+ true,
6053
+ true
6054
+ ],
6055
+ "model.layers.7.mlp.up_proj.lora_E": [
6056
+ true,
6057
+ true,
6058
+ true,
6059
+ true,
6060
+ true,
6061
+ true,
6062
+ true,
6063
+ true,
6064
+ true,
6065
+ true,
6066
+ true,
6067
+ true,
6068
+ true,
6069
+ true,
6070
+ true,
6071
+ true,
6072
+ true,
6073
+ true,
6074
+ true,
6075
+ true,
6076
+ true,
6077
+ true,
6078
+ true,
6079
+ false,
6080
+ true,
6081
+ true,
6082
+ true,
6083
+ true,
6084
+ true,
6085
+ true,
6086
+ true,
6087
+ true
6088
+ ],
6089
+ "model.layers.7.self_attn.k_proj.lora_E": [
6090
+ false,
6091
+ true,
6092
+ true,
6093
+ true,
6094
+ true,
6095
+ false,
6096
+ true,
6097
+ true,
6098
+ true,
6099
+ false,
6100
+ true,
6101
+ true,
6102
+ false,
6103
+ true,
6104
+ false,
6105
+ false,
6106
+ true,
6107
+ false,
6108
+ false,
6109
+ false,
6110
+ false,
6111
+ false,
6112
+ true,
6113
+ false,
6114
+ true,
6115
+ false,
6116
+ false,
6117
+ true,
6118
+ false,
6119
+ true,
6120
+ true,
6121
+ true
6122
+ ],
6123
+ "model.layers.7.self_attn.o_proj.lora_E": [
6124
+ true,
6125
+ false,
6126
+ true,
6127
+ true,
6128
+ true,
6129
+ false,
6130
+ true,
6131
+ true,
6132
+ false,
6133
+ true,
6134
+ true,
6135
+ true,
6136
+ true,
6137
+ true,
6138
+ true,
6139
+ true,
6140
+ true,
6141
+ true,
6142
+ true,
6143
+ true,
6144
+ true,
6145
+ true,
6146
+ false,
6147
+ true,
6148
+ true,
6149
+ true,
6150
+ true,
6151
+ true,
6152
+ true,
6153
+ true,
6154
+ true,
6155
+ true
6156
+ ],
6157
+ "model.layers.7.self_attn.q_proj.lora_E": [
6158
+ true,
6159
+ true,
6160
+ true,
6161
+ true,
6162
+ true,
6163
+ true,
6164
+ true,
6165
+ true,
6166
+ true,
6167
+ true,
6168
+ true,
6169
+ true,
6170
+ true,
6171
+ true,
6172
+ true,
6173
+ true,
6174
+ true,
6175
+ true,
6176
+ true,
6177
+ true,
6178
+ false,
6179
+ true,
6180
+ true,
6181
+ true,
6182
+ true,
6183
+ true,
6184
+ true,
6185
+ true,
6186
+ true,
6187
+ false,
6188
+ true,
6189
+ true
6190
+ ],
6191
+ "model.layers.7.self_attn.v_proj.lora_E": [
6192
+ true,
6193
+ true,
6194
+ true,
6195
+ true,
6196
+ true,
6197
+ true,
6198
+ true,
6199
+ true,
6200
+ true,
6201
+ true,
6202
+ true,
6203
+ true,
6204
+ true,
6205
+ true,
6206
+ true,
6207
+ true,
6208
+ true,
6209
+ true,
6210
+ true,
6211
+ true,
6212
+ true,
6213
+ true,
6214
+ true,
6215
+ true,
6216
+ true,
6217
+ true,
6218
+ false,
6219
+ true,
6220
+ true,
6221
+ true,
6222
+ true,
6223
+ true
6224
+ ],
6225
+ "model.layers.8.mlp.down_proj.lora_E": [
6226
+ false,
6227
+ true,
6228
+ false,
6229
+ true,
6230
+ true,
6231
+ true,
6232
+ false,
6233
+ true,
6234
+ true,
6235
+ true,
6236
+ true,
6237
+ true,
6238
+ true,
6239
+ true,
6240
+ false,
6241
+ true,
6242
+ true,
6243
+ true,
6244
+ true,
6245
+ true,
6246
+ true,
6247
+ true,
6248
+ true,
6249
+ true,
6250
+ true,
6251
+ true,
6252
+ true,
6253
+ true,
6254
+ true,
6255
+ true,
6256
+ true,
6257
+ true
6258
+ ],
6259
+ "model.layers.8.mlp.gate_proj.lora_E": [
6260
+ false,
6261
+ true,
6262
+ true,
6263
+ true,
6264
+ true,
6265
+ true,
6266
+ true,
6267
+ true,
6268
+ false,
6269
+ true,
6270
+ false,
6271
+ true,
6272
+ true,
6273
+ true,
6274
+ true,
6275
+ false,
6276
+ false,
6277
+ true,
6278
+ false,
6279
+ true,
6280
+ true,
6281
+ true,
6282
+ true,
6283
+ true,
6284
+ true,
6285
+ true,
6286
+ true,
6287
+ true,
6288
+ true,
6289
+ true,
6290
+ true,
6291
+ true
6292
+ ],
6293
+ "model.layers.8.mlp.up_proj.lora_E": [
6294
+ true,
6295
+ true,
6296
+ true,
6297
+ true,
6298
+ true,
6299
+ true,
6300
+ true,
6301
+ true,
6302
+ true,
6303
+ true,
6304
+ false,
6305
+ false,
6306
+ true,
6307
+ true,
6308
+ true,
6309
+ true,
6310
+ true,
6311
+ true,
6312
+ true,
6313
+ true,
6314
+ true,
6315
+ true,
6316
+ true,
6317
+ true,
6318
+ true,
6319
+ true,
6320
+ true,
6321
+ true,
6322
+ true,
6323
+ true,
6324
+ true,
6325
+ true
6326
+ ],
6327
+ "model.layers.8.self_attn.k_proj.lora_E": [
6328
+ false,
6329
+ true,
6330
+ true,
6331
+ true,
6332
+ true,
6333
+ true,
6334
+ true,
6335
+ true,
6336
+ true,
6337
+ true,
6338
+ true,
6339
+ false,
6340
+ true,
6341
+ false,
6342
+ true,
6343
+ true,
6344
+ true,
6345
+ true,
6346
+ true,
6347
+ true,
6348
+ false,
6349
+ false,
6350
+ true,
6351
+ true,
6352
+ true,
6353
+ true,
6354
+ true,
6355
+ true,
6356
+ false,
6357
+ false,
6358
+ true,
6359
+ true
6360
+ ],
6361
+ "model.layers.8.self_attn.o_proj.lora_E": [
6362
+ false,
6363
+ true,
6364
+ true,
6365
+ true,
6366
+ false,
6367
+ true,
6368
+ true,
6369
+ true,
6370
+ true,
6371
+ false,
6372
+ true,
6373
+ false,
6374
+ true,
6375
+ true,
6376
+ true,
6377
+ true,
6378
+ true,
6379
+ true,
6380
+ true,
6381
+ true,
6382
+ true,
6383
+ true,
6384
+ true,
6385
+ true,
6386
+ true,
6387
+ true,
6388
+ false,
6389
+ true,
6390
+ false,
6391
+ true,
6392
+ true,
6393
+ true
6394
+ ],
6395
+ "model.layers.8.self_attn.q_proj.lora_E": [
6396
+ true,
6397
+ true,
6398
+ true,
6399
+ true,
6400
+ true,
6401
+ true,
6402
+ true,
6403
+ true,
6404
+ true,
6405
+ true,
6406
+ true,
6407
+ true,
6408
+ true,
6409
+ true,
6410
+ false,
6411
+ true,
6412
+ true,
6413
+ true,
6414
+ true,
6415
+ true,
6416
+ true,
6417
+ true,
6418
+ true,
6419
+ true,
6420
+ true,
6421
+ true,
6422
+ true,
6423
+ true,
6424
+ false,
6425
+ false,
6426
+ true,
6427
+ false
6428
+ ],
6429
+ "model.layers.8.self_attn.v_proj.lora_E": [
6430
+ true,
6431
+ true,
6432
+ true,
6433
+ true,
6434
+ true,
6435
+ true,
6436
+ false,
6437
+ true,
6438
+ true,
6439
+ true,
6440
+ true,
6441
+ true,
6442
+ true,
6443
+ true,
6444
+ true,
6445
+ true,
6446
+ true,
6447
+ true,
6448
+ true,
6449
+ true,
6450
+ false,
6451
+ true,
6452
+ true,
6453
+ true,
6454
+ true,
6455
+ true,
6456
+ true,
6457
+ true,
6458
+ true,
6459
+ true,
6460
+ true,
6461
+ true
6462
+ ],
6463
+ "model.layers.9.mlp.down_proj.lora_E": [
6464
+ true,
6465
+ false,
6466
+ true,
6467
+ true,
6468
+ true,
6469
+ true,
6470
+ true,
6471
+ true,
6472
+ true,
6473
+ true,
6474
+ true,
6475
+ true,
6476
+ true,
6477
+ false,
6478
+ false,
6479
+ true,
6480
+ true,
6481
+ true,
6482
+ false,
6483
+ true,
6484
+ true,
6485
+ true,
6486
+ true,
6487
+ false,
6488
+ true,
6489
+ true,
6490
+ false,
6491
+ true,
6492
+ true,
6493
+ true,
6494
+ true,
6495
+ true
6496
+ ],
6497
+ "model.layers.9.mlp.gate_proj.lora_E": [
6498
+ true,
6499
+ true,
6500
+ true,
6501
+ false,
6502
+ true,
6503
+ true,
6504
+ true,
6505
+ false,
6506
+ true,
6507
+ true,
6508
+ true,
6509
+ true,
6510
+ true,
6511
+ true,
6512
+ true,
6513
+ true,
6514
+ true,
6515
+ true,
6516
+ true,
6517
+ false,
6518
+ true,
6519
+ true,
6520
+ true,
6521
+ false,
6522
+ false,
6523
+ true,
6524
+ true,
6525
+ true,
6526
+ true,
6527
+ true,
6528
+ true,
6529
+ true
6530
+ ],
6531
+ "model.layers.9.mlp.up_proj.lora_E": [
6532
+ false,
6533
+ true,
6534
+ true,
6535
+ true,
6536
+ false,
6537
+ true,
6538
+ true,
6539
+ true,
6540
+ true,
6541
+ true,
6542
+ true,
6543
+ false,
6544
+ true,
6545
+ true,
6546
+ true,
6547
+ true,
6548
+ true,
6549
+ true,
6550
+ true,
6551
+ true,
6552
+ true,
6553
+ true,
6554
+ true,
6555
+ true,
6556
+ true,
6557
+ false,
6558
+ true,
6559
+ false,
6560
+ true,
6561
+ true,
6562
+ true,
6563
+ true
6564
+ ],
6565
+ "model.layers.9.self_attn.k_proj.lora_E": [
6566
+ true,
6567
+ true,
6568
+ true,
6569
+ true,
6570
+ false,
6571
+ false,
6572
+ false,
6573
+ false,
6574
+ true,
6575
+ true,
6576
+ true,
6577
+ true,
6578
+ false,
6579
+ true,
6580
+ false,
6581
+ true,
6582
+ true,
6583
+ true,
6584
+ true,
6585
+ false,
6586
+ true,
6587
+ false,
6588
+ false,
6589
+ true,
6590
+ true,
6591
+ false,
6592
+ true,
6593
+ true,
6594
+ true,
6595
+ false,
6596
+ true,
6597
+ false
6598
+ ],
6599
+ "model.layers.9.self_attn.o_proj.lora_E": [
6600
+ true,
6601
+ true,
6602
+ true,
6603
+ true,
6604
+ true,
6605
+ true,
6606
+ true,
6607
+ true,
6608
+ true,
6609
+ true,
6610
+ false,
6611
+ true,
6612
+ true,
6613
+ true,
6614
+ true,
6615
+ true,
6616
+ true,
6617
+ true,
6618
+ true,
6619
+ true,
6620
+ true,
6621
+ true,
6622
+ true,
6623
+ true,
6624
+ true,
6625
+ true,
6626
+ true,
6627
+ true,
6628
+ true,
6629
+ true,
6630
+ true,
6631
+ true
6632
+ ],
6633
+ "model.layers.9.self_attn.q_proj.lora_E": [
6634
+ false,
6635
+ true,
6636
+ true,
6637
+ true,
6638
+ true,
6639
+ true,
6640
+ true,
6641
+ true,
6642
+ false,
6643
+ true,
6644
+ true,
6645
+ true,
6646
+ true,
6647
+ false,
6648
+ false,
6649
+ true,
6650
+ true,
6651
+ true,
6652
+ true,
6653
+ true,
6654
+ false,
6655
+ true,
6656
+ false,
6657
+ true,
6658
+ false,
6659
+ true,
6660
+ true,
6661
+ true,
6662
+ true,
6663
+ true,
6664
+ true,
6665
+ false
6666
+ ],
6667
+ "model.layers.9.self_attn.v_proj.lora_E": [
6668
+ true,
6669
+ false,
6670
+ true,
6671
+ true,
6672
+ true,
6673
+ true,
6674
+ true,
6675
+ true,
6676
+ true,
6677
+ true,
6678
+ true,
6679
+ true,
6680
+ true,
6681
+ true,
6682
+ true,
6683
+ false,
6684
+ true,
6685
+ true,
6686
+ true,
6687
+ true,
6688
+ true,
6689
+ true,
6690
+ true,
6691
+ true,
6692
+ true,
6693
+ true,
6694
+ true,
6695
+ true,
6696
+ true,
6697
+ true,
6698
+ true,
6699
+ true
6700
+ ]
6701
+ },
6702
+ "revision": null,
6703
+ "target_modules": [
6704
+ "o_proj",
6705
+ "k_proj",
6706
+ "gate_proj",
6707
+ "up_proj",
6708
+ "q_proj",
6709
+ "v_proj",
6710
+ "down_proj"
6711
+ ],
6712
+ "target_parameters": null,
6713
+ "target_r": 16,
6714
+ "task_type": "CAUSAL_LM",
6715
+ "tfinal": 50,
6716
+ "tinit": 50,
6717
+ "total_step": 500,
6718
+ "trainable_token_indices": null,
6719
+ "use_bdlora": null,
6720
+ "use_dora": false,
6721
+ "use_qalora": false,
6722
+ "use_rslora": false,
6723
+ "velora_config": null
6724
+ }
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4792b5023a99204475fd93e6a674bfc511d67802a486ac7fe215402caef6afc2
3
+ size 41619152
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/chat_template.jinja ADDED
@@ -0,0 +1,89 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {%- if tools %}
2
+ {{- '<|im_start|>system\n' }}
3
+ {%- if messages[0].role == 'system' %}
4
+ {{- messages[0].content + '\n\n' }}
5
+ {%- endif %}
6
+ {{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
7
+ {%- for tool in tools %}
8
+ {{- "\n" }}
9
+ {{- tool | tojson }}
10
+ {%- endfor %}
11
+ {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
12
+ {%- else %}
13
+ {%- if messages[0].role == 'system' %}
14
+ {{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
15
+ {%- endif %}
16
+ {%- endif %}
17
+ {%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}
18
+ {%- for message in messages[::-1] %}
19
+ {%- set index = (messages|length - 1) - loop.index0 %}
20
+ {%- if ns.multi_step_tool and message.role == "user" and message.content is string and not(message.content.startswith('<tool_response>') and message.content.endswith('</tool_response>')) %}
21
+ {%- set ns.multi_step_tool = false %}
22
+ {%- set ns.last_query_index = index %}
23
+ {%- endif %}
24
+ {%- endfor %}
25
+ {%- for message in messages %}
26
+ {%- if message.content is string %}
27
+ {%- set content = message.content %}
28
+ {%- else %}
29
+ {%- set content = '' %}
30
+ {%- endif %}
31
+ {%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
32
+ {{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
33
+ {%- elif message.role == "assistant" %}
34
+ {%- set reasoning_content = '' %}
35
+ {%- if message.reasoning_content is string %}
36
+ {%- set reasoning_content = message.reasoning_content %}
37
+ {%- else %}
38
+ {%- if '</think>' in content %}
39
+ {%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
40
+ {%- set content = content.split('</think>')[-1].lstrip('\n') %}
41
+ {%- endif %}
42
+ {%- endif %}
43
+ {%- if loop.index0 > ns.last_query_index %}
44
+ {%- if loop.last or (not loop.last and reasoning_content) %}
45
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
46
+ {%- else %}
47
+ {{- '<|im_start|>' + message.role + '\n' + content }}
48
+ {%- endif %}
49
+ {%- else %}
50
+ {{- '<|im_start|>' + message.role + '\n' + content }}
51
+ {%- endif %}
52
+ {%- if message.tool_calls %}
53
+ {%- for tool_call in message.tool_calls %}
54
+ {%- if (loop.first and content) or (not loop.first) %}
55
+ {{- '\n' }}
56
+ {%- endif %}
57
+ {%- if tool_call.function %}
58
+ {%- set tool_call = tool_call.function %}
59
+ {%- endif %}
60
+ {{- '<tool_call>\n{"name": "' }}
61
+ {{- tool_call.name }}
62
+ {{- '", "arguments": ' }}
63
+ {%- if tool_call.arguments is string %}
64
+ {{- tool_call.arguments }}
65
+ {%- else %}
66
+ {{- tool_call.arguments | tojson }}
67
+ {%- endif %}
68
+ {{- '}\n</tool_call>' }}
69
+ {%- endfor %}
70
+ {%- endif %}
71
+ {{- '<|im_end|>\n' }}
72
+ {%- elif message.role == "tool" %}
73
+ {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
74
+ {{- '<|im_start|>user' }}
75
+ {%- endif %}
76
+ {{- '\n<tool_response>\n' }}
77
+ {{- content }}
78
+ {{- '\n</tool_response>' }}
79
+ {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
80
+ {{- '<|im_end|>\n' }}
81
+ {%- endif %}
82
+ {%- endif %}
83
+ {%- endfor %}
84
+ {%- if add_generation_prompt %}
85
+ {{- '<|im_start|>assistant\n' }}
86
+ {%- if enable_thinking is defined and enable_thinking is false %}
87
+ {{- '<think>\n\n</think>\n\n' }}
88
+ {%- endif %}
89
+ {%- endif %}
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:be75606093db2094d7cd20f3c2f385c212750648bd6ea4fb2bf507a6a4c55506
3
+ size 11422650
v2.0/qwen3-0.6b_AdaLoRA_D_1k_20260827-024250/tokenizer_config.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "backend": "tokenizers",
4
+ "bos_token": null,
5
+ "clean_up_tokenization_spaces": false,
6
+ "eos_token": "<|im_end|>",
7
+ "errors": "replace",
8
+ "extra_special_tokens": [
9
+ "<|im_start|>",
10
+ "<|im_end|>",
11
+ "<|object_ref_start|>",
12
+ "<|object_ref_end|>",
13
+ "<|box_start|>",
14
+ "<|box_end|>",
15
+ "<|quad_start|>",
16
+ "<|quad_end|>",
17
+ "<|vision_start|>",
18
+ "<|vision_end|>",
19
+ "<|vision_pad|>",
20
+ "<|image_pad|>",
21
+ "<|video_pad|>"
22
+ ],
23
+ "is_local": false,
24
+ "local_files_only": false,
25
+ "model_max_length": 131072,
26
+ "pad_token": "<|endoftext|>",
27
+ "split_special_tokens": false,
28
+ "tokenizer_class": "Qwen2Tokenizer",
29
+ "unk_token": null
30
+ }