Hugging Face's logo

kon172verma
/
intent-classifier-experiments

Text Classification
PEFT
Safetensors
lora
dora
lora+
dora+
adalora
qlora
intent-classification
Model card Files
xet
 Community
kon172verma commited on
Commit
479f953
·
verified ·
1 Parent(s): 9c4fb6c

Add AdaLoRA adapter: llama3.2-1b_D_1k [20260827-191715]

Browse files
Files changed (7) hide show
  1. .gitattributes +1 -0
  2. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/README.md +208 -0
  3. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/adapter_config.json +3868 -0
  4. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/adapter_model.safetensors +3 -0
  5. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/chat_template.jinja +93 -0
  6. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/tokenizer.json +3 -0
  7. v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/tokenizer_config.json +15 -0
.gitattributes CHANGED
@@ -105,3 +105,4 @@ v2.0/llama3.2-1b_QLoRA_C_1k_20260827-173442/tokenizer.json filter=lfs diff=lfs m
105
  v2.0/llama3.2-1b_AdaLoRA_A_1k_20260827-173745/tokenizer.json filter=lfs diff=lfs merge=lfs -text
106
  v2.0/llama3.2-1b_AdaLoRA_B_1k_20260827-180231/tokenizer.json filter=lfs diff=lfs merge=lfs -text
107
  v2.0/llama3.2-1b_AdaLoRA_C_1k_20260827-183952/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
105
  v2.0/llama3.2-1b_AdaLoRA_A_1k_20260827-173745/tokenizer.json filter=lfs diff=lfs merge=lfs -text
106
  v2.0/llama3.2-1b_AdaLoRA_B_1k_20260827-180231/tokenizer.json filter=lfs diff=lfs merge=lfs -text
107
  v2.0/llama3.2-1b_AdaLoRA_C_1k_20260827-183952/tokenizer.json filter=lfs diff=lfs merge=lfs -text
108
+ v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/tokenizer.json filter=lfs diff=lfs merge=lfs -text
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/README.md ADDED
@@ -0,0 +1,208 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: meta-llama/Llama-3.2-1B-Instruct
3
+ library_name: peft
4
+ pipeline_tag: text-generation
5
+ tags:
6
+ - base_model:adapter:meta-llama/Llama-3.2-1B-Instruct
7
+ - sft
8
+ - transformers
9
+ - trl
10
+ ---
11
+
12
+ # Model Card for Model ID
13
+
14
+ <!-- Provide a quick summary of what the model is/does. -->
15
+
16
+
17
+
18
+ ## Model Details
19
+
20
+ ### Model Description
21
+
22
+ <!-- Provide a longer summary of what this model is. -->
23
+
24
+
25
+
26
+ - **Developed by:** [More Information Needed]
27
+ - **Funded by [optional]:** [More Information Needed]
28
+ - **Shared by [optional]:** [More Information Needed]
29
+ - **Model type:** [More Information Needed]
30
+ - **Language(s) (NLP):** [More Information Needed]
31
+ - **License:** [More Information Needed]
32
+ - **Finetuned from model [optional]:** [More Information Needed]
33
+
34
+ ### Model Sources [optional]
35
+
36
+ <!-- Provide the basic links for the model. -->
37
+
38
+ - **Repository:** [More Information Needed]
39
+ - **Paper [optional]:** [More Information Needed]
40
+ - **Demo [optional]:** [More Information Needed]
41
+
42
+ ## Uses
43
+
44
+ <!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
45
+
46
+ ### Direct Use
47
+
48
+ <!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
49
+
50
+ [More Information Needed]
51
+
52
+ ### Downstream Use [optional]
53
+
54
+ <!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
55
+
56
+ [More Information Needed]
57
+
58
+ ### Out-of-Scope Use
59
+
60
+ <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
61
+
62
+ [More Information Needed]
63
+
64
+ ## Bias, Risks, and Limitations
65
+
66
+ <!-- This section is meant to convey both technical and sociotechnical limitations. -->
67
+
68
+ [More Information Needed]
69
+
70
+ ### Recommendations
71
+
72
+ <!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
73
+
74
+ Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
75
+
76
+ ## How to Get Started with the Model
77
+
78
+ Use the code below to get started with the model.
79
+
80
+ [More Information Needed]
81
+
82
+ ## Training Details
83
+
84
+ ### Training Data
85
+
86
+ <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
87
+
88
+ [More Information Needed]
89
+
90
+ ### Training Procedure
91
+
92
+ <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
93
+
94
+ #### Preprocessing [optional]
95
+
96
+ [More Information Needed]
97
+
98
+
99
+ #### Training Hyperparameters
100
+
101
+ - **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
102
+
103
+ #### Speeds, Sizes, Times [optional]
104
+
105
+ <!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
106
+
107
+ [More Information Needed]
108
+
109
+ ## Evaluation
110
+
111
+ <!-- This section describes the evaluation protocols and provides the results. -->
112
+
113
+ ### Testing Data, Factors & Metrics
114
+
115
+ #### Testing Data
116
+
117
+ <!-- This should link to a Dataset Card if possible. -->
118
+
119
+ [More Information Needed]
120
+
121
+ #### Factors
122
+
123
+ <!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
124
+
125
+ [More Information Needed]
126
+
127
+ #### Metrics
128
+
129
+ <!-- These are the evaluation metrics being used, ideally with a description of why. -->
130
+
131
+ [More Information Needed]
132
+
133
+ ### Results
134
+
135
+ [More Information Needed]
136
+
137
+ #### Summary
138
+
139
+
140
+
141
+ ## Model Examination [optional]
142
+
143
+ <!-- Relevant interpretability work for the model goes here -->
144
+
145
+ [More Information Needed]
146
+
147
+ ## Environmental Impact
148
+
149
+ <!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
150
+
151
+ Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
152
+
153
+ - **Hardware Type:** [More Information Needed]
154
+ - **Hours used:** [More Information Needed]
155
+ - **Cloud Provider:** [More Information Needed]
156
+ - **Compute Region:** [More Information Needed]
157
+ - **Carbon Emitted:** [More Information Needed]
158
+
159
+ ## Technical Specifications [optional]
160
+
161
+ ### Model Architecture and Objective
162
+
163
+ [More Information Needed]
164
+
165
+ ### Compute Infrastructure
166
+
167
+ [More Information Needed]
168
+
169
+ #### Hardware
170
+
171
+ [More Information Needed]
172
+
173
+ #### Software
174
+
175
+ [More Information Needed]
176
+
177
+ ## Citation [optional]
178
+
179
+ <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
180
+
181
+ **BibTeX:**
182
+
183
+ [More Information Needed]
184
+
185
+ **APA:**
186
+
187
+ [More Information Needed]
188
+
189
+ ## Glossary [optional]
190
+
191
+ <!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
192
+
193
+ [More Information Needed]
194
+
195
+ ## More Information [optional]
196
+
197
+ [More Information Needed]
198
+
199
+ ## Model Card Authors [optional]
200
+
201
+ [More Information Needed]
202
+
203
+ ## Model Card Contact
204
+
205
+ [More Information Needed]
206
+ ### Framework versions
207
+
208
+ - PEFT 0.20.0
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/adapter_config.json ADDED
@@ -0,0 +1,3868 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": null,
6
+ "base_model_name_or_path": "meta-llama/Llama-3.2-1B-Instruct",
7
+ "beta1": 0.85,
8
+ "beta2": 0.85,
9
+ "bias": "none",
10
+ "corda_config": null,
11
+ "deltaT": 10,
12
+ "ensure_weight_tying": false,
13
+ "eva_config": null,
14
+ "exclude_modules": null,
15
+ "fan_in_fan_out": false,
16
+ "inference_mode": true,
17
+ "init_lora_weights": true,
18
+ "init_r": 32,
19
+ "layer_replication": null,
20
+ "layers_pattern": null,
21
+ "layers_to_transform": null,
22
+ "loftq_config": {},
23
+ "lora_alpha": 64,
24
+ "lora_bias": false,
25
+ "lora_dropout": 0.0,
26
+ "lora_ga_config": null,
27
+ "megatron_config": null,
28
+ "megatron_core": "megatron.core",
29
+ "modules_to_save": null,
30
+ "monteclora_config": null,
31
+ "orth_reg_weight": 0.1,
32
+ "peft_type": "ADALORA",
33
+ "peft_version": "0.20.0",
34
+ "qalora_group_size": 16,
35
+ "r": 8,
36
+ "rank_pattern": {
37
+ "model.layers.0.mlp.down_proj.lora_E": [
38
+ true,
39
+ true,
40
+ false,
41
+ true,
42
+ true,
43
+ true,
44
+ true,
45
+ true,
46
+ true,
47
+ true,
48
+ true,
49
+ true,
50
+ false,
51
+ true,
52
+ true,
53
+ false,
54
+ true,
55
+ true,
56
+ true,
57
+ true,
58
+ true,
59
+ true,
60
+ true,
61
+ true,
62
+ true,
63
+ true,
64
+ true,
65
+ false,
66
+ true,
67
+ true,
68
+ true,
69
+ true
70
+ ],
71
+ "model.layers.0.mlp.gate_proj.lora_E": [
72
+ true,
73
+ true,
74
+ false,
75
+ true,
76
+ true,
77
+ true,
78
+ false,
79
+ false,
80
+ false,
81
+ false,
82
+ false,
83
+ true,
84
+ true,
85
+ true,
86
+ true,
87
+ true,
88
+ false,
89
+ false,
90
+ false,
91
+ true,
92
+ true,
93
+ true,
94
+ true,
95
+ true,
96
+ false,
97
+ false,
98
+ false,
99
+ true,
100
+ false,
101
+ false,
102
+ false,
103
+ false
104
+ ],
105
+ "model.layers.0.mlp.up_proj.lora_E": [
106
+ true,
107
+ true,
108
+ true,
109
+ true,
110
+ true,
111
+ false,
112
+ false,
113
+ true,
114
+ true,
115
+ true,
116
+ true,
117
+ false,
118
+ true,
119
+ true,
120
+ true,
121
+ true,
122
+ false,
123
+ false,
124
+ false,
125
+ true,
126
+ true,
127
+ true,
128
+ true,
129
+ true,
130
+ true,
131
+ true,
132
+ true,
133
+ true,
134
+ true,
135
+ false,
136
+ true,
137
+ true
138
+ ],
139
+ "model.layers.0.self_attn.k_proj.lora_E": [
140
+ false,
141
+ false,
142
+ false,
143
+ false,
144
+ false,
145
+ false,
146
+ false,
147
+ false,
148
+ false,
149
+ false,
150
+ false,
151
+ false,
152
+ false,
153
+ false,
154
+ false,
155
+ false,
156
+ false,
157
+ false,
158
+ false,
159
+ false,
160
+ false,
161
+ false,
162
+ false,
163
+ false,
164
+ false,
165
+ false,
166
+ false,
167
+ false,
168
+ false,
169
+ false,
170
+ false,
171
+ false
172
+ ],
173
+ "model.layers.0.self_attn.o_proj.lora_E": [
174
+ false,
175
+ true,
176
+ false,
177
+ false,
178
+ true,
179
+ true,
180
+ true,
181
+ false,
182
+ true,
183
+ true,
184
+ true,
185
+ true,
186
+ true,
187
+ true,
188
+ true,
189
+ false,
190
+ false,
191
+ true,
192
+ true,
193
+ false,
194
+ true,
195
+ true,
196
+ false,
197
+ false,
198
+ false,
199
+ true,
200
+ false,
201
+ true,
202
+ false,
203
+ true,
204
+ false,
205
+ true
206
+ ],
207
+ "model.layers.0.self_attn.q_proj.lora_E": [
208
+ false,
209
+ false,
210
+ false,
211
+ false,
212
+ false,
213
+ false,
214
+ false,
215
+ false,
216
+ false,
217
+ false,
218
+ false,
219
+ false,
220
+ false,
221
+ false,
222
+ false,
223
+ false,
224
+ false,
225
+ false,
226
+ false,
227
+ false,
228
+ false,
229
+ false,
230
+ false,
231
+ false,
232
+ false,
233
+ false,
234
+ false,
235
+ false,
236
+ false,
237
+ false,
238
+ false,
239
+ false
240
+ ],
241
+ "model.layers.0.self_attn.v_proj.lora_E": [
242
+ true,
243
+ true,
244
+ true,
245
+ true,
246
+ false,
247
+ false,
248
+ true,
249
+ false,
250
+ true,
251
+ true,
252
+ true,
253
+ true,
254
+ false,
255
+ false,
256
+ true,
257
+ false,
258
+ true,
259
+ true,
260
+ false,
261
+ true,
262
+ true,
263
+ true,
264
+ true,
265
+ true,
266
+ true,
267
+ false,
268
+ true,
269
+ true,
270
+ true,
271
+ true,
272
+ false,
273
+ true
274
+ ],
275
+ "model.layers.1.mlp.down_proj.lora_E": [
276
+ true,
277
+ true,
278
+ true,
279
+ true,
280
+ true,
281
+ true,
282
+ true,
283
+ true,
284
+ true,
285
+ true,
286
+ true,
287
+ true,
288
+ true,
289
+ true,
290
+ false,
291
+ true,
292
+ true,
293
+ true,
294
+ true,
295
+ true,
296
+ true,
297
+ true,
298
+ true,
299
+ true,
300
+ true,
301
+ true,
302
+ true,
303
+ true,
304
+ true,
305
+ true,
306
+ true,
307
+ true
308
+ ],
309
+ "model.layers.1.mlp.gate_proj.lora_E": [
310
+ true,
311
+ true,
312
+ true,
313
+ false,
314
+ true,
315
+ false,
316
+ true,
317
+ true,
318
+ true,
319
+ true,
320
+ false,
321
+ true,
322
+ false,
323
+ false,
324
+ false,
325
+ false,
326
+ true,
327
+ false,
328
+ false,
329
+ false,
330
+ false,
331
+ false,
332
+ true,
333
+ true,
334
+ false,
335
+ false,
336
+ true,
337
+ false,
338
+ false,
339
+ true,
340
+ true,
341
+ true
342
+ ],
343
+ "model.layers.1.mlp.up_proj.lora_E": [
344
+ true,
345
+ true,
346
+ true,
347
+ true,
348
+ true,
349
+ true,
350
+ true,
351
+ true,
352
+ true,
353
+ true,
354
+ true,
355
+ true,
356
+ true,
357
+ true,
358
+ true,
359
+ true,
360
+ true,
361
+ true,
362
+ true,
363
+ true,
364
+ true,
365
+ true,
366
+ false,
367
+ true,
368
+ false,
369
+ true,
370
+ false,
371
+ true,
372
+ true,
373
+ true,
374
+ true,
375
+ true
376
+ ],
377
+ "model.layers.1.self_attn.k_proj.lora_E": [
378
+ false,
379
+ false,
380
+ false,
381
+ false,
382
+ false,
383
+ false,
384
+ false,
385
+ false,
386
+ false,
387
+ false,
388
+ false,
389
+ false,
390
+ true,
391
+ false,
392
+ false,
393
+ false,
394
+ false,
395
+ false,
396
+ false,
397
+ false,
398
+ false,
399
+ false,
400
+ false,
401
+ false,
402
+ false,
403
+ true,
404
+ false,
405
+ false,
406
+ false,
407
+ false,
408
+ false,
409
+ false
410
+ ],
411
+ "model.layers.1.self_attn.o_proj.lora_E": [
412
+ true,
413
+ true,
414
+ true,
415
+ true,
416
+ true,
417
+ true,
418
+ false,
419
+ false,
420
+ false,
421
+ false,
422
+ false,
423
+ true,
424
+ true,
425
+ true,
426
+ true,
427
+ false,
428
+ true,
429
+ false,
430
+ true,
431
+ true,
432
+ true,
433
+ true,
434
+ true,
435
+ true,
436
+ true,
437
+ true,
438
+ true,
439
+ true,
440
+ true,
441
+ false,
442
+ true,
443
+ true
444
+ ],
445
+ "model.layers.1.self_attn.q_proj.lora_E": [
446
+ false,
447
+ false,
448
+ false,
449
+ true,
450
+ false,
451
+ true,
452
+ false,
453
+ true,
454
+ false,
455
+ false,
456
+ false,
457
+ true,
458
+ true,
459
+ false,
460
+ false,
461
+ true,
462
+ true,
463
+ false,
464
+ false,
465
+ true,
466
+ true,
467
+ true,
468
+ false,
469
+ false,
470
+ true,
471
+ true,
472
+ true,
473
+ true,
474
+ true,
475
+ false,
476
+ false,
477
+ false
478
+ ],
479
+ "model.layers.1.self_attn.v_proj.lora_E": [
480
+ true,
481
+ false,
482
+ true,
483
+ false,
484
+ true,
485
+ true,
486
+ false,
487
+ true,
488
+ true,
489
+ true,
490
+ true,
491
+ false,
492
+ false,
493
+ true,
494
+ false,
495
+ true,
496
+ true,
497
+ true,
498
+ true,
499
+ true,
500
+ true,
501
+ true,
502
+ true,
503
+ true,
504
+ true,
505
+ true,
506
+ false,
507
+ true,
508
+ true,
509
+ true,
510
+ false,
511
+ true
512
+ ],
513
+ "model.layers.10.mlp.down_proj.lora_E": [
514
+ true,
515
+ false,
516
+ true,
517
+ true,
518
+ false,
519
+ true,
520
+ true,
521
+ false,
522
+ true,
523
+ false,
524
+ true,
525
+ true,
526
+ true,
527
+ true,
528
+ true,
529
+ false,
530
+ true,
531
+ true,
532
+ true,
533
+ true,
534
+ false,
535
+ false,
536
+ false,
537
+ true,
538
+ false,
539
+ false,
540
+ false,
541
+ true,
542
+ true,
543
+ true,
544
+ true,
545
+ true
546
+ ],
547
+ "model.layers.10.mlp.gate_proj.lora_E": [
548
+ true,
549
+ false,
550
+ true,
551
+ false,
552
+ false,
553
+ false,
554
+ true,
555
+ false,
556
+ true,
557
+ false,
558
+ false,
559
+ false,
560
+ true,
561
+ false,
562
+ false,
563
+ false,
564
+ true,
565
+ false,
566
+ true,
567
+ true,
568
+ false,
569
+ true,
570
+ false,
571
+ true,
572
+ true,
573
+ true,
574
+ true,
575
+ false,
576
+ false,
577
+ false,
578
+ true,
579
+ false
580
+ ],
581
+ "model.layers.10.mlp.up_proj.lora_E": [
582
+ true,
583
+ false,
584
+ true,
585
+ true,
586
+ false,
587
+ false,
588
+ true,
589
+ true,
590
+ true,
591
+ true,
592
+ true,
593
+ true,
594
+ true,
595
+ false,
596
+ true,
597
+ true,
598
+ true,
599
+ true,
600
+ true,
601
+ true,
602
+ true,
603
+ true,
604
+ true,
605
+ true,
606
+ true,
607
+ true,
608
+ true,
609
+ true,
610
+ true,
611
+ true,
612
+ true,
613
+ false
614
+ ],
615
+ "model.layers.10.self_attn.k_proj.lora_E": [
616
+ false,
617
+ false,
618
+ false,
619
+ false,
620
+ false,
621
+ false,
622
+ false,
623
+ false,
624
+ false,
625
+ false,
626
+ false,
627
+ false,
628
+ true,
629
+ false,
630
+ false,
631
+ true,
632
+ false,
633
+ true,
634
+ false,
635
+ false,
636
+ false,
637
+ true,
638
+ false,
639
+ false,
640
+ false,
641
+ false,
642
+ false,
643
+ false,
644
+ false,
645
+ false,
646
+ false,
647
+ false
648
+ ],
649
+ "model.layers.10.self_attn.o_proj.lora_E": [
650
+ true,
651
+ false,
652
+ true,
653
+ false,
654
+ false,
655
+ false,
656
+ false,
657
+ false,
658
+ true,
659
+ true,
660
+ true,
661
+ true,
662
+ false,
663
+ false,
664
+ true,
665
+ true,
666
+ true,
667
+ true,
668
+ true,
669
+ false,
670
+ false,
671
+ false,
672
+ false,
673
+ true,
674
+ true,
675
+ true,
676
+ true,
677
+ false,
678
+ true,
679
+ true,
680
+ false,
681
+ true
682
+ ],
683
+ "model.layers.10.self_attn.q_proj.lora_E": [
684
+ true,
685
+ false,
686
+ false,
687
+ true,
688
+ false,
689
+ true,
690
+ false,
691
+ false,
692
+ true,
693
+ true,
694
+ false,
695
+ false,
696
+ true,
697
+ true,
698
+ true,
699
+ false,
700
+ true,
701
+ false,
702
+ true,
703
+ false,
704
+ true,
705
+ false,
706
+ false,
707
+ false,
708
+ true,
709
+ true,
710
+ true,
711
+ true,
712
+ false,
713
+ true,
714
+ true,
715
+ false
716
+ ],
717
+ "model.layers.10.self_attn.v_proj.lora_E": [
718
+ false,
719
+ true,
720
+ false,
721
+ false,
722
+ true,
723
+ false,
724
+ false,
725
+ true,
726
+ false,
727
+ false,
728
+ false,
729
+ false,
730
+ false,
731
+ true,
732
+ true,
733
+ false,
734
+ false,
735
+ false,
736
+ true,
737
+ false,
738
+ false,
739
+ true,
740
+ false,
741
+ true,
742
+ false,
743
+ false,
744
+ false,
745
+ false,
746
+ false,
747
+ false,
748
+ false,
749
+ true
750
+ ],
751
+ "model.layers.11.mlp.down_proj.lora_E": [
752
+ false,
753
+ true,
754
+ true,
755
+ false,
756
+ true,
757
+ false,
758
+ true,
759
+ false,
760
+ false,
761
+ true,
762
+ false,
763
+ true,
764
+ false,
765
+ true,
766
+ true,
767
+ true,
768
+ true,
769
+ true,
770
+ true,
771
+ true,
772
+ true,
773
+ false,
774
+ false,
775
+ true,
776
+ false,
777
+ false,
778
+ true,
779
+ true,
780
+ false,
781
+ true,
782
+ false,
783
+ true
784
+ ],
785
+ "model.layers.11.mlp.gate_proj.lora_E": [
786
+ true,
787
+ false,
788
+ true,
789
+ true,
790
+ false,
791
+ true,
792
+ true,
793
+ true,
794
+ true,
795
+ false,
796
+ true,
797
+ false,
798
+ false,
799
+ true,
800
+ false,
801
+ false,
802
+ false,
803
+ true,
804
+ true,
805
+ true,
806
+ true,
807
+ false,
808
+ false,
809
+ false,
810
+ false,
811
+ false,
812
+ true,
813
+ true,
814
+ false,
815
+ true,
816
+ false,
817
+ false
818
+ ],
819
+ "model.layers.11.mlp.up_proj.lora_E": [
820
+ true,
821
+ true,
822
+ false,
823
+ true,
824
+ true,
825
+ true,
826
+ true,
827
+ false,
828
+ true,
829
+ true,
830
+ false,
831
+ true,
832
+ true,
833
+ true,
834
+ false,
835
+ true,
836
+ true,
837
+ true,
838
+ true,
839
+ false,
840
+ false,
841
+ true,
842
+ true,
843
+ true,
844
+ false,
845
+ true,
846
+ true,
847
+ true,
848
+ true,
849
+ true,
850
+ true,
851
+ true
852
+ ],
853
+ "model.layers.11.self_attn.k_proj.lora_E": [
854
+ false,
855
+ false,
856
+ false,
857
+ false,
858
+ false,
859
+ false,
860
+ false,
861
+ false,
862
+ false,
863
+ false,
864
+ false,
865
+ false,
866
+ false,
867
+ false,
868
+ false,
869
+ false,
870
+ false,
871
+ false,
872
+ false,
873
+ false,
874
+ false,
875
+ false,
876
+ false,
877
+ false,
878
+ false,
879
+ false,
880
+ false,
881
+ false,
882
+ false,
883
+ false,
884
+ false,
885
+ false
886
+ ],
887
+ "model.layers.11.self_attn.o_proj.lora_E": [
888
+ true,
889
+ true,
890
+ false,
891
+ false,
892
+ true,
893
+ true,
894
+ false,
895
+ false,
896
+ true,
897
+ true,
898
+ true,
899
+ true,
900
+ true,
901
+ false,
902
+ false,
903
+ false,
904
+ true,
905
+ false,
906
+ true,
907
+ false,
908
+ true,
909
+ true,
910
+ true,
911
+ false,
912
+ false,
913
+ false,
914
+ true,
915
+ true,
916
+ true,
917
+ true,
918
+ false,
919
+ true
920
+ ],
921
+ "model.layers.11.self_attn.q_proj.lora_E": [
922
+ false,
923
+ false,
924
+ false,
925
+ false,
926
+ false,
927
+ false,
928
+ false,
929
+ false,
930
+ false,
931
+ false,
932
+ false,
933
+ false,
934
+ false,
935
+ false,
936
+ false,
937
+ false,
938
+ false,
939
+ false,
940
+ false,
941
+ false,
942
+ false,
943
+ false,
944
+ false,
945
+ false,
946
+ false,
947
+ false,
948
+ false,
949
+ false,
950
+ true,
951
+ false,
952
+ false,
953
+ false
954
+ ],
955
+ "model.layers.11.self_attn.v_proj.lora_E": [
956
+ false,
957
+ false,
958
+ false,
959
+ false,
960
+ false,
961
+ false,
962
+ false,
963
+ false,
964
+ true,
965
+ false,
966
+ false,
967
+ false,
968
+ false,
969
+ false,
970
+ false,
971
+ false,
972
+ false,
973
+ false,
974
+ false,
975
+ true,
976
+ false,
977
+ false,
978
+ false,
979
+ false,
980
+ false,
981
+ true,
982
+ true,
983
+ false,
984
+ false,
985
+ false,
986
+ false,
987
+ false
988
+ ],
989
+ "model.layers.12.mlp.down_proj.lora_E": [
990
+ false,
991
+ false,
992
+ false,
993
+ false,
994
+ false,
995
+ false,
996
+ false,
997
+ false,
998
+ false,
999
+ false,
1000
+ false,
1001
+ true,
1002
+ false,
1003
+ false,
1004
+ false,
1005
+ false,
1006
+ false,
1007
+ false,
1008
+ false,
1009
+ true,
1010
+ false,
1011
+ true,
1012
+ false,
1013
+ false,
1014
+ true,
1015
+ false,
1016
+ false,
1017
+ false,
1018
+ false,
1019
+ false,
1020
+ true,
1021
+ true
1022
+ ],
1023
+ "model.layers.12.mlp.gate_proj.lora_E": [
1024
+ false,
1025
+ true,
1026
+ true,
1027
+ false,
1028
+ false,
1029
+ false,
1030
+ false,
1031
+ false,
1032
+ false,
1033
+ false,
1034
+ false,
1035
+ true,
1036
+ false,
1037
+ false,
1038
+ false,
1039
+ false,
1040
+ false,
1041
+ false,
1042
+ true,
1043
+ false,
1044
+ false,
1045
+ false,
1046
+ false,
1047
+ true,
1048
+ true,
1049
+ true,
1050
+ true,
1051
+ true,
1052
+ false,
1053
+ false,
1054
+ false,
1055
+ false
1056
+ ],
1057
+ "model.layers.12.mlp.up_proj.lora_E": [
1058
+ true,
1059
+ false,
1060
+ true,
1061
+ false,
1062
+ false,
1063
+ true,
1064
+ false,
1065
+ false,
1066
+ true,
1067
+ false,
1068
+ true,
1069
+ true,
1070
+ true,
1071
+ true,
1072
+ false,
1073
+ true,
1074
+ false,
1075
+ false,
1076
+ true,
1077
+ false,
1078
+ true,
1079
+ false,
1080
+ false,
1081
+ false,
1082
+ false,
1083
+ false,
1084
+ true,
1085
+ true,
1086
+ false,
1087
+ false,
1088
+ true,
1089
+ true
1090
+ ],
1091
+ "model.layers.12.self_attn.k_proj.lora_E": [
1092
+ false,
1093
+ false,
1094
+ false,
1095
+ false,
1096
+ false,
1097
+ false,
1098
+ false,
1099
+ false,
1100
+ false,
1101
+ false,
1102
+ false,
1103
+ false,
1104
+ false,
1105
+ false,
1106
+ false,
1107
+ false,
1108
+ false,
1109
+ false,
1110
+ false,
1111
+ false,
1112
+ false,
1113
+ false,
1114
+ false,
1115
+ false,
1116
+ false,
1117
+ false,
1118
+ false,
1119
+ false,
1120
+ false,
1121
+ false,
1122
+ false,
1123
+ false
1124
+ ],
1125
+ "model.layers.12.self_attn.o_proj.lora_E": [
1126
+ false,
1127
+ true,
1128
+ false,
1129
+ false,
1130
+ true,
1131
+ false,
1132
+ false,
1133
+ true,
1134
+ false,
1135
+ true,
1136
+ false,
1137
+ true,
1138
+ false,
1139
+ false,
1140
+ false,
1141
+ true,
1142
+ false,
1143
+ false,
1144
+ false,
1145
+ true,
1146
+ true,
1147
+ false,
1148
+ false,
1149
+ true,
1150
+ false,
1151
+ true,
1152
+ true,
1153
+ false,
1154
+ false,
1155
+ false,
1156
+ false,
1157
+ false
1158
+ ],
1159
+ "model.layers.12.self_attn.q_proj.lora_E": [
1160
+ true,
1161
+ false,
1162
+ false,
1163
+ false,
1164
+ false,
1165
+ false,
1166
+ false,
1167
+ false,
1168
+ false,
1169
+ false,
1170
+ false,
1171
+ false,
1172
+ false,
1173
+ false,
1174
+ false,
1175
+ false,
1176
+ false,
1177
+ false,
1178
+ false,
1179
+ false,
1180
+ false,
1181
+ false,
1182
+ false,
1183
+ false,
1184
+ false,
1185
+ false,
1186
+ false,
1187
+ false,
1188
+ false,
1189
+ false,
1190
+ false,
1191
+ false
1192
+ ],
1193
+ "model.layers.12.self_attn.v_proj.lora_E": [
1194
+ false,
1195
+ false,
1196
+ false,
1197
+ false,
1198
+ true,
1199
+ false,
1200
+ false,
1201
+ false,
1202
+ false,
1203
+ true,
1204
+ true,
1205
+ true,
1206
+ false,
1207
+ false,
1208
+ false,
1209
+ false,
1210
+ false,
1211
+ false,
1212
+ false,
1213
+ false,
1214
+ false,
1215
+ false,
1216
+ false,
1217
+ false,
1218
+ false,
1219
+ false,
1220
+ false,
1221
+ false,
1222
+ false,
1223
+ true,
1224
+ false,
1225
+ false
1226
+ ],
1227
+ "model.layers.13.mlp.down_proj.lora_E": [
1228
+ false,
1229
+ false,
1230
+ false,
1231
+ true,
1232
+ false,
1233
+ false,
1234
+ true,
1235
+ false,
1236
+ false,
1237
+ false,
1238
+ false,
1239
+ false,
1240
+ true,
1241
+ true,
1242
+ true,
1243
+ false,
1244
+ true,
1245
+ false,
1246
+ true,
1247
+ false,
1248
+ false,
1249
+ false,
1250
+ false,
1251
+ false,
1252
+ false,
1253
+ false,
1254
+ false,
1255
+ false,
1256
+ false,
1257
+ true,
1258
+ false,
1259
+ true
1260
+ ],
1261
+ "model.layers.13.mlp.gate_proj.lora_E": [
1262
+ false,
1263
+ false,
1264
+ false,
1265
+ true,
1266
+ false,
1267
+ false,
1268
+ false,
1269
+ false,
1270
+ false,
1271
+ false,
1272
+ false,
1273
+ false,
1274
+ false,
1275
+ false,
1276
+ false,
1277
+ false,
1278
+ true,
1279
+ false,
1280
+ false,
1281
+ false,
1282
+ false,
1283
+ false,
1284
+ false,
1285
+ false,
1286
+ true,
1287
+ false,
1288
+ false,
1289
+ true,
1290
+ false,
1291
+ true,
1292
+ false,
1293
+ false
1294
+ ],
1295
+ "model.layers.13.mlp.up_proj.lora_E": [
1296
+ false,
1297
+ false,
1298
+ false,
1299
+ false,
1300
+ false,
1301
+ false,
1302
+ false,
1303
+ false,
1304
+ true,
1305
+ false,
1306
+ false,
1307
+ true,
1308
+ false,
1309
+ false,
1310
+ false,
1311
+ false,
1312
+ false,
1313
+ true,
1314
+ false,
1315
+ true,
1316
+ true,
1317
+ false,
1318
+ true,
1319
+ false,
1320
+ false,
1321
+ false,
1322
+ false,
1323
+ false,
1324
+ true,
1325
+ false,
1326
+ false,
1327
+ false
1328
+ ],
1329
+ "model.layers.13.self_attn.k_proj.lora_E": [
1330
+ false,
1331
+ false,
1332
+ false,
1333
+ false,
1334
+ false,
1335
+ false,
1336
+ false,
1337
+ false,
1338
+ false,
1339
+ false,
1340
+ false,
1341
+ false,
1342
+ false,
1343
+ false,
1344
+ false,
1345
+ false,
1346
+ false,
1347
+ false,
1348
+ false,
1349
+ false,
1350
+ false,
1351
+ false,
1352
+ false,
1353
+ false,
1354
+ false,
1355
+ false,
1356
+ false,
1357
+ false,
1358
+ false,
1359
+ false,
1360
+ false,
1361
+ false
1362
+ ],
1363
+ "model.layers.13.self_attn.o_proj.lora_E": [
1364
+ false,
1365
+ false,
1366
+ false,
1367
+ false,
1368
+ false,
1369
+ false,
1370
+ true,
1371
+ false,
1372
+ false,
1373
+ true,
1374
+ false,
1375
+ false,
1376
+ false,
1377
+ false,
1378
+ false,
1379
+ false,
1380
+ false,
1381
+ false,
1382
+ false,
1383
+ false,
1384
+ false,
1385
+ false,
1386
+ false,
1387
+ false,
1388
+ false,
1389
+ false,
1390
+ false,
1391
+ false,
1392
+ false,
1393
+ false,
1394
+ false,
1395
+ false
1396
+ ],
1397
+ "model.layers.13.self_attn.q_proj.lora_E": [
1398
+ false,
1399
+ false,
1400
+ false,
1401
+ false,
1402
+ false,
1403
+ false,
1404
+ false,
1405
+ false,
1406
+ false,
1407
+ false,
1408
+ false,
1409
+ false,
1410
+ false,
1411
+ false,
1412
+ false,
1413
+ false,
1414
+ false,
1415
+ false,
1416
+ false,
1417
+ false,
1418
+ false,
1419
+ false,
1420
+ false,
1421
+ false,
1422
+ false,
1423
+ false,
1424
+ false,
1425
+ false,
1426
+ false,
1427
+ false,
1428
+ false,
1429
+ false
1430
+ ],
1431
+ "model.layers.13.self_attn.v_proj.lora_E": [
1432
+ false,
1433
+ false,
1434
+ false,
1435
+ false,
1436
+ false,
1437
+ false,
1438
+ false,
1439
+ false,
1440
+ false,
1441
+ false,
1442
+ false,
1443
+ false,
1444
+ false,
1445
+ false,
1446
+ false,
1447
+ false,
1448
+ false,
1449
+ false,
1450
+ false,
1451
+ false,
1452
+ false,
1453
+ false,
1454
+ false,
1455
+ false,
1456
+ false,
1457
+ false,
1458
+ false,
1459
+ false,
1460
+ false,
1461
+ false,
1462
+ false,
1463
+ false
1464
+ ],
1465
+ "model.layers.14.mlp.down_proj.lora_E": [
1466
+ false,
1467
+ false,
1468
+ true,
1469
+ false,
1470
+ false,
1471
+ false,
1472
+ true,
1473
+ false,
1474
+ true,
1475
+ false,
1476
+ false,
1477
+ true,
1478
+ false,
1479
+ true,
1480
+ false,
1481
+ false,
1482
+ false,
1483
+ true,
1484
+ true,
1485
+ true,
1486
+ true,
1487
+ true,
1488
+ false,
1489
+ false,
1490
+ true,
1491
+ false,
1492
+ false,
1493
+ true,
1494
+ false,
1495
+ false,
1496
+ false,
1497
+ false
1498
+ ],
1499
+ "model.layers.14.mlp.gate_proj.lora_E": [
1500
+ false,
1501
+ false,
1502
+ false,
1503
+ false,
1504
+ false,
1505
+ false,
1506
+ true,
1507
+ true,
1508
+ false,
1509
+ false,
1510
+ false,
1511
+ false,
1512
+ false,
1513
+ false,
1514
+ true,
1515
+ false,
1516
+ true,
1517
+ false,
1518
+ false,
1519
+ false,
1520
+ false,
1521
+ false,
1522
+ false,
1523
+ false,
1524
+ false,
1525
+ false,
1526
+ false,
1527
+ false,
1528
+ false,
1529
+ false,
1530
+ false,
1531
+ false
1532
+ ],
1533
+ "model.layers.14.mlp.up_proj.lora_E": [
1534
+ false,
1535
+ false,
1536
+ false,
1537
+ false,
1538
+ false,
1539
+ false,
1540
+ true,
1541
+ false,
1542
+ false,
1543
+ false,
1544
+ false,
1545
+ false,
1546
+ false,
1547
+ false,
1548
+ false,
1549
+ false,
1550
+ true,
1551
+ true,
1552
+ false,
1553
+ false,
1554
+ false,
1555
+ false,
1556
+ false,
1557
+ false,
1558
+ false,
1559
+ false,
1560
+ false,
1561
+ false,
1562
+ false,
1563
+ false,
1564
+ false,
1565
+ false
1566
+ ],
1567
+ "model.layers.14.self_attn.k_proj.lora_E": [
1568
+ false,
1569
+ false,
1570
+ false,
1571
+ false,
1572
+ false,
1573
+ false,
1574
+ false,
1575
+ false,
1576
+ false,
1577
+ false,
1578
+ false,
1579
+ false,
1580
+ false,
1581
+ false,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
+ false,
1587
+ false,
1588
+ false,
1589
+ false,
1590
+ false,
1591
+ false,
1592
+ false,
1593
+ false,
1594
+ false,
1595
+ false,
1596
+ false,
1597
+ false,
1598
+ false,
1599
+ false
1600
+ ],
1601
+ "model.layers.14.self_attn.o_proj.lora_E": [
1602
+ true,
1603
+ false,
1604
+ false,
1605
+ false,
1606
+ false,
1607
+ false,
1608
+ false,
1609
+ true,
1610
+ false,
1611
+ false,
1612
+ true,
1613
+ true,
1614
+ true,
1615
+ false,
1616
+ true,
1617
+ true,
1618
+ false,
1619
+ false,
1620
+ true,
1621
+ false,
1622
+ true,
1623
+ true,
1624
+ false,
1625
+ false,
1626
+ false,
1627
+ false,
1628
+ true,
1629
+ true,
1630
+ false,
1631
+ false,
1632
+ false,
1633
+ true
1634
+ ],
1635
+ "model.layers.14.self_attn.q_proj.lora_E": [
1636
+ false,
1637
+ false,
1638
+ false,
1639
+ false,
1640
+ false,
1641
+ false,
1642
+ false,
1643
+ false,
1644
+ false,
1645
+ false,
1646
+ false,
1647
+ false,
1648
+ false,
1649
+ false,
1650
+ false,
1651
+ false,
1652
+ false,
1653
+ false,
1654
+ false,
1655
+ false,
1656
+ false,
1657
+ false,
1658
+ false,
1659
+ false,
1660
+ false,
1661
+ false,
1662
+ false,
1663
+ false,
1664
+ false,
1665
+ false,
1666
+ false,
1667
+ false
1668
+ ],
1669
+ "model.layers.14.self_attn.v_proj.lora_E": [
1670
+ false,
1671
+ false,
1672
+ false,
1673
+ false,
1674
+ false,
1675
+ false,
1676
+ false,
1677
+ false,
1678
+ false,
1679
+ false,
1680
+ false,
1681
+ false,
1682
+ false,
1683
+ false,
1684
+ false,
1685
+ false,
1686
+ false,
1687
+ false,
1688
+ false,
1689
+ false,
1690
+ false,
1691
+ false,
1692
+ false,
1693
+ false,
1694
+ false,
1695
+ false,
1696
+ false,
1697
+ false,
1698
+ false,
1699
+ false,
1700
+ false,
1701
+ false
1702
+ ],
1703
+ "model.layers.15.mlp.down_proj.lora_E": [
1704
+ true,
1705
+ false,
1706
+ true,
1707
+ true,
1708
+ true,
1709
+ true,
1710
+ true,
1711
+ true,
1712
+ false,
1713
+ true,
1714
+ true,
1715
+ false,
1716
+ true,
1717
+ true,
1718
+ false,
1719
+ true,
1720
+ false,
1721
+ true,
1722
+ true,
1723
+ false,
1724
+ false,
1725
+ true,
1726
+ false,
1727
+ true,
1728
+ true,
1729
+ true,
1730
+ true,
1731
+ true,
1732
+ true,
1733
+ true,
1734
+ true,
1735
+ true
1736
+ ],
1737
+ "model.layers.15.mlp.gate_proj.lora_E": [
1738
+ true,
1739
+ false,
1740
+ false,
1741
+ false,
1742
+ false,
1743
+ false,
1744
+ false,
1745
+ false,
1746
+ false,
1747
+ false,
1748
+ true,
1749
+ false,
1750
+ false,
1751
+ false,
1752
+ false,
1753
+ true,
1754
+ false,
1755
+ false,
1756
+ false,
1757
+ false,
1758
+ true,
1759
+ false,
1760
+ false,
1761
+ false,
1762
+ false,
1763
+ false,
1764
+ false,
1765
+ true,
1766
+ false,
1767
+ false,
1768
+ false,
1769
+ false
1770
+ ],
1771
+ "model.layers.15.mlp.up_proj.lora_E": [
1772
+ true,
1773
+ false,
1774
+ false,
1775
+ false,
1776
+ false,
1777
+ true,
1778
+ true,
1779
+ true,
1780
+ false,
1781
+ false,
1782
+ false,
1783
+ true,
1784
+ false,
1785
+ false,
1786
+ false,
1787
+ true,
1788
+ true,
1789
+ false,
1790
+ false,
1791
+ true,
1792
+ false,
1793
+ true,
1794
+ false,
1795
+ false,
1796
+ true,
1797
+ false,
1798
+ false,
1799
+ false,
1800
+ false,
1801
+ false,
1802
+ false,
1803
+ true
1804
+ ],
1805
+ "model.layers.15.self_attn.k_proj.lora_E": [
1806
+ false,
1807
+ false,
1808
+ false,
1809
+ false,
1810
+ false,
1811
+ false,
1812
+ false,
1813
+ false,
1814
+ false,
1815
+ false,
1816
+ false,
1817
+ false,
1818
+ false,
1819
+ false,
1820
+ false,
1821
+ false,
1822
+ false,
1823
+ false,
1824
+ false,
1825
+ false,
1826
+ false,
1827
+ false,
1828
+ false,
1829
+ false,
1830
+ false,
1831
+ false,
1832
+ false,
1833
+ false,
1834
+ false,
1835
+ false,
1836
+ false,
1837
+ false
1838
+ ],
1839
+ "model.layers.15.self_attn.o_proj.lora_E": [
1840
+ false,
1841
+ false,
1842
+ false,
1843
+ false,
1844
+ false,
1845
+ false,
1846
+ true,
1847
+ false,
1848
+ false,
1849
+ false,
1850
+ false,
1851
+ false,
1852
+ false,
1853
+ false,
1854
+ false,
1855
+ true,
1856
+ true,
1857
+ false,
1858
+ true,
1859
+ false,
1860
+ false,
1861
+ false,
1862
+ false,
1863
+ false,
1864
+ false,
1865
+ true,
1866
+ false,
1867
+ false,
1868
+ false,
1869
+ false,
1870
+ true,
1871
+ false
1872
+ ],
1873
+ "model.layers.15.self_attn.q_proj.lora_E": [
1874
+ false,
1875
+ false,
1876
+ true,
1877
+ false,
1878
+ false,
1879
+ false,
1880
+ false,
1881
+ false,
1882
+ false,
1883
+ true,
1884
+ false,
1885
+ false,
1886
+ false,
1887
+ false,
1888
+ false,
1889
+ false,
1890
+ false,
1891
+ false,
1892
+ false,
1893
+ true,
1894
+ false,
1895
+ false,
1896
+ false,
1897
+ false,
1898
+ false,
1899
+ false,
1900
+ false,
1901
+ false,
1902
+ false,
1903
+ false,
1904
+ false,
1905
+ false
1906
+ ],
1907
+ "model.layers.15.self_attn.v_proj.lora_E": [
1908
+ false,
1909
+ false,
1910
+ false,
1911
+ false,
1912
+ false,
1913
+ false,
1914
+ false,
1915
+ false,
1916
+ false,
1917
+ false,
1918
+ false,
1919
+ false,
1920
+ false,
1921
+ false,
1922
+ false,
1923
+ false,
1924
+ false,
1925
+ false,
1926
+ false,
1927
+ false,
1928
+ false,
1929
+ false,
1930
+ false,
1931
+ false,
1932
+ false,
1933
+ false,
1934
+ false,
1935
+ false,
1936
+ false,
1937
+ false,
1938
+ false,
1939
+ false
1940
+ ],
1941
+ "model.layers.2.mlp.down_proj.lora_E": [
1942
+ true,
1943
+ true,
1944
+ false,
1945
+ true,
1946
+ true,
1947
+ true,
1948
+ true,
1949
+ true,
1950
+ false,
1951
+ true,
1952
+ false,
1953
+ true,
1954
+ true,
1955
+ true,
1956
+ true,
1957
+ true,
1958
+ true,
1959
+ true,
1960
+ false,
1961
+ true,
1962
+ true,
1963
+ true,
1964
+ true,
1965
+ false,
1966
+ true,
1967
+ true,
1968
+ true,
1969
+ true,
1970
+ true,
1971
+ true,
1972
+ true,
1973
+ true
1974
+ ],
1975
+ "model.layers.2.mlp.gate_proj.lora_E": [
1976
+ true,
1977
+ true,
1978
+ false,
1979
+ false,
1980
+ true,
1981
+ false,
1982
+ false,
1983
+ false,
1984
+ false,
1985
+ false,
1986
+ true,
1987
+ false,
1988
+ true,
1989
+ true,
1990
+ false,
1991
+ true,
1992
+ true,
1993
+ false,
1994
+ false,
1995
+ true,
1996
+ true,
1997
+ false,
1998
+ true,
1999
+ false,
2000
+ false,
2001
+ true,
2002
+ false,
2003
+ false,
2004
+ false,
2005
+ true,
2006
+ true,
2007
+ true
2008
+ ],
2009
+ "model.layers.2.mlp.up_proj.lora_E": [
2010
+ true,
2011
+ true,
2012
+ true,
2013
+ true,
2014
+ true,
2015
+ true,
2016
+ true,
2017
+ true,
2018
+ true,
2019
+ true,
2020
+ true,
2021
+ true,
2022
+ true,
2023
+ true,
2024
+ true,
2025
+ true,
2026
+ true,
2027
+ true,
2028
+ true,
2029
+ true,
2030
+ true,
2031
+ true,
2032
+ true,
2033
+ true,
2034
+ true,
2035
+ true,
2036
+ true,
2037
+ true,
2038
+ true,
2039
+ true,
2040
+ true,
2041
+ true
2042
+ ],
2043
+ "model.layers.2.self_attn.k_proj.lora_E": [
2044
+ false,
2045
+ false,
2046
+ true,
2047
+ false,
2048
+ false,
2049
+ true,
2050
+ false,
2051
+ false,
2052
+ false,
2053
+ true,
2054
+ false,
2055
+ false,
2056
+ false,
2057
+ true,
2058
+ false,
2059
+ false,
2060
+ true,
2061
+ false,
2062
+ false,
2063
+ false,
2064
+ false,
2065
+ false,
2066
+ false,
2067
+ false,
2068
+ false,
2069
+ false,
2070
+ true,
2071
+ false,
2072
+ true,
2073
+ true,
2074
+ false,
2075
+ false
2076
+ ],
2077
+ "model.layers.2.self_attn.o_proj.lora_E": [
2078
+ true,
2079
+ true,
2080
+ true,
2081
+ true,
2082
+ true,
2083
+ true,
2084
+ true,
2085
+ true,
2086
+ false,
2087
+ true,
2088
+ true,
2089
+ false,
2090
+ true,
2091
+ true,
2092
+ false,
2093
+ true,
2094
+ true,
2095
+ false,
2096
+ false,
2097
+ false,
2098
+ true,
2099
+ true,
2100
+ true,
2101
+ true,
2102
+ true,
2103
+ false,
2104
+ true,
2105
+ true,
2106
+ true,
2107
+ true,
2108
+ true,
2109
+ true
2110
+ ],
2111
+ "model.layers.2.self_attn.q_proj.lora_E": [
2112
+ true,
2113
+ true,
2114
+ false,
2115
+ false,
2116
+ false,
2117
+ false,
2118
+ false,
2119
+ false,
2120
+ false,
2121
+ false,
2122
+ false,
2123
+ true,
2124
+ false,
2125
+ false,
2126
+ false,
2127
+ true,
2128
+ false,
2129
+ false,
2130
+ false,
2131
+ true,
2132
+ false,
2133
+ false,
2134
+ true,
2135
+ false,
2136
+ false,
2137
+ false,
2138
+ true,
2139
+ true,
2140
+ false,
2141
+ true,
2142
+ false,
2143
+ true
2144
+ ],
2145
+ "model.layers.2.self_attn.v_proj.lora_E": [
2146
+ true,
2147
+ true,
2148
+ true,
2149
+ true,
2150
+ true,
2151
+ false,
2152
+ false,
2153
+ true,
2154
+ false,
2155
+ true,
2156
+ true,
2157
+ true,
2158
+ true,
2159
+ true,
2160
+ true,
2161
+ true,
2162
+ true,
2163
+ true,
2164
+ false,
2165
+ false,
2166
+ true,
2167
+ true,
2168
+ true,
2169
+ false,
2170
+ false,
2171
+ true,
2172
+ true,
2173
+ true,
2174
+ true,
2175
+ true,
2176
+ true,
2177
+ false
2178
+ ],
2179
+ "model.layers.3.mlp.down_proj.lora_E": [
2180
+ true,
2181
+ true,
2182
+ true,
2183
+ true,
2184
+ true,
2185
+ true,
2186
+ true,
2187
+ true,
2188
+ false,
2189
+ false,
2190
+ true,
2191
+ true,
2192
+ true,
2193
+ true,
2194
+ true,
2195
+ true,
2196
+ true,
2197
+ true,
2198
+ true,
2199
+ true,
2200
+ true,
2201
+ true,
2202
+ false,
2203
+ true,
2204
+ false,
2205
+ true,
2206
+ true,
2207
+ true,
2208
+ true,
2209
+ true,
2210
+ true,
2211
+ true
2212
+ ],
2213
+ "model.layers.3.mlp.gate_proj.lora_E": [
2214
+ false,
2215
+ false,
2216
+ true,
2217
+ true,
2218
+ true,
2219
+ true,
2220
+ true,
2221
+ true,
2222
+ true,
2223
+ false,
2224
+ true,
2225
+ true,
2226
+ false,
2227
+ true,
2228
+ false,
2229
+ false,
2230
+ true,
2231
+ true,
2232
+ false,
2233
+ true,
2234
+ false,
2235
+ false,
2236
+ false,
2237
+ true,
2238
+ true,
2239
+ true,
2240
+ true,
2241
+ false,
2242
+ true,
2243
+ true,
2244
+ true,
2245
+ true
2246
+ ],
2247
+ "model.layers.3.mlp.up_proj.lora_E": [
2248
+ false,
2249
+ true,
2250
+ true,
2251
+ true,
2252
+ true,
2253
+ true,
2254
+ true,
2255
+ true,
2256
+ true,
2257
+ true,
2258
+ true,
2259
+ true,
2260
+ true,
2261
+ true,
2262
+ true,
2263
+ true,
2264
+ true,
2265
+ true,
2266
+ true,
2267
+ true,
2268
+ true,
2269
+ true,
2270
+ true,
2271
+ true,
2272
+ true,
2273
+ true,
2274
+ true,
2275
+ true,
2276
+ true,
2277
+ true,
2278
+ true,
2279
+ true
2280
+ ],
2281
+ "model.layers.3.self_attn.k_proj.lora_E": [
2282
+ false,
2283
+ false,
2284
+ false,
2285
+ false,
2286
+ false,
2287
+ false,
2288
+ false,
2289
+ false,
2290
+ false,
2291
+ false,
2292
+ false,
2293
+ false,
2294
+ false,
2295
+ false,
2296
+ false,
2297
+ false,
2298
+ false,
2299
+ false,
2300
+ false,
2301
+ false,
2302
+ false,
2303
+ false,
2304
+ false,
2305
+ false,
2306
+ false,
2307
+ false,
2308
+ false,
2309
+ false,
2310
+ false,
2311
+ false,
2312
+ false,
2313
+ false
2314
+ ],
2315
+ "model.layers.3.self_attn.o_proj.lora_E": [
2316
+ false,
2317
+ true,
2318
+ false,
2319
+ true,
2320
+ false,
2321
+ true,
2322
+ true,
2323
+ true,
2324
+ false,
2325
+ false,
2326
+ false,
2327
+ true,
2328
+ true,
2329
+ false,
2330
+ true,
2331
+ true,
2332
+ true,
2333
+ true,
2334
+ false,
2335
+ false,
2336
+ true,
2337
+ true,
2338
+ true,
2339
+ false,
2340
+ true,
2341
+ false,
2342
+ false,
2343
+ true,
2344
+ true,
2345
+ true,
2346
+ true,
2347
+ true
2348
+ ],
2349
+ "model.layers.3.self_attn.q_proj.lora_E": [
2350
+ false,
2351
+ false,
2352
+ false,
2353
+ true,
2354
+ false,
2355
+ false,
2356
+ false,
2357
+ false,
2358
+ false,
2359
+ false,
2360
+ false,
2361
+ false,
2362
+ false,
2363
+ false,
2364
+ false,
2365
+ false,
2366
+ false,
2367
+ false,
2368
+ false,
2369
+ false,
2370
+ false,
2371
+ false,
2372
+ false,
2373
+ false,
2374
+ false,
2375
+ false,
2376
+ false,
2377
+ false,
2378
+ false,
2379
+ false,
2380
+ false,
2381
+ false
2382
+ ],
2383
+ "model.layers.3.self_attn.v_proj.lora_E": [
2384
+ true,
2385
+ false,
2386
+ false,
2387
+ true,
2388
+ false,
2389
+ true,
2390
+ true,
2391
+ true,
2392
+ false,
2393
+ false,
2394
+ true,
2395
+ false,
2396
+ true,
2397
+ true,
2398
+ false,
2399
+ false,
2400
+ false,
2401
+ true,
2402
+ true,
2403
+ false,
2404
+ false,
2405
+ false,
2406
+ true,
2407
+ true,
2408
+ true,
2409
+ false,
2410
+ true,
2411
+ true,
2412
+ false,
2413
+ true,
2414
+ true,
2415
+ true
2416
+ ],
2417
+ "model.layers.4.mlp.down_proj.lora_E": [
2418
+ true,
2419
+ false,
2420
+ true,
2421
+ true,
2422
+ true,
2423
+ true,
2424
+ true,
2425
+ true,
2426
+ true,
2427
+ true,
2428
+ true,
2429
+ true,
2430
+ true,
2431
+ true,
2432
+ true,
2433
+ true,
2434
+ true,
2435
+ true,
2436
+ true,
2437
+ true,
2438
+ true,
2439
+ true,
2440
+ true,
2441
+ true,
2442
+ true,
2443
+ true,
2444
+ true,
2445
+ true,
2446
+ true,
2447
+ false,
2448
+ true,
2449
+ true
2450
+ ],
2451
+ "model.layers.4.mlp.gate_proj.lora_E": [
2452
+ false,
2453
+ false,
2454
+ false,
2455
+ true,
2456
+ false,
2457
+ false,
2458
+ true,
2459
+ true,
2460
+ false,
2461
+ false,
2462
+ true,
2463
+ true,
2464
+ true,
2465
+ true,
2466
+ true,
2467
+ true,
2468
+ true,
2469
+ false,
2470
+ true,
2471
+ false,
2472
+ false,
2473
+ false,
2474
+ true,
2475
+ false,
2476
+ true,
2477
+ true,
2478
+ false,
2479
+ true,
2480
+ true,
2481
+ false,
2482
+ false,
2483
+ true
2484
+ ],
2485
+ "model.layers.4.mlp.up_proj.lora_E": [
2486
+ true,
2487
+ true,
2488
+ true,
2489
+ true,
2490
+ true,
2491
+ true,
2492
+ true,
2493
+ true,
2494
+ true,
2495
+ true,
2496
+ true,
2497
+ false,
2498
+ true,
2499
+ true,
2500
+ true,
2501
+ true,
2502
+ true,
2503
+ true,
2504
+ true,
2505
+ true,
2506
+ true,
2507
+ true,
2508
+ true,
2509
+ true,
2510
+ true,
2511
+ true,
2512
+ true,
2513
+ true,
2514
+ true,
2515
+ true,
2516
+ true,
2517
+ true
2518
+ ],
2519
+ "model.layers.4.self_attn.k_proj.lora_E": [
2520
+ true,
2521
+ false,
2522
+ false,
2523
+ false,
2524
+ false,
2525
+ false,
2526
+ false,
2527
+ false,
2528
+ true,
2529
+ true,
2530
+ false,
2531
+ false,
2532
+ false,
2533
+ false,
2534
+ false,
2535
+ false,
2536
+ false,
2537
+ false,
2538
+ false,
2539
+ false,
2540
+ true,
2541
+ false,
2542
+ false,
2543
+ false,
2544
+ true,
2545
+ true,
2546
+ false,
2547
+ false,
2548
+ true,
2549
+ false,
2550
+ false,
2551
+ true
2552
+ ],
2553
+ "model.layers.4.self_attn.o_proj.lora_E": [
2554
+ false,
2555
+ true,
2556
+ true,
2557
+ true,
2558
+ true,
2559
+ false,
2560
+ true,
2561
+ false,
2562
+ true,
2563
+ true,
2564
+ true,
2565
+ true,
2566
+ true,
2567
+ true,
2568
+ true,
2569
+ true,
2570
+ true,
2571
+ true,
2572
+ true,
2573
+ true,
2574
+ true,
2575
+ true,
2576
+ false,
2577
+ true,
2578
+ true,
2579
+ true,
2580
+ true,
2581
+ true,
2582
+ true,
2583
+ true,
2584
+ true,
2585
+ true
2586
+ ],
2587
+ "model.layers.4.self_attn.q_proj.lora_E": [
2588
+ false,
2589
+ true,
2590
+ false,
2591
+ false,
2592
+ false,
2593
+ true,
2594
+ true,
2595
+ false,
2596
+ false,
2597
+ false,
2598
+ true,
2599
+ true,
2600
+ false,
2601
+ false,
2602
+ false,
2603
+ true,
2604
+ true,
2605
+ true,
2606
+ false,
2607
+ true,
2608
+ false,
2609
+ true,
2610
+ true,
2611
+ true,
2612
+ false,
2613
+ false,
2614
+ false,
2615
+ true,
2616
+ true,
2617
+ false,
2618
+ false,
2619
+ true
2620
+ ],
2621
+ "model.layers.4.self_attn.v_proj.lora_E": [
2622
+ true,
2623
+ false,
2624
+ false,
2625
+ true,
2626
+ true,
2627
+ true,
2628
+ true,
2629
+ true,
2630
+ true,
2631
+ true,
2632
+ true,
2633
+ true,
2634
+ true,
2635
+ true,
2636
+ true,
2637
+ true,
2638
+ true,
2639
+ true,
2640
+ true,
2641
+ true,
2642
+ true,
2643
+ false,
2644
+ true,
2645
+ true,
2646
+ true,
2647
+ true,
2648
+ true,
2649
+ true,
2650
+ true,
2651
+ false,
2652
+ true,
2653
+ true
2654
+ ],
2655
+ "model.layers.5.mlp.down_proj.lora_E": [
2656
+ true,
2657
+ true,
2658
+ true,
2659
+ false,
2660
+ true,
2661
+ true,
2662
+ true,
2663
+ true,
2664
+ true,
2665
+ true,
2666
+ true,
2667
+ true,
2668
+ true,
2669
+ true,
2670
+ true,
2671
+ false,
2672
+ false,
2673
+ true,
2674
+ true,
2675
+ true,
2676
+ true,
2677
+ true,
2678
+ true,
2679
+ true,
2680
+ true,
2681
+ false,
2682
+ true,
2683
+ true,
2684
+ false,
2685
+ true,
2686
+ true,
2687
+ true
2688
+ ],
2689
+ "model.layers.5.mlp.gate_proj.lora_E": [
2690
+ true,
2691
+ true,
2692
+ true,
2693
+ true,
2694
+ true,
2695
+ true,
2696
+ false,
2697
+ false,
2698
+ false,
2699
+ false,
2700
+ false,
2701
+ false,
2702
+ true,
2703
+ true,
2704
+ true,
2705
+ true,
2706
+ true,
2707
+ false,
2708
+ true,
2709
+ true,
2710
+ false,
2711
+ true,
2712
+ true,
2713
+ true,
2714
+ true,
2715
+ true,
2716
+ true,
2717
+ true,
2718
+ false,
2719
+ true,
2720
+ true,
2721
+ false
2722
+ ],
2723
+ "model.layers.5.mlp.up_proj.lora_E": [
2724
+ true,
2725
+ true,
2726
+ true,
2727
+ true,
2728
+ true,
2729
+ true,
2730
+ true,
2731
+ true,
2732
+ true,
2733
+ true,
2734
+ true,
2735
+ true,
2736
+ true,
2737
+ true,
2738
+ true,
2739
+ true,
2740
+ true,
2741
+ false,
2742
+ true,
2743
+ true,
2744
+ true,
2745
+ true,
2746
+ true,
2747
+ true,
2748
+ true,
2749
+ true,
2750
+ true,
2751
+ true,
2752
+ true,
2753
+ true,
2754
+ true,
2755
+ true
2756
+ ],
2757
+ "model.layers.5.self_attn.k_proj.lora_E": [
2758
+ false,
2759
+ false,
2760
+ false,
2761
+ false,
2762
+ false,
2763
+ false,
2764
+ false,
2765
+ false,
2766
+ false,
2767
+ false,
2768
+ false,
2769
+ true,
2770
+ false,
2771
+ false,
2772
+ false,
2773
+ false,
2774
+ false,
2775
+ false,
2776
+ false,
2777
+ false,
2778
+ false,
2779
+ false,
2780
+ false,
2781
+ false,
2782
+ false,
2783
+ false,
2784
+ true,
2785
+ true,
2786
+ false,
2787
+ false,
2788
+ false,
2789
+ false
2790
+ ],
2791
+ "model.layers.5.self_attn.o_proj.lora_E": [
2792
+ true,
2793
+ true,
2794
+ true,
2795
+ true,
2796
+ true,
2797
+ true,
2798
+ true,
2799
+ true,
2800
+ true,
2801
+ false,
2802
+ true,
2803
+ true,
2804
+ true,
2805
+ true,
2806
+ true,
2807
+ true,
2808
+ true,
2809
+ true,
2810
+ true,
2811
+ true,
2812
+ false,
2813
+ true,
2814
+ true,
2815
+ true,
2816
+ true,
2817
+ true,
2818
+ true,
2819
+ true,
2820
+ true,
2821
+ true,
2822
+ true,
2823
+ true
2824
+ ],
2825
+ "model.layers.5.self_attn.q_proj.lora_E": [
2826
+ true,
2827
+ false,
2828
+ true,
2829
+ true,
2830
+ true,
2831
+ false,
2832
+ false,
2833
+ false,
2834
+ false,
2835
+ true,
2836
+ false,
2837
+ false,
2838
+ false,
2839
+ false,
2840
+ true,
2841
+ false,
2842
+ false,
2843
+ true,
2844
+ true,
2845
+ true,
2846
+ true,
2847
+ true,
2848
+ true,
2849
+ true,
2850
+ false,
2851
+ false,
2852
+ true,
2853
+ false,
2854
+ true,
2855
+ true,
2856
+ true,
2857
+ false
2858
+ ],
2859
+ "model.layers.5.self_attn.v_proj.lora_E": [
2860
+ true,
2861
+ true,
2862
+ true,
2863
+ false,
2864
+ true,
2865
+ true,
2866
+ true,
2867
+ true,
2868
+ true,
2869
+ true,
2870
+ true,
2871
+ true,
2872
+ true,
2873
+ true,
2874
+ true,
2875
+ true,
2876
+ true,
2877
+ true,
2878
+ true,
2879
+ false,
2880
+ true,
2881
+ true,
2882
+ true,
2883
+ true,
2884
+ true,
2885
+ false,
2886
+ true,
2887
+ false,
2888
+ false,
2889
+ true,
2890
+ true,
2891
+ true
2892
+ ],
2893
+ "model.layers.6.mlp.down_proj.lora_E": [
2894
+ true,
2895
+ true,
2896
+ true,
2897
+ true,
2898
+ true,
2899
+ true,
2900
+ true,
2901
+ true,
2902
+ true,
2903
+ true,
2904
+ true,
2905
+ true,
2906
+ true,
2907
+ true,
2908
+ true,
2909
+ true,
2910
+ true,
2911
+ true,
2912
+ true,
2913
+ true,
2914
+ true,
2915
+ true,
2916
+ true,
2917
+ true,
2918
+ false,
2919
+ true,
2920
+ true,
2921
+ true,
2922
+ false,
2923
+ true,
2924
+ true,
2925
+ true
2926
+ ],
2927
+ "model.layers.6.mlp.gate_proj.lora_E": [
2928
+ true,
2929
+ true,
2930
+ false,
2931
+ true,
2932
+ true,
2933
+ true,
2934
+ true,
2935
+ false,
2936
+ true,
2937
+ true,
2938
+ true,
2939
+ true,
2940
+ true,
2941
+ true,
2942
+ true,
2943
+ true,
2944
+ false,
2945
+ true,
2946
+ true,
2947
+ true,
2948
+ true,
2949
+ false,
2950
+ true,
2951
+ true,
2952
+ false,
2953
+ true,
2954
+ true,
2955
+ false,
2956
+ true,
2957
+ true,
2958
+ true,
2959
+ true
2960
+ ],
2961
+ "model.layers.6.mlp.up_proj.lora_E": [
2962
+ true,
2963
+ true,
2964
+ true,
2965
+ true,
2966
+ true,
2967
+ true,
2968
+ true,
2969
+ true,
2970
+ true,
2971
+ true,
2972
+ true,
2973
+ true,
2974
+ true,
2975
+ true,
2976
+ true,
2977
+ true,
2978
+ true,
2979
+ true,
2980
+ true,
2981
+ true,
2982
+ true,
2983
+ true,
2984
+ true,
2985
+ true,
2986
+ true,
2987
+ false,
2988
+ true,
2989
+ true,
2990
+ true,
2991
+ true,
2992
+ true,
2993
+ true
2994
+ ],
2995
+ "model.layers.6.self_attn.k_proj.lora_E": [
2996
+ false,
2997
+ false,
2998
+ false,
2999
+ false,
3000
+ false,
3001
+ false,
3002
+ false,
3003
+ true,
3004
+ false,
3005
+ false,
3006
+ false,
3007
+ false,
3008
+ false,
3009
+ false,
3010
+ false,
3011
+ false,
3012
+ true,
3013
+ false,
3014
+ false,
3015
+ false,
3016
+ true,
3017
+ true,
3018
+ true,
3019
+ false,
3020
+ false,
3021
+ false,
3022
+ false,
3023
+ false,
3024
+ false,
3025
+ false,
3026
+ true,
3027
+ false
3028
+ ],
3029
+ "model.layers.6.self_attn.o_proj.lora_E": [
3030
+ true,
3031
+ true,
3032
+ true,
3033
+ true,
3034
+ true,
3035
+ true,
3036
+ true,
3037
+ true,
3038
+ true,
3039
+ true,
3040
+ false,
3041
+ false,
3042
+ true,
3043
+ true,
3044
+ true,
3045
+ true,
3046
+ true,
3047
+ true,
3048
+ true,
3049
+ true,
3050
+ true,
3051
+ true,
3052
+ true,
3053
+ true,
3054
+ true,
3055
+ true,
3056
+ true,
3057
+ true,
3058
+ true,
3059
+ true,
3060
+ true,
3061
+ true
3062
+ ],
3063
+ "model.layers.6.self_attn.q_proj.lora_E": [
3064
+ true,
3065
+ false,
3066
+ true,
3067
+ false,
3068
+ true,
3069
+ false,
3070
+ true,
3071
+ true,
3072
+ true,
3073
+ false,
3074
+ true,
3075
+ false,
3076
+ false,
3077
+ true,
3078
+ false,
3079
+ true,
3080
+ false,
3081
+ true,
3082
+ false,
3083
+ true,
3084
+ false,
3085
+ true,
3086
+ true,
3087
+ true,
3088
+ false,
3089
+ true,
3090
+ true,
3091
+ false,
3092
+ true,
3093
+ true,
3094
+ true,
3095
+ true
3096
+ ],
3097
+ "model.layers.6.self_attn.v_proj.lora_E": [
3098
+ true,
3099
+ true,
3100
+ false,
3101
+ true,
3102
+ true,
3103
+ false,
3104
+ false,
3105
+ false,
3106
+ true,
3107
+ true,
3108
+ true,
3109
+ false,
3110
+ true,
3111
+ true,
3112
+ true,
3113
+ true,
3114
+ false,
3115
+ false,
3116
+ false,
3117
+ false,
3118
+ false,
3119
+ true,
3120
+ true,
3121
+ true,
3122
+ true,
3123
+ true,
3124
+ true,
3125
+ true,
3126
+ true,
3127
+ false,
3128
+ false,
3129
+ false
3130
+ ],
3131
+ "model.layers.7.mlp.down_proj.lora_E": [
3132
+ true,
3133
+ true,
3134
+ true,
3135
+ true,
3136
+ true,
3137
+ true,
3138
+ true,
3139
+ true,
3140
+ true,
3141
+ true,
3142
+ true,
3143
+ true,
3144
+ true,
3145
+ true,
3146
+ true,
3147
+ false,
3148
+ true,
3149
+ true,
3150
+ true,
3151
+ true,
3152
+ true,
3153
+ true,
3154
+ true,
3155
+ true,
3156
+ true,
3157
+ true,
3158
+ true,
3159
+ true,
3160
+ true,
3161
+ false,
3162
+ true,
3163
+ true
3164
+ ],
3165
+ "model.layers.7.mlp.gate_proj.lora_E": [
3166
+ true,
3167
+ false,
3168
+ true,
3169
+ true,
3170
+ true,
3171
+ true,
3172
+ true,
3173
+ true,
3174
+ false,
3175
+ true,
3176
+ true,
3177
+ true,
3178
+ true,
3179
+ true,
3180
+ true,
3181
+ true,
3182
+ true,
3183
+ true,
3184
+ true,
3185
+ true,
3186
+ true,
3187
+ false,
3188
+ true,
3189
+ true,
3190
+ true,
3191
+ true,
3192
+ true,
3193
+ true,
3194
+ true,
3195
+ true,
3196
+ true,
3197
+ true
3198
+ ],
3199
+ "model.layers.7.mlp.up_proj.lora_E": [
3200
+ true,
3201
+ true,
3202
+ true,
3203
+ true,
3204
+ true,
3205
+ false,
3206
+ true,
3207
+ true,
3208
+ true,
3209
+ true,
3210
+ true,
3211
+ true,
3212
+ true,
3213
+ true,
3214
+ true,
3215
+ true,
3216
+ true,
3217
+ true,
3218
+ true,
3219
+ true,
3220
+ true,
3221
+ true,
3222
+ true,
3223
+ true,
3224
+ true,
3225
+ true,
3226
+ true,
3227
+ true,
3228
+ true,
3229
+ true,
3230
+ true,
3231
+ true
3232
+ ],
3233
+ "model.layers.7.self_attn.k_proj.lora_E": [
3234
+ false,
3235
+ true,
3236
+ false,
3237
+ false,
3238
+ true,
3239
+ true,
3240
+ false,
3241
+ false,
3242
+ false,
3243
+ false,
3244
+ false,
3245
+ false,
3246
+ false,
3247
+ false,
3248
+ false,
3249
+ false,
3250
+ false,
3251
+ true,
3252
+ false,
3253
+ false,
3254
+ false,
3255
+ false,
3256
+ true,
3257
+ true,
3258
+ false,
3259
+ true,
3260
+ false,
3261
+ false,
3262
+ true,
3263
+ false,
3264
+ false,
3265
+ false
3266
+ ],
3267
+ "model.layers.7.self_attn.o_proj.lora_E": [
3268
+ true,
3269
+ true,
3270
+ true,
3271
+ true,
3272
+ true,
3273
+ true,
3274
+ true,
3275
+ false,
3276
+ true,
3277
+ true,
3278
+ true,
3279
+ false,
3280
+ true,
3281
+ true,
3282
+ true,
3283
+ true,
3284
+ true,
3285
+ true,
3286
+ true,
3287
+ true,
3288
+ true,
3289
+ true,
3290
+ true,
3291
+ true,
3292
+ true,
3293
+ true,
3294
+ true,
3295
+ false,
3296
+ true,
3297
+ true,
3298
+ true,
3299
+ true
3300
+ ],
3301
+ "model.layers.7.self_attn.q_proj.lora_E": [
3302
+ false,
3303
+ false,
3304
+ true,
3305
+ true,
3306
+ true,
3307
+ true,
3308
+ false,
3309
+ true,
3310
+ false,
3311
+ false,
3312
+ false,
3313
+ false,
3314
+ true,
3315
+ false,
3316
+ true,
3317
+ true,
3318
+ true,
3319
+ true,
3320
+ true,
3321
+ false,
3322
+ true,
3323
+ false,
3324
+ true,
3325
+ false,
3326
+ true,
3327
+ true,
3328
+ false,
3329
+ false,
3330
+ true,
3331
+ true,
3332
+ true,
3333
+ true
3334
+ ],
3335
+ "model.layers.7.self_attn.v_proj.lora_E": [
3336
+ true,
3337
+ true,
3338
+ false,
3339
+ false,
3340
+ false,
3341
+ true,
3342
+ false,
3343
+ false,
3344
+ true,
3345
+ false,
3346
+ false,
3347
+ false,
3348
+ true,
3349
+ true,
3350
+ true,
3351
+ true,
3352
+ false,
3353
+ true,
3354
+ false,
3355
+ true,
3356
+ false,
3357
+ true,
3358
+ true,
3359
+ false,
3360
+ true,
3361
+ true,
3362
+ false,
3363
+ true,
3364
+ true,
3365
+ false,
3366
+ true,
3367
+ true
3368
+ ],
3369
+ "model.layers.8.mlp.down_proj.lora_E": [
3370
+ true,
3371
+ true,
3372
+ false,
3373
+ true,
3374
+ true,
3375
+ true,
3376
+ false,
3377
+ true,
3378
+ true,
3379
+ true,
3380
+ true,
3381
+ true,
3382
+ true,
3383
+ true,
3384
+ true,
3385
+ true,
3386
+ true,
3387
+ true,
3388
+ true,
3389
+ true,
3390
+ true,
3391
+ true,
3392
+ false,
3393
+ true,
3394
+ true,
3395
+ true,
3396
+ true,
3397
+ true,
3398
+ true,
3399
+ false,
3400
+ true,
3401
+ true
3402
+ ],
3403
+ "model.layers.8.mlp.gate_proj.lora_E": [
3404
+ true,
3405
+ true,
3406
+ true,
3407
+ true,
3408
+ true,
3409
+ true,
3410
+ true,
3411
+ true,
3412
+ true,
3413
+ true,
3414
+ true,
3415
+ true,
3416
+ true,
3417
+ false,
3418
+ true,
3419
+ true,
3420
+ false,
3421
+ true,
3422
+ true,
3423
+ true,
3424
+ false,
3425
+ true,
3426
+ true,
3427
+ true,
3428
+ true,
3429
+ true,
3430
+ true,
3431
+ false,
3432
+ true,
3433
+ false,
3434
+ true,
3435
+ false
3436
+ ],
3437
+ "model.layers.8.mlp.up_proj.lora_E": [
3438
+ true,
3439
+ false,
3440
+ true,
3441
+ true,
3442
+ true,
3443
+ true,
3444
+ true,
3445
+ true,
3446
+ true,
3447
+ true,
3448
+ true,
3449
+ true,
3450
+ true,
3451
+ true,
3452
+ true,
3453
+ true,
3454
+ true,
3455
+ true,
3456
+ true,
3457
+ true,
3458
+ true,
3459
+ true,
3460
+ true,
3461
+ true,
3462
+ true,
3463
+ true,
3464
+ true,
3465
+ true,
3466
+ true,
3467
+ true,
3468
+ true,
3469
+ true
3470
+ ],
3471
+ "model.layers.8.self_attn.k_proj.lora_E": [
3472
+ false,
3473
+ false,
3474
+ false,
3475
+ false,
3476
+ false,
3477
+ false,
3478
+ false,
3479
+ false,
3480
+ false,
3481
+ false,
3482
+ false,
3483
+ false,
3484
+ false,
3485
+ false,
3486
+ false,
3487
+ false,
3488
+ false,
3489
+ false,
3490
+ false,
3491
+ false,
3492
+ false,
3493
+ false,
3494
+ false,
3495
+ false,
3496
+ false,
3497
+ false,
3498
+ false,
3499
+ false,
3500
+ false,
3501
+ false,
3502
+ false,
3503
+ false
3504
+ ],
3505
+ "model.layers.8.self_attn.o_proj.lora_E": [
3506
+ true,
3507
+ true,
3508
+ true,
3509
+ true,
3510
+ true,
3511
+ true,
3512
+ false,
3513
+ true,
3514
+ true,
3515
+ true,
3516
+ true,
3517
+ false,
3518
+ true,
3519
+ true,
3520
+ true,
3521
+ true,
3522
+ true,
3523
+ true,
3524
+ true,
3525
+ true,
3526
+ true,
3527
+ false,
3528
+ true,
3529
+ true,
3530
+ true,
3531
+ true,
3532
+ true,
3533
+ false,
3534
+ true,
3535
+ true,
3536
+ true,
3537
+ true
3538
+ ],
3539
+ "model.layers.8.self_attn.q_proj.lora_E": [
3540
+ true,
3541
+ false,
3542
+ true,
3543
+ false,
3544
+ true,
3545
+ false,
3546
+ true,
3547
+ false,
3548
+ true,
3549
+ true,
3550
+ false,
3551
+ true,
3552
+ false,
3553
+ false,
3554
+ false,
3555
+ false,
3556
+ true,
3557
+ false,
3558
+ false,
3559
+ true,
3560
+ true,
3561
+ true,
3562
+ true,
3563
+ true,
3564
+ true,
3565
+ false,
3566
+ true,
3567
+ false,
3568
+ false,
3569
+ true,
3570
+ false,
3571
+ true
3572
+ ],
3573
+ "model.layers.8.self_attn.v_proj.lora_E": [
3574
+ true,
3575
+ true,
3576
+ false,
3577
+ false,
3578
+ true,
3579
+ true,
3580
+ true,
3581
+ true,
3582
+ true,
3583
+ true,
3584
+ false,
3585
+ false,
3586
+ false,
3587
+ true,
3588
+ true,
3589
+ false,
3590
+ false,
3591
+ false,
3592
+ false,
3593
+ true,
3594
+ false,
3595
+ true,
3596
+ false,
3597
+ true,
3598
+ true,
3599
+ true,
3600
+ false,
3601
+ true,
3602
+ true,
3603
+ true,
3604
+ true,
3605
+ true
3606
+ ],
3607
+ "model.layers.9.mlp.down_proj.lora_E": [
3608
+ false,
3609
+ true,
3610
+ true,
3611
+ true,
3612
+ true,
3613
+ true,
3614
+ true,
3615
+ true,
3616
+ true,
3617
+ true,
3618
+ true,
3619
+ false,
3620
+ true,
3621
+ true,
3622
+ true,
3623
+ true,
3624
+ true,
3625
+ true,
3626
+ true,
3627
+ false,
3628
+ true,
3629
+ true,
3630
+ true,
3631
+ true,
3632
+ false,
3633
+ true,
3634
+ true,
3635
+ true,
3636
+ true,
3637
+ true,
3638
+ false,
3639
+ true
3640
+ ],
3641
+ "model.layers.9.mlp.gate_proj.lora_E": [
3642
+ true,
3643
+ true,
3644
+ true,
3645
+ true,
3646
+ true,
3647
+ true,
3648
+ false,
3649
+ true,
3650
+ true,
3651
+ true,
3652
+ true,
3653
+ true,
3654
+ true,
3655
+ true,
3656
+ false,
3657
+ true,
3658
+ true,
3659
+ false,
3660
+ true,
3661
+ true,
3662
+ true,
3663
+ true,
3664
+ true,
3665
+ true,
3666
+ false,
3667
+ false,
3668
+ true,
3669
+ true,
3670
+ true,
3671
+ true,
3672
+ true,
3673
+ true
3674
+ ],
3675
+ "model.layers.9.mlp.up_proj.lora_E": [
3676
+ true,
3677
+ true,
3678
+ true,
3679
+ true,
3680
+ true,
3681
+ true,
3682
+ true,
3683
+ true,
3684
+ true,
3685
+ true,
3686
+ true,
3687
+ true,
3688
+ true,
3689
+ true,
3690
+ true,
3691
+ true,
3692
+ false,
3693
+ true,
3694
+ true,
3695
+ true,
3696
+ false,
3697
+ true,
3698
+ true,
3699
+ true,
3700
+ true,
3701
+ true,
3702
+ true,
3703
+ true,
3704
+ true,
3705
+ true,
3706
+ true,
3707
+ true
3708
+ ],
3709
+ "model.layers.9.self_attn.k_proj.lora_E": [
3710
+ false,
3711
+ false,
3712
+ true,
3713
+ false,
3714
+ false,
3715
+ false,
3716
+ false,
3717
+ false,
3718
+ false,
3719
+ true,
3720
+ true,
3721
+ false,
3722
+ false,
3723
+ false,
3724
+ false,
3725
+ false,
3726
+ true,
3727
+ false,
3728
+ false,
3729
+ false,
3730
+ false,
3731
+ false,
3732
+ false,
3733
+ false,
3734
+ false,
3735
+ false,
3736
+ false,
3737
+ false,
3738
+ false,
3739
+ false,
3740
+ false,
3741
+ false
3742
+ ],
3743
+ "model.layers.9.self_attn.o_proj.lora_E": [
3744
+ true,
3745
+ true,
3746
+ true,
3747
+ true,
3748
+ true,
3749
+ true,
3750
+ true,
3751
+ true,
3752
+ false,
3753
+ true,
3754
+ true,
3755
+ true,
3756
+ true,
3757
+ true,
3758
+ false,
3759
+ true,
3760
+ true,
3761
+ true,
3762
+ false,
3763
+ true,
3764
+ true,
3765
+ true,
3766
+ true,
3767
+ true,
3768
+ true,
3769
+ true,
3770
+ false,
3771
+ true,
3772
+ true,
3773
+ true,
3774
+ true,
3775
+ true
3776
+ ],
3777
+ "model.layers.9.self_attn.q_proj.lora_E": [
3778
+ true,
3779
+ false,
3780
+ false,
3781
+ true,
3782
+ false,
3783
+ false,
3784
+ false,
3785
+ false,
3786
+ false,
3787
+ true,
3788
+ true,
3789
+ true,
3790
+ true,
3791
+ false,
3792
+ true,
3793
+ false,
3794
+ false,
3795
+ true,
3796
+ false,
3797
+ false,
3798
+ false,
3799
+ true,
3800
+ true,
3801
+ false,
3802
+ true,
3803
+ false,
3804
+ true,
3805
+ false,
3806
+ true,
3807
+ true,
3808
+ true,
3809
+ false
3810
+ ],
3811
+ "model.layers.9.self_attn.v_proj.lora_E": [
3812
+ true,
3813
+ false,
3814
+ false,
3815
+ false,
3816
+ false,
3817
+ false,
3818
+ false,
3819
+ true,
3820
+ false,
3821
+ false,
3822
+ true,
3823
+ false,
3824
+ false,
3825
+ false,
3826
+ true,
3827
+ true,
3828
+ true,
3829
+ true,
3830
+ false,
3831
+ true,
3832
+ false,
3833
+ true,
3834
+ true,
3835
+ true,
3836
+ true,
3837
+ false,
3838
+ true,
3839
+ false,
3840
+ true,
3841
+ false,
3842
+ false,
3843
+ false
3844
+ ]
3845
+ },
3846
+ "revision": null,
3847
+ "target_modules": [
3848
+ "up_proj",
3849
+ "q_proj",
3850
+ "down_proj",
3851
+ "k_proj",
3852
+ "o_proj",
3853
+ "v_proj",
3854
+ "gate_proj"
3855
+ ],
3856
+ "target_parameters": null,
3857
+ "target_r": 16,
3858
+ "task_type": "CAUSAL_LM",
3859
+ "tfinal": 50,
3860
+ "tinit": 50,
3861
+ "total_step": 500,
3862
+ "trainable_token_indices": null,
3863
+ "use_bdlora": null,
3864
+ "use_dora": false,
3865
+ "use_qalora": false,
3866
+ "use_rslora": false,
3867
+ "velora_config": null
3868
+ }
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:22659cd18379616d15b9f52feebcdb332c9ac4ff32f3c7a6f9fea2cff55b2e8b
3
+ size 53149424
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/chat_template.jinja ADDED
@@ -0,0 +1,93 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {{- bos_token }}
2
+ {%- if custom_tools is defined %}
3
+ {%- set tools = custom_tools %}
4
+ {%- endif %}
5
+ {%- if not tools_in_user_message is defined %}
6
+ {%- set tools_in_user_message = true %}
7
+ {%- endif %}
8
+ {%- if not date_string is defined %}
9
+ {%- if strftime_now is defined %}
10
+ {%- set date_string = strftime_now("%d %b %Y") %}
11
+ {%- else %}
12
+ {%- set date_string = "26 Jul 2024" %}
13
+ {%- endif %}
14
+ {%- endif %}
15
+ {%- if not tools is defined %}
16
+ {%- set tools = none %}
17
+ {%- endif %}
18
+
19
+ {#- This block extracts the system message, so we can slot it into the right place. #}
20
+ {%- if messages[0]['role'] == 'system' %}
21
+ {%- set system_message = messages[0]['content']|trim %}
22
+ {%- set messages = messages[1:] %}
23
+ {%- else %}
24
+ {%- set system_message = "" %}
25
+ {%- endif %}
26
+
27
+ {#- System message #}
28
+ {{- "<|start_header_id|>system<|end_header_id|>\n\n" }}
29
+ {%- if tools is not none %}
30
+ {{- "Environment: ipython\n" }}
31
+ {%- endif %}
32
+ {{- "Cutting Knowledge Date: December 2023\n" }}
33
+ {{- "Today Date: " + date_string + "\n\n" }}
34
+ {%- if tools is not none and not tools_in_user_message %}
35
+ {{- "You have access to the following functions. To call a function, please respond with JSON for a function call." }}
36
+ {{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
37
+ {{- "Do not use variables.\n\n" }}
38
+ {%- for t in tools %}
39
+ {{- t | tojson(indent=4) }}
40
+ {{- "\n\n" }}
41
+ {%- endfor %}
42
+ {%- endif %}
43
+ {{- system_message }}
44
+ {{- "<|eot_id|>" }}
45
+
46
+ {#- Custom tools are passed in a user message with some extra guidance #}
47
+ {%- if tools_in_user_message and not tools is none %}
48
+ {#- Extract the first user message so we can plug it in here #}
49
+ {%- if messages | length != 0 %}
50
+ {%- set first_user_message = messages[0]['content']|trim %}
51
+ {%- set messages = messages[1:] %}
52
+ {%- else %}
53
+ {{- raise_exception("Cannot put tools in the first user message when there's no first user message!") }}
54
+ {%- endif %}
55
+ {{- '<|start_header_id|>user<|end_header_id|>\n\n' -}}
56
+ {{- "Given the following functions, please respond with a JSON for a function call " }}
57
+ {{- "with its proper arguments that best answers the given prompt.\n\n" }}
58
+ {{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
59
+ {{- "Do not use variables.\n\n" }}
60
+ {%- for t in tools %}
61
+ {{- t | tojson(indent=4) }}
62
+ {{- "\n\n" }}
63
+ {%- endfor %}
64
+ {{- first_user_message + "<|eot_id|>"}}
65
+ {%- endif %}
66
+
67
+ {%- for message in messages %}
68
+ {%- if not (message.role == 'ipython' or message.role == 'tool' or 'tool_calls' in message) %}
69
+ {{- '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n'+ message['content'] | trim + '<|eot_id|>' }}
70
+ {%- elif 'tool_calls' in message %}
71
+ {%- if not message.tool_calls|length == 1 %}
72
+ {{- raise_exception("This model only supports single tool-calls at once!") }}
73
+ {%- endif %}
74
+ {%- set tool_call = message.tool_calls[0].function %}
75
+ {{- '<|start_header_id|>assistant<|end_header_id|>\n\n' -}}
76
+ {{- '{"name": "' + tool_call.name + '", ' }}
77
+ {{- '"parameters": ' }}
78
+ {{- tool_call.arguments | tojson }}
79
+ {{- "}" }}
80
+ {{- "<|eot_id|>" }}
81
+ {%- elif message.role == "tool" or message.role == "ipython" %}
82
+ {{- "<|start_header_id|>ipython<|end_header_id|>\n\n" }}
83
+ {%- if message.content is mapping or message.content is iterable %}
84
+ {{- message.content | tojson }}
85
+ {%- else %}
86
+ {{- message.content }}
87
+ {%- endif %}
88
+ {{- "<|eot_id|>" }}
89
+ {%- endif %}
90
+ {%- endfor %}
91
+ {%- if add_generation_prompt %}
92
+ {{- '<|start_header_id|>assistant<|end_header_id|>\n\n' }}
93
+ {%- endif %}
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6b9e4e7fb171f92fd137b777cc2714bf87d11576700a1dcd7a399e7bbe39537b
3
+ size 17209920
v2.0/llama3.2-1b_AdaLoRA_D_1k_20260827-191715/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "backend": "tokenizers",
3
+ "bos_token": "<|begin_of_text|>",
4
+ "clean_up_tokenization_spaces": true,
5
+ "eos_token": "<|eot_id|>",
6
+ "is_local": false,
7
+ "local_files_only": false,
8
+ "model_input_names": [
9
+ "input_ids",
10
+ "attention_mask"
11
+ ],
12
+ "model_max_length": 131072,
13
+ "pad_token": "<|eot_id|>",
14
+ "tokenizer_class": "TokenizersBackend"
15
+ }