Update best_s_plan/config.pbtxt
Browse files- best_s_plan/config.pbtxt +6 -5
best_s_plan/config.pbtxt
CHANGED
|
@@ -4,15 +4,15 @@ max_batch_size: 1
|
|
| 4 |
input [
|
| 5 |
{
|
| 6 |
name: "images"
|
| 7 |
-
data_type:
|
| 8 |
-
dims: [ 3,
|
| 9 |
}
|
| 10 |
]
|
| 11 |
output [
|
| 12 |
{
|
| 13 |
name: "output0"
|
| 14 |
-
data_type:
|
| 15 |
-
dims: [-1,-1]
|
| 16 |
}
|
| 17 |
]
|
| 18 |
instance_group [
|
|
@@ -20,6 +20,7 @@ instance_group [
|
|
| 20 |
kind: KIND_GPU
|
| 21 |
}
|
| 22 |
]
|
|
|
|
| 23 |
dynamic_batching {
|
| 24 |
-
preferred_batch_size: [1
|
| 25 |
}
|
|
|
|
| 4 |
input [
|
| 5 |
{
|
| 6 |
name: "images"
|
| 7 |
+
data_type: TYPE_FP16 # Đổi thành FP16 để khớp .plan
|
| 8 |
+
dims: [ 3, -1, -1 ] # Dynamic shapes, khớp với trtexec
|
| 9 |
}
|
| 10 |
]
|
| 11 |
output [
|
| 12 |
{
|
| 13 |
name: "output0"
|
| 14 |
+
data_type: TYPE_FP16 # Đổi thành FP16
|
| 15 |
+
dims: [ -1, -1 ]
|
| 16 |
}
|
| 17 |
]
|
| 18 |
instance_group [
|
|
|
|
| 20 |
kind: KIND_GPU
|
| 21 |
}
|
| 22 |
]
|
| 23 |
+
# Xóa dynamic_batching hoặc để preferred_batch_size chỉ có 1
|
| 24 |
dynamic_batching {
|
| 25 |
+
preferred_batch_size: [1]
|
| 26 |
}
|