Spaces:
Running
Running
data: add pixtral small
Browse files
data/u_math_eval_results.json
CHANGED
|
@@ -1169,6 +1169,45 @@
|
|
| 1169 |
0.25
|
| 1170 |
]
|
| 1171 |
},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1172 |
{
|
| 1173 |
"model_name": "mistralai/Pixtral-Large-Instruct-2411",
|
| 1174 |
"judge_model_name": "gpt-4o-2024-08-06",
|
|
|
|
| 1169 |
0.25
|
| 1170 |
]
|
| 1171 |
},
|
| 1172 |
+
{
|
| 1173 |
+
"model_name": "mistralai/Pixtral-12B-2409",
|
| 1174 |
+
"judge_model_name": "gpt-4o-2024-08-06",
|
| 1175 |
+
"u_math": [
|
| 1176 |
+
17.545454545454543,
|
| 1177 |
+
17.888888888888886,
|
| 1178 |
+
16.0
|
| 1179 |
+
],
|
| 1180 |
+
"algebra": [
|
| 1181 |
+
0.37222222222222223,
|
| 1182 |
+
0.4,
|
| 1183 |
+
0.23333333333333334
|
| 1184 |
+
],
|
| 1185 |
+
"differential_calc": [
|
| 1186 |
+
0.16818181818181818,
|
| 1187 |
+
0.10666666666666667,
|
| 1188 |
+
0.3
|
| 1189 |
+
],
|
| 1190 |
+
"integral_calc": [
|
| 1191 |
+
0.04326923076923077,
|
| 1192 |
+
0.04666666666666667,
|
| 1193 |
+
0.034482758620689655
|
| 1194 |
+
],
|
| 1195 |
+
"multivariable_calculus": [
|
| 1196 |
+
0.06741573033707865,
|
| 1197 |
+
0.06666666666666667,
|
| 1198 |
+
0.07142857142857142
|
| 1199 |
+
],
|
| 1200 |
+
"precalculus_review": [
|
| 1201 |
+
0.3,
|
| 1202 |
+
0.32,
|
| 1203 |
+
0.0
|
| 1204 |
+
],
|
| 1205 |
+
"sequences_series": [
|
| 1206 |
+
0.12987012987012986,
|
| 1207 |
+
0.13333333333333333,
|
| 1208 |
+
0.0
|
| 1209 |
+
]
|
| 1210 |
+
},
|
| 1211 |
{
|
| 1212 |
"model_name": "mistralai/Pixtral-Large-Instruct-2411",
|
| 1213 |
"judge_model_name": "gpt-4o-2024-08-06",
|