cogwheelhead commited on
Commit
7c38266
·
verified ·
1 Parent(s): 11fdbf3

data: add pixtral small

Browse files
Files changed (1) hide show
  1. data/u_math_eval_results.json +39 -0
data/u_math_eval_results.json CHANGED
@@ -1169,6 +1169,45 @@
1169
  0.25
1170
  ]
1171
  },
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1172
  {
1173
  "model_name": "mistralai/Pixtral-Large-Instruct-2411",
1174
  "judge_model_name": "gpt-4o-2024-08-06",
 
1169
  0.25
1170
  ]
1171
  },
1172
+ {
1173
+ "model_name": "mistralai/Pixtral-12B-2409",
1174
+ "judge_model_name": "gpt-4o-2024-08-06",
1175
+ "u_math": [
1176
+ 17.545454545454543,
1177
+ 17.888888888888886,
1178
+ 16.0
1179
+ ],
1180
+ "algebra": [
1181
+ 0.37222222222222223,
1182
+ 0.4,
1183
+ 0.23333333333333334
1184
+ ],
1185
+ "differential_calc": [
1186
+ 0.16818181818181818,
1187
+ 0.10666666666666667,
1188
+ 0.3
1189
+ ],
1190
+ "integral_calc": [
1191
+ 0.04326923076923077,
1192
+ 0.04666666666666667,
1193
+ 0.034482758620689655
1194
+ ],
1195
+ "multivariable_calculus": [
1196
+ 0.06741573033707865,
1197
+ 0.06666666666666667,
1198
+ 0.07142857142857142
1199
+ ],
1200
+ "precalculus_review": [
1201
+ 0.3,
1202
+ 0.32,
1203
+ 0.0
1204
+ ],
1205
+ "sequences_series": [
1206
+ 0.12987012987012986,
1207
+ 0.13333333333333333,
1208
+ 0.0
1209
+ ]
1210
+ },
1211
  {
1212
  "model_name": "mistralai/Pixtral-Large-Instruct-2411",
1213
  "judge_model_name": "gpt-4o-2024-08-06",