| { |
| "source": "assets/models/Llama-2-7b-chat-hf", |
| "mode": "whiten", |
| "ratio": 0.5, |
| "n_calib": 256, |
| "seqlen": 2048, |
| "seed": 42, |
| "mean_rel_err": 0.5746032384423805, |
| "max_rel_err": 0.6865314841270447, |
| "ranks": { |
| "0.q_proj": 1024, |
| "0.k_proj": 1024, |
| "0.v_proj": 1024, |
| "0.o_proj": 1024, |
| "0.gate_proj": 1492, |
| "0.up_proj": 1492, |
| "0.down_proj": 1492, |
| "1.q_proj": 1024, |
| "1.k_proj": 1024, |
| "1.v_proj": 1024, |
| "1.o_proj": 1024, |
| "1.gate_proj": 1492, |
| "1.up_proj": 1492, |
| "1.down_proj": 1492, |
| "2.q_proj": 1024, |
| "2.k_proj": 1024, |
| "2.v_proj": 1024, |
| "2.o_proj": 1024, |
| "2.gate_proj": 1492, |
| "2.up_proj": 1492, |
| "2.down_proj": 1492, |
| "3.q_proj": 1024, |
| "3.k_proj": 1024, |
| "3.v_proj": 1024, |
| "3.o_proj": 1024, |
| "3.gate_proj": 1492, |
| "3.up_proj": 1492, |
| "3.down_proj": 1492, |
| "4.q_proj": 1024, |
| "4.k_proj": 1024, |
| "4.v_proj": 1024, |
| "4.o_proj": 1024, |
| "4.gate_proj": 1492, |
| "4.up_proj": 1492, |
| "4.down_proj": 1492, |
| "5.q_proj": 1024, |
| "5.k_proj": 1024, |
| "5.v_proj": 1024, |
| "5.o_proj": 1024, |
| "5.gate_proj": 1492, |
| "5.up_proj": 1492, |
| "5.down_proj": 1492, |
| "6.q_proj": 1024, |
| "6.k_proj": 1024, |
| "6.v_proj": 1024, |
| "6.o_proj": 1024, |
| "6.gate_proj": 1492, |
| "6.up_proj": 1492, |
| "6.down_proj": 1492, |
| "7.q_proj": 1024, |
| "7.k_proj": 1024, |
| "7.v_proj": 1024, |
| "7.o_proj": 1024, |
| "7.gate_proj": 1492, |
| "7.up_proj": 1492, |
| "7.down_proj": 1492, |
| "8.q_proj": 1024, |
| "8.k_proj": 1024, |
| "8.v_proj": 1024, |
| "8.o_proj": 1024, |
| "8.gate_proj": 1492, |
| "8.up_proj": 1492, |
| "8.down_proj": 1492, |
| "9.q_proj": 1024, |
| "9.k_proj": 1024, |
| "9.v_proj": 1024, |
| "9.o_proj": 1024, |
| "9.gate_proj": 1492, |
| "9.up_proj": 1492, |
| "9.down_proj": 1492, |
| "10.q_proj": 1024, |
| "10.k_proj": 1024, |
| "10.v_proj": 1024, |
| "10.o_proj": 1024, |
| "10.gate_proj": 1492, |
| "10.up_proj": 1492, |
| "10.down_proj": 1492, |
| "11.q_proj": 1024, |
| "11.k_proj": 1024, |
| "11.v_proj": 1024, |
| "11.o_proj": 1024, |
| "11.gate_proj": 1492, |
| "11.up_proj": 1492, |
| "11.down_proj": 1492, |
| "12.q_proj": 1024, |
| "12.k_proj": 1024, |
| "12.v_proj": 1024, |
| "12.o_proj": 1024, |
| "12.gate_proj": 1492, |
| "12.up_proj": 1492, |
| "12.down_proj": 1492, |
| "13.q_proj": 1024, |
| "13.k_proj": 1024, |
| "13.v_proj": 1024, |
| "13.o_proj": 1024, |
| "13.gate_proj": 1492, |
| "13.up_proj": 1492, |
| "13.down_proj": 1492, |
| "14.q_proj": 1024, |
| "14.k_proj": 1024, |
| "14.v_proj": 1024, |
| "14.o_proj": 1024, |
| "14.gate_proj": 1492, |
| "14.up_proj": 1492, |
| "14.down_proj": 1492, |
| "15.q_proj": 1024, |
| "15.k_proj": 1024, |
| "15.v_proj": 1024, |
| "15.o_proj": 1024, |
| "15.gate_proj": 1492, |
| "15.up_proj": 1492, |
| "15.down_proj": 1492, |
| "16.q_proj": 1024, |
| "16.k_proj": 1024, |
| "16.v_proj": 1024, |
| "16.o_proj": 1024, |
| "16.gate_proj": 1492, |
| "16.up_proj": 1492, |
| "16.down_proj": 1492, |
| "17.q_proj": 1024, |
| "17.k_proj": 1024, |
| "17.v_proj": 1024, |
| "17.o_proj": 1024, |
| "17.gate_proj": 1492, |
| "17.up_proj": 1492, |
| "17.down_proj": 1492, |
| "18.q_proj": 1024, |
| "18.k_proj": 1024, |
| "18.v_proj": 1024, |
| "18.o_proj": 1024, |
| "18.gate_proj": 1492, |
| "18.up_proj": 1492, |
| "18.down_proj": 1492, |
| "19.q_proj": 1024, |
| "19.k_proj": 1024, |
| "19.v_proj": 1024, |
| "19.o_proj": 1024, |
| "19.gate_proj": 1492, |
| "19.up_proj": 1492, |
| "19.down_proj": 1492, |
| "20.q_proj": 1024, |
| "20.k_proj": 1024, |
| "20.v_proj": 1024, |
| "20.o_proj": 1024, |
| "20.gate_proj": 1492, |
| "20.up_proj": 1492, |
| "20.down_proj": 1492, |
| "21.q_proj": 1024, |
| "21.k_proj": 1024, |
| "21.v_proj": 1024, |
| "21.o_proj": 1024, |
| "21.gate_proj": 1492, |
| "21.up_proj": 1492, |
| "21.down_proj": 1492, |
| "22.q_proj": 1024, |
| "22.k_proj": 1024, |
| "22.v_proj": 1024, |
| "22.o_proj": 1024, |
| "22.gate_proj": 1492, |
| "22.up_proj": 1492, |
| "22.down_proj": 1492, |
| "23.q_proj": 1024, |
| "23.k_proj": 1024, |
| "23.v_proj": 1024, |
| "23.o_proj": 1024, |
| "23.gate_proj": 1492, |
| "23.up_proj": 1492, |
| "23.down_proj": 1492, |
| "24.q_proj": 1024, |
| "24.k_proj": 1024, |
| "24.v_proj": 1024, |
| "24.o_proj": 1024, |
| "24.gate_proj": 1492, |
| "24.up_proj": 1492, |
| "24.down_proj": 1492, |
| "25.q_proj": 1024, |
| "25.k_proj": 1024, |
| "25.v_proj": 1024, |
| "25.o_proj": 1024, |
| "25.gate_proj": 1492, |
| "25.up_proj": 1492, |
| "25.down_proj": 1492, |
| "26.q_proj": 1024, |
| "26.k_proj": 1024, |
| "26.v_proj": 1024, |
| "26.o_proj": 1024, |
| "26.gate_proj": 1492, |
| "26.up_proj": 1492, |
| "26.down_proj": 1492, |
| "27.q_proj": 1024, |
| "27.k_proj": 1024, |
| "27.v_proj": 1024, |
| "27.o_proj": 1024, |
| "27.gate_proj": 1492, |
| "27.up_proj": 1492, |
| "27.down_proj": 1492, |
| "28.q_proj": 1024, |
| "28.k_proj": 1024, |
| "28.v_proj": 1024, |
| "28.o_proj": 1024, |
| "28.gate_proj": 1492, |
| "28.up_proj": 1492, |
| "28.down_proj": 1492, |
| "29.q_proj": 1024, |
| "29.k_proj": 1024, |
| "29.v_proj": 1024, |
| "29.o_proj": 1024, |
| "29.gate_proj": 1492, |
| "29.up_proj": 1492, |
| "29.down_proj": 1492, |
| "30.q_proj": 1024, |
| "30.k_proj": 1024, |
| "30.v_proj": 1024, |
| "30.o_proj": 1024, |
| "30.gate_proj": 1492, |
| "30.up_proj": 1492, |
| "30.down_proj": 1492, |
| "31.q_proj": 1024, |
| "31.k_proj": 1024, |
| "31.v_proj": 1024, |
| "31.o_proj": 1024, |
| "31.gate_proj": 1492, |
| "31.up_proj": 1492, |
| "31.down_proj": 1492 |
| }, |
| "rel_err": { |
| "0.q_proj": 0.056192658841609955, |
| "0.k_proj": 0.04661916196346283, |
| "0.v_proj": 0.42346179485321045, |
| "0.o_proj": 0.411553293466568, |
| "0.gate_proj": 0.5055441856384277, |
| "0.up_proj": 0.5220991969108582, |
| "0.down_proj": 0.6015071868896484, |
| "1.q_proj": 0.17286323010921478, |
| "1.k_proj": 0.15428005158901215, |
| "1.v_proj": 0.5487779974937439, |
| "1.o_proj": 0.48667803406715393, |
| "1.gate_proj": 0.48659566044807434, |
| "1.up_proj": 0.5488383173942566, |
| "1.down_proj": 0.6389646530151367, |
| "2.q_proj": 0.34970828890800476, |
| "2.k_proj": 0.33591288328170776, |
| "2.v_proj": 0.5778592228889465, |
| "2.o_proj": 0.633070170879364, |
| "2.gate_proj": 0.5527427792549133, |
| "2.up_proj": 0.5937211513519287, |
| "2.down_proj": 0.6485303044319153, |
| "3.q_proj": 0.4580141007900238, |
| "3.k_proj": 0.4590720534324646, |
| "3.v_proj": 0.5975437760353088, |
| "3.o_proj": 0.624569833278656, |
| "3.gate_proj": 0.6121641993522644, |
| "3.up_proj": 0.6365599036216736, |
| "3.down_proj": 0.6132440567016602, |
| "4.q_proj": 0.44523993134498596, |
| "4.k_proj": 0.45089787244796753, |
| "4.v_proj": 0.5944910049438477, |
| "4.o_proj": 0.6285367012023926, |
| "4.gate_proj": 0.6117405891418457, |
| "4.up_proj": 0.6419655680656433, |
| "4.down_proj": 0.617594301700592, |
| "5.q_proj": 0.456097275018692, |
| "5.k_proj": 0.45598524808883667, |
| "5.v_proj": 0.5996476411819458, |
| "5.o_proj": 0.632495641708374, |
| "5.gate_proj": 0.6073550581932068, |
| "5.up_proj": 0.6432995796203613, |
| "5.down_proj": 0.6099602580070496, |
| "6.q_proj": 0.43930497765541077, |
| "6.k_proj": 0.447870671749115, |
| "6.v_proj": 0.5827558636665344, |
| "6.o_proj": 0.6016847491264343, |
| "6.gate_proj": 0.6015669703483582, |
| "6.up_proj": 0.6439783573150635, |
| "6.down_proj": 0.6091653108596802, |
| "7.q_proj": 0.4459676444530487, |
| "7.k_proj": 0.45342662930488586, |
| "7.v_proj": 0.5757118463516235, |
| "7.o_proj": 0.619600772857666, |
| "7.gate_proj": 0.5982381105422974, |
| "7.up_proj": 0.6431558132171631, |
| "7.down_proj": 0.60225510597229, |
| "8.q_proj": 0.4573039412498474, |
| "8.k_proj": 0.4733664095401764, |
| "8.v_proj": 0.5603542923927307, |
| "8.o_proj": 0.6169588565826416, |
| "8.gate_proj": 0.5952193140983582, |
| "8.up_proj": 0.637409508228302, |
| "8.down_proj": 0.5963111519813538, |
| "9.q_proj": 0.4738854169845581, |
| "9.k_proj": 0.4808855652809143, |
| "9.v_proj": 0.5589357614517212, |
| "9.o_proj": 0.6167106628417969, |
| "9.gate_proj": 0.5912081599235535, |
| "9.up_proj": 0.6315990686416626, |
| "9.down_proj": 0.594933807849884, |
| "10.q_proj": 0.44166135787963867, |
| "10.k_proj": 0.4550938904285431, |
| "10.v_proj": 0.550236701965332, |
| "10.o_proj": 0.5853973031044006, |
| "10.gate_proj": 0.586116373538971, |
| "10.up_proj": 0.6267168521881104, |
| "10.down_proj": 0.5911690592765808, |
| "11.q_proj": 0.42805588245391846, |
| "11.k_proj": 0.4425352215766907, |
| "11.v_proj": 0.5355498194694519, |
| "11.o_proj": 0.5729437470436096, |
| "11.gate_proj": 0.5867865681648254, |
| "11.up_proj": 0.627552330493927, |
| "11.down_proj": 0.5978440642356873, |
| "12.q_proj": 0.4702264964580536, |
| "12.k_proj": 0.4681994616985321, |
| "12.v_proj": 0.5570160746574402, |
| "12.o_proj": 0.614287793636322, |
| "12.gate_proj": 0.5915638208389282, |
| "12.up_proj": 0.6277207732200623, |
| "12.down_proj": 0.5981455445289612, |
| "13.q_proj": 0.4759771525859833, |
| "13.k_proj": 0.4948011636734009, |
| "13.v_proj": 0.5882614254951477, |
| "13.o_proj": 0.6038281321525574, |
| "13.gate_proj": 0.5947344303131104, |
| "13.up_proj": 0.6310805082321167, |
| "13.down_proj": 0.609811007976532, |
| "14.q_proj": 0.4534323215484619, |
| "14.k_proj": 0.45825469493865967, |
| "14.v_proj": 0.5797452926635742, |
| "14.o_proj": 0.6001855134963989, |
| "14.gate_proj": 0.5946325063705444, |
| "14.up_proj": 0.629921019077301, |
| "14.down_proj": 0.6122742295265198, |
| "15.q_proj": 0.47711214423179626, |
| "15.k_proj": 0.47869259119033813, |
| "15.v_proj": 0.585329532623291, |
| "15.o_proj": 0.6128898859024048, |
| "15.gate_proj": 0.5986577272415161, |
| "15.up_proj": 0.6335611343383789, |
| "15.down_proj": 0.6260308623313904, |
| "16.q_proj": 0.47317031025886536, |
| "16.k_proj": 0.4770992696285248, |
| "16.v_proj": 0.6147672533988953, |
| "16.o_proj": 0.6398205757141113, |
| "16.gate_proj": 0.5980997085571289, |
| "16.up_proj": 0.6310471296310425, |
| "16.down_proj": 0.639728307723999, |
| "17.q_proj": 0.5174639821052551, |
| "17.k_proj": 0.5145785808563232, |
| "17.v_proj": 0.6290446519851685, |
| "17.o_proj": 0.6505357027053833, |
| "17.gate_proj": 0.6009370684623718, |
| "17.up_proj": 0.6319933533668518, |
| "17.down_proj": 0.6379805207252502, |
| "18.q_proj": 0.5431972146034241, |
| "18.k_proj": 0.5481030941009521, |
| "18.v_proj": 0.6349421739578247, |
| "18.o_proj": 0.6737395524978638, |
| "18.gate_proj": 0.6100661158561707, |
| "18.up_proj": 0.6383163928985596, |
| "18.down_proj": 0.637864351272583, |
| "19.q_proj": 0.5255770087242126, |
| "19.k_proj": 0.521186888217926, |
| "19.v_proj": 0.6180195808410645, |
| "19.o_proj": 0.6604673862457275, |
| "19.gate_proj": 0.6135538220405579, |
| "19.up_proj": 0.63866126537323, |
| "19.down_proj": 0.6373714208602905, |
| "20.q_proj": 0.5166123509407043, |
| "20.k_proj": 0.5181677937507629, |
| "20.v_proj": 0.6328254342079163, |
| "20.o_proj": 0.6643419861793518, |
| "20.gate_proj": 0.6113232970237732, |
| "20.up_proj": 0.6354420185089111, |
| "20.down_proj": 0.649253249168396, |
| "21.q_proj": 0.5325705409049988, |
| "21.k_proj": 0.5349622964859009, |
| "21.v_proj": 0.6249698996543884, |
| "21.o_proj": 0.6776399612426758, |
| "21.gate_proj": 0.6123360395431519, |
| "21.up_proj": 0.6350381970405579, |
| "21.down_proj": 0.6449311971664429, |
| "22.q_proj": 0.5453105568885803, |
| "22.k_proj": 0.5497902631759644, |
| "22.v_proj": 0.6363164782524109, |
| "22.o_proj": 0.6763501763343811, |
| "22.gate_proj": 0.6122980713844299, |
| "22.up_proj": 0.6341944336891174, |
| "22.down_proj": 0.6425648331642151, |
| "23.q_proj": 0.5773488283157349, |
| "23.k_proj": 0.5766705870628357, |
| "23.v_proj": 0.6351466774940491, |
| "23.o_proj": 0.6670965552330017, |
| "23.gate_proj": 0.6160674691200256, |
| "23.up_proj": 0.6364560723304749, |
| "23.down_proj": 0.6343446373939514, |
| "24.q_proj": 0.5240896344184875, |
| "24.k_proj": 0.5282245874404907, |
| "24.v_proj": 0.6267368793487549, |
| "24.o_proj": 0.6721391677856445, |
| "24.gate_proj": 0.6173096895217896, |
| "24.up_proj": 0.6374848484992981, |
| "24.down_proj": 0.6265668272972107, |
| "25.q_proj": 0.5660284161567688, |
| "25.k_proj": 0.5739861726760864, |
| "25.v_proj": 0.6362990140914917, |
| "25.o_proj": 0.6640753746032715, |
| "25.gate_proj": 0.6208122372627258, |
| "25.up_proj": 0.6398339867591858, |
| "25.down_proj": 0.6188569664955139, |
| "26.q_proj": 0.5346542596817017, |
| "26.k_proj": 0.5439216494560242, |
| "26.v_proj": 0.6244023442268372, |
| "26.o_proj": 0.6865314841270447, |
| "26.gate_proj": 0.6226499080657959, |
| "26.up_proj": 0.6418870687484741, |
| "26.down_proj": 0.6167672276496887, |
| "27.q_proj": 0.5844919681549072, |
| "27.k_proj": 0.592484176158905, |
| "27.v_proj": 0.6463485360145569, |
| "27.o_proj": 0.6664125323295593, |
| "27.gate_proj": 0.6257489919662476, |
| "27.up_proj": 0.6436028480529785, |
| "27.down_proj": 0.6146153807640076, |
| "28.q_proj": 0.5657913684844971, |
| "28.k_proj": 0.5766007900238037, |
| "28.v_proj": 0.6425398588180542, |
| "28.o_proj": 0.6616485714912415, |
| "28.gate_proj": 0.6255733370780945, |
| "28.up_proj": 0.642206072807312, |
| "28.down_proj": 0.6240695714950562, |
| "29.q_proj": 0.5303587913513184, |
| "29.k_proj": 0.5390129089355469, |
| "29.v_proj": 0.6342077255249023, |
| "29.o_proj": 0.6663923859596252, |
| "29.gate_proj": 0.6245595216751099, |
| "29.up_proj": 0.6380678415298462, |
| "29.down_proj": 0.6320728063583374, |
| "30.q_proj": 0.5643410682678223, |
| "30.k_proj": 0.5726234912872314, |
| "30.v_proj": 0.6476088762283325, |
| "30.o_proj": 0.6720858216285706, |
| "30.gate_proj": 0.6180704236030579, |
| "30.up_proj": 0.6258430480957031, |
| "30.down_proj": 0.6427648067474365, |
| "31.q_proj": 0.5015712380409241, |
| "31.k_proj": 0.5105323791503906, |
| "31.v_proj": 0.6290576457977295, |
| "31.o_proj": 0.6422172784805298, |
| "31.gate_proj": 0.6081221103668213, |
| "31.up_proj": 0.6115826368331909, |
| "31.down_proj": 0.6411463022232056 |
| } |
| } |
