OpenCL/m02500.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _WPA_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_vendor.cl"
  11 #include "inc_hash_constants.h"
  12 #include "inc_hash_functions.cl"
  13 #include "inc_types.cl"
  14 #include "inc_common.cl"
  15 #include "inc_simd.cl"
  16
  17 #define COMPARE_S "inc_comp_single.cl"
  18 #define COMPARE_M "inc_comp_multi.cl"
  19
  20 void md5_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[4])
  21 {
  22   u32 a = digest[0];
  23   u32 b = digest[1];
  24   u32 c = digest[2];
  25   u32 d = digest[3];
  26
  27   u32 w0_t = w0[0];
  28   u32 w1_t = w0[1];
  29   u32 w2_t = w0[2];
  30   u32 w3_t = w0[3];
  31   u32 w4_t = w1[0];
  32   u32 w5_t = w1[1];
  33   u32 w6_t = w1[2];
  34   u32 w7_t = w1[3];
  35   u32 w8_t = w2[0];
  36   u32 w9_t = w2[1];
  37   u32 wa_t = w2[2];
  38   u32 wb_t = w2[3];
  39   u32 wc_t = w3[0];
  40   u32 wd_t = w3[1];
  41   u32 we_t = w3[2];
  42   u32 wf_t = w3[3];
  43
  44   MD5_STEP_S (MD5_Fo, a, b, c, d, w0_t, MD5C00, MD5S00);
  45   MD5_STEP_S (MD5_Fo, d, a, b, c, w1_t, MD5C01, MD5S01);
  46   MD5_STEP_S (MD5_Fo, c, d, a, b, w2_t, MD5C02, MD5S02);
  47   MD5_STEP_S (MD5_Fo, b, c, d, a, w3_t, MD5C03, MD5S03);
  48   MD5_STEP_S (MD5_Fo, a, b, c, d, w4_t, MD5C04, MD5S00);
  49   MD5_STEP_S (MD5_Fo, d, a, b, c, w5_t, MD5C05, MD5S01);
  50   MD5_STEP_S (MD5_Fo, c, d, a, b, w6_t, MD5C06, MD5S02);
  51   MD5_STEP_S (MD5_Fo, b, c, d, a, w7_t, MD5C07, MD5S03);
  52   MD5_STEP_S (MD5_Fo, a, b, c, d, w8_t, MD5C08, MD5S00);
  53   MD5_STEP_S (MD5_Fo, d, a, b, c, w9_t, MD5C09, MD5S01);
  54   MD5_STEP_S (MD5_Fo, c, d, a, b, wa_t, MD5C0a, MD5S02);
  55   MD5_STEP_S (MD5_Fo, b, c, d, a, wb_t, MD5C0b, MD5S03);
  56   MD5_STEP_S (MD5_Fo, a, b, c, d, wc_t, MD5C0c, MD5S00);
  57   MD5_STEP_S (MD5_Fo, d, a, b, c, wd_t, MD5C0d, MD5S01);
  58   MD5_STEP_S (MD5_Fo, c, d, a, b, we_t, MD5C0e, MD5S02);
  59   MD5_STEP_S (MD5_Fo, b, c, d, a, wf_t, MD5C0f, MD5S03);
  60
  61   MD5_STEP_S (MD5_Go, a, b, c, d, w1_t, MD5C10, MD5S10);
  62   MD5_STEP_S (MD5_Go, d, a, b, c, w6_t, MD5C11, MD5S11);
  63   MD5_STEP_S (MD5_Go, c, d, a, b, wb_t, MD5C12, MD5S12);
  64   MD5_STEP_S (MD5_Go, b, c, d, a, w0_t, MD5C13, MD5S13);
  65   MD5_STEP_S (MD5_Go, a, b, c, d, w5_t, MD5C14, MD5S10);
  66   MD5_STEP_S (MD5_Go, d, a, b, c, wa_t, MD5C15, MD5S11);
  67   MD5_STEP_S (MD5_Go, c, d, a, b, wf_t, MD5C16, MD5S12);
  68   MD5_STEP_S (MD5_Go, b, c, d, a, w4_t, MD5C17, MD5S13);
  69   MD5_STEP_S (MD5_Go, a, b, c, d, w9_t, MD5C18, MD5S10);
  70   MD5_STEP_S (MD5_Go, d, a, b, c, we_t, MD5C19, MD5S11);
  71   MD5_STEP_S (MD5_Go, c, d, a, b, w3_t, MD5C1a, MD5S12);
  72   MD5_STEP_S (MD5_Go, b, c, d, a, w8_t, MD5C1b, MD5S13);
  73   MD5_STEP_S (MD5_Go, a, b, c, d, wd_t, MD5C1c, MD5S10);
  74   MD5_STEP_S (MD5_Go, d, a, b, c, w2_t, MD5C1d, MD5S11);
  75   MD5_STEP_S (MD5_Go, c, d, a, b, w7_t, MD5C1e, MD5S12);
  76   MD5_STEP_S (MD5_Go, b, c, d, a, wc_t, MD5C1f, MD5S13);
  77
  78   MD5_STEP_S (MD5_H , a, b, c, d, w5_t, MD5C20, MD5S20);
  79   MD5_STEP_S (MD5_H , d, a, b, c, w8_t, MD5C21, MD5S21);
  80   MD5_STEP_S (MD5_H , c, d, a, b, wb_t, MD5C22, MD5S22);
  81   MD5_STEP_S (MD5_H , b, c, d, a, we_t, MD5C23, MD5S23);
  82   MD5_STEP_S (MD5_H , a, b, c, d, w1_t, MD5C24, MD5S20);
  83   MD5_STEP_S (MD5_H , d, a, b, c, w4_t, MD5C25, MD5S21);
  84   MD5_STEP_S (MD5_H , c, d, a, b, w7_t, MD5C26, MD5S22);
  85   MD5_STEP_S (MD5_H , b, c, d, a, wa_t, MD5C27, MD5S23);
  86   MD5_STEP_S (MD5_H , a, b, c, d, wd_t, MD5C28, MD5S20);
  87   MD5_STEP_S (MD5_H , d, a, b, c, w0_t, MD5C29, MD5S21);
  88   MD5_STEP_S (MD5_H , c, d, a, b, w3_t, MD5C2a, MD5S22);
  89   MD5_STEP_S (MD5_H , b, c, d, a, w6_t, MD5C2b, MD5S23);
  90   MD5_STEP_S (MD5_H , a, b, c, d, w9_t, MD5C2c, MD5S20);
  91   MD5_STEP_S (MD5_H , d, a, b, c, wc_t, MD5C2d, MD5S21);
  92   MD5_STEP_S (MD5_H , c, d, a, b, wf_t, MD5C2e, MD5S22);
  93   MD5_STEP_S (MD5_H , b, c, d, a, w2_t, MD5C2f, MD5S23);
  94
  95   MD5_STEP_S (MD5_I , a, b, c, d, w0_t, MD5C30, MD5S30);
  96   MD5_STEP_S (MD5_I , d, a, b, c, w7_t, MD5C31, MD5S31);
  97   MD5_STEP_S (MD5_I , c, d, a, b, we_t, MD5C32, MD5S32);
  98   MD5_STEP_S (MD5_I , b, c, d, a, w5_t, MD5C33, MD5S33);
  99   MD5_STEP_S (MD5_I , a, b, c, d, wc_t, MD5C34, MD5S30);
 100   MD5_STEP_S (MD5_I , d, a, b, c, w3_t, MD5C35, MD5S31);
 101   MD5_STEP_S (MD5_I , c, d, a, b, wa_t, MD5C36, MD5S32);
 102   MD5_STEP_S (MD5_I , b, c, d, a, w1_t, MD5C37, MD5S33);
 103   MD5_STEP_S (MD5_I , a, b, c, d, w8_t, MD5C38, MD5S30);
 104   MD5_STEP_S (MD5_I , d, a, b, c, wf_t, MD5C39, MD5S31);
 105   MD5_STEP_S (MD5_I , c, d, a, b, w6_t, MD5C3a, MD5S32);
 106   MD5_STEP_S (MD5_I , b, c, d, a, wd_t, MD5C3b, MD5S33);
 107   MD5_STEP_S (MD5_I , a, b, c, d, w4_t, MD5C3c, MD5S30);
 108   MD5_STEP_S (MD5_I , d, a, b, c, wb_t, MD5C3d, MD5S31);
 109   MD5_STEP_S (MD5_I , c, d, a, b, w2_t, MD5C3e, MD5S32);
 110   MD5_STEP_S (MD5_I , b, c, d, a, w9_t, MD5C3f, MD5S33);
 111
 112   digest[0] += a;
 113   digest[1] += b;
 114   digest[2] += c;
 115   digest[3] += d;
 116 }
 117
 118 void hmac_md5_pad_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[4], u32 opad[4])
 119 {
 120   w0[0] = w0[0] ^ 0x36363636;
 121   w0[1] = w0[1] ^ 0x36363636;
 122   w0[2] = w0[2] ^ 0x36363636;
 123   w0[3] = w0[3] ^ 0x36363636;
 124   w1[0] = w1[0] ^ 0x36363636;
 125   w1[1] = w1[1] ^ 0x36363636;
 126   w1[2] = w1[2] ^ 0x36363636;
 127   w1[3] = w1[3] ^ 0x36363636;
 128   w2[0] = w2[0] ^ 0x36363636;
 129   w2[1] = w2[1] ^ 0x36363636;
 130   w2[2] = w2[2] ^ 0x36363636;
 131   w2[3] = w2[3] ^ 0x36363636;
 132   w3[0] = w3[0] ^ 0x36363636;
 133   w3[1] = w3[1] ^ 0x36363636;
 134   w3[2] = w3[2] ^ 0x36363636;
 135   w3[3] = w3[3] ^ 0x36363636;
 136
 137   ipad[0] = MD5M_A;
 138   ipad[1] = MD5M_B;
 139   ipad[2] = MD5M_C;
 140   ipad[3] = MD5M_D;
 141
 142   md5_transform_S (w0, w1, w2, w3, ipad);
 143
 144   w0[0] = w0[0] ^ 0x6a6a6a6a;
 145   w0[1] = w0[1] ^ 0x6a6a6a6a;
 146   w0[2] = w0[2] ^ 0x6a6a6a6a;
 147   w0[3] = w0[3] ^ 0x6a6a6a6a;
 148   w1[0] = w1[0] ^ 0x6a6a6a6a;
 149   w1[1] = w1[1] ^ 0x6a6a6a6a;
 150   w1[2] = w1[2] ^ 0x6a6a6a6a;
 151   w1[3] = w1[3] ^ 0x6a6a6a6a;
 152   w2[0] = w2[0] ^ 0x6a6a6a6a;
 153   w2[1] = w2[1] ^ 0x6a6a6a6a;
 154   w2[2] = w2[2] ^ 0x6a6a6a6a;
 155   w2[3] = w2[3] ^ 0x6a6a6a6a;
 156   w3[0] = w3[0] ^ 0x6a6a6a6a;
 157   w3[1] = w3[1] ^ 0x6a6a6a6a;
 158   w3[2] = w3[2] ^ 0x6a6a6a6a;
 159   w3[3] = w3[3] ^ 0x6a6a6a6a;
 160
 161   opad[0] = MD5M_A;
 162   opad[1] = MD5M_B;
 163   opad[2] = MD5M_C;
 164   opad[3] = MD5M_D;
 165
 166   md5_transform_S (w0, w1, w2, w3, opad);
 167 }
 168
 169 void hmac_md5_run_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[4], u32 opad[4], u32 digest[4])
 170 {
 171   digest[0] = ipad[0];
 172   digest[1] = ipad[1];
 173   digest[2] = ipad[2];
 174   digest[3] = ipad[3];
 175
 176   md5_transform_S (w0, w1, w2, w3, digest);
 177
 178   w0[0] = digest[0];
 179   w0[1] = digest[1];
 180   w0[2] = digest[2];
 181   w0[3] = digest[3];
 182   w1[0] = 0x80;
 183   w1[1] = 0;
 184   w1[2] = 0;
 185   w1[3] = 0;
 186   w2[0] = 0;
 187   w2[1] = 0;
 188   w2[2] = 0;
 189   w2[3] = 0;
 190   w3[0] = 0;
 191   w3[1] = 0;
 192   w3[2] = (64 + 16) * 8;
 193   w3[3] = 0;
 194
 195   digest[0] = opad[0];
 196   digest[1] = opad[1];
 197   digest[2] = opad[2];
 198   digest[3] = opad[3];
 199
 200   md5_transform_S (w0, w1, w2, w3, digest);
 201 }
 202
 203 void sha1_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
 204 {
 205   u32 A = digest[0];
 206   u32 B = digest[1];
 207   u32 C = digest[2];
 208   u32 D = digest[3];
 209   u32 E = digest[4];
 210
 211   u32 w0_t = w0[0];
 212   u32 w1_t = w0[1];
 213   u32 w2_t = w0[2];
 214   u32 w3_t = w0[3];
 215   u32 w4_t = w1[0];
 216   u32 w5_t = w1[1];
 217   u32 w6_t = w1[2];
 218   u32 w7_t = w1[3];
 219   u32 w8_t = w2[0];
 220   u32 w9_t = w2[1];
 221   u32 wa_t = w2[2];
 222   u32 wb_t = w2[3];
 223   u32 wc_t = w3[0];
 224   u32 wd_t = w3[1];
 225   u32 we_t = w3[2];
 226   u32 wf_t = w3[3];
 227
 228   #undef K
 229   #define K SHA1C00
 230
 231   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w0_t);
 232   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w1_t);
 233   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w2_t);
 234   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w3_t);
 235   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w4_t);
 236   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w5_t);
 237   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w6_t);
 238   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w7_t);
 239   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w8_t);
 240   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w9_t);
 241   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wa_t);
 242   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, wb_t);
 243   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, wc_t);
 244   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, wd_t);
 245   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, we_t);
 246   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wf_t);
 247   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w0_t);
 248   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w1_t);
 249   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w2_t);
 250   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w3_t);
 251
 252   #undef K
 253   #define K SHA1C01
 254
 255   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w4_t);
 256   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w5_t);
 257   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w6_t);
 258   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w7_t);
 259   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w8_t);
 260   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w9_t);
 261   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wa_t);
 262   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wb_t);
 263   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wc_t);
 264   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wd_t);
 265   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, we_t);
 266   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wf_t);
 267   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w0_t);
 268   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w1_t);
 269   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w2_t);
 270   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w3_t);
 271   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w4_t);
 272   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w5_t);
 273   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w6_t);
 274   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w7_t);
 275
 276   #undef K
 277   #define K SHA1C02
 278
 279   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w8_t);
 280   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w9_t);
 281   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wa_t);
 282   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wb_t);
 283   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wc_t);
 284   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, wd_t);
 285   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, we_t);
 286   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wf_t);
 287   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w0_t);
 288   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w1_t);
 289   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w2_t);
 290   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w3_t);
 291   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w4_t);
 292   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w5_t);
 293   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w6_t);
 294   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w7_t);
 295   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w8_t);
 296   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w9_t);
 297   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wa_t);
 298   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wb_t);
 299
 300   #undef K
 301   #define K SHA1C03
 302
 303   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wc_t);
 304   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wd_t);
 305   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, we_t);
 306   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wf_t);
 307   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w0_t);
 308   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w1_t);
 309   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w2_t);
 310   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w3_t);
 311   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w4_t);
 312   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w5_t);
 313   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w6_t);
 314   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w7_t);
 315   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w8_t);
 316   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w9_t);
 317   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wa_t);
 318   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wb_t);
 319   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wc_t);
 320   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wd_t);
 321   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, we_t);
 322   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wf_t);
 323
 324   digest[0] += A;
 325   digest[1] += B;
 326   digest[2] += C;
 327   digest[3] += D;
 328   digest[4] += E;
 329 }
 330
 331 void hmac_sha1_pad_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5])
 332 {
 333   w0[0] = w0[0] ^ 0x36363636;
 334   w0[1] = w0[1] ^ 0x36363636;
 335   w0[2] = w0[2] ^ 0x36363636;
 336   w0[3] = w0[3] ^ 0x36363636;
 337   w1[0] = w1[0] ^ 0x36363636;
 338   w1[1] = w1[1] ^ 0x36363636;
 339   w1[2] = w1[2] ^ 0x36363636;
 340   w1[3] = w1[3] ^ 0x36363636;
 341   w2[0] = w2[0] ^ 0x36363636;
 342   w2[1] = w2[1] ^ 0x36363636;
 343   w2[2] = w2[2] ^ 0x36363636;
 344   w2[3] = w2[3] ^ 0x36363636;
 345   w3[0] = w3[0] ^ 0x36363636;
 346   w3[1] = w3[1] ^ 0x36363636;
 347   w3[2] = w3[2] ^ 0x36363636;
 348   w3[3] = w3[3] ^ 0x36363636;
 349
 350   ipad[0] = SHA1M_A;
 351   ipad[1] = SHA1M_B;
 352   ipad[2] = SHA1M_C;
 353   ipad[3] = SHA1M_D;
 354   ipad[4] = SHA1M_E;
 355
 356   sha1_transform_S (w0, w1, w2, w3, ipad);
 357
 358   w0[0] = w0[0] ^ 0x6a6a6a6a;
 359   w0[1] = w0[1] ^ 0x6a6a6a6a;
 360   w0[2] = w0[2] ^ 0x6a6a6a6a;
 361   w0[3] = w0[3] ^ 0x6a6a6a6a;
 362   w1[0] = w1[0] ^ 0x6a6a6a6a;
 363   w1[1] = w1[1] ^ 0x6a6a6a6a;
 364   w1[2] = w1[2] ^ 0x6a6a6a6a;
 365   w1[3] = w1[3] ^ 0x6a6a6a6a;
 366   w2[0] = w2[0] ^ 0x6a6a6a6a;
 367   w2[1] = w2[1] ^ 0x6a6a6a6a;
 368   w2[2] = w2[2] ^ 0x6a6a6a6a;
 369   w2[3] = w2[3] ^ 0x6a6a6a6a;
 370   w3[0] = w3[0] ^ 0x6a6a6a6a;
 371   w3[1] = w3[1] ^ 0x6a6a6a6a;
 372   w3[2] = w3[2] ^ 0x6a6a6a6a;
 373   w3[3] = w3[3] ^ 0x6a6a6a6a;
 374
 375   opad[0] = SHA1M_A;
 376   opad[1] = SHA1M_B;
 377   opad[2] = SHA1M_C;
 378   opad[3] = SHA1M_D;
 379   opad[4] = SHA1M_E;
 380
 381   sha1_transform_S (w0, w1, w2, w3, opad);
 382 }
 383
 384 void hmac_sha1_run_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5], u32 digest[5])
 385 {
 386   digest[0] = ipad[0];
 387   digest[1] = ipad[1];
 388   digest[2] = ipad[2];
 389   digest[3] = ipad[3];
 390   digest[4] = ipad[4];
 391
 392   sha1_transform_S (w0, w1, w2, w3, digest);
 393
 394   w0[0] = digest[0];
 395   w0[1] = digest[1];
 396   w0[2] = digest[2];
 397   w0[3] = digest[3];
 398   w1[0] = digest[4];
 399   w1[1] = 0x80000000;
 400   w1[2] = 0;
 401   w1[3] = 0;
 402   w2[0] = 0;
 403   w2[1] = 0;
 404   w2[2] = 0;
 405   w2[3] = 0;
 406   w3[0] = 0;
 407   w3[1] = 0;
 408   w3[2] = 0;
 409   w3[3] = (64 + 20) * 8;
 410
 411   digest[0] = opad[0];
 412   digest[1] = opad[1];
 413   digest[2] = opad[2];
 414   digest[3] = opad[3];
 415   digest[4] = opad[4];
 416
 417   sha1_transform_S (w0, w1, w2, w3, digest);
 418 }
 419
 420 void sha1_transform_V (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[5])
 421 {
 422   u32x A = digest[0];
 423   u32x B = digest[1];
 424   u32x C = digest[2];
 425   u32x D = digest[3];
 426   u32x E = digest[4];
 427
 428   u32x w0_t = w0[0];
 429   u32x w1_t = w0[1];
 430   u32x w2_t = w0[2];
 431   u32x w3_t = w0[3];
 432   u32x w4_t = w1[0];
 433   u32x w5_t = w1[1];
 434   u32x w6_t = w1[2];
 435   u32x w7_t = w1[3];
 436   u32x w8_t = w2[0];
 437   u32x w9_t = w2[1];
 438   u32x wa_t = w2[2];
 439   u32x wb_t = w2[3];
 440   u32x wc_t = w3[0];
 441   u32x wd_t = w3[1];
 442   u32x we_t = w3[2];
 443   u32x wf_t = w3[3];
 444
 445   #undef K
 446   #define K SHA1C00
 447
 448   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
 449   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
 450   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
 451   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
 452   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
 453   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
 454   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 455   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 456   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 457   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 458   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 459   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 460   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 461   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 462   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 463   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 464   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 465   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 466   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 467   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 468
 469   #undef K
 470   #define K SHA1C01
 471
 472   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 473   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 474   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 475   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 476   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 477   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 478   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 479   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 480   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 481   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 482   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 483   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 484   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 485   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 486   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 487   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 488   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 489   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 490   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 491   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 492
 493   #undef K
 494   #define K SHA1C02
 495
 496   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 497   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 498   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 499   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 500   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 501   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 502   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 503   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 504   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 505   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 506   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 507   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 508   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 509   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 510   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 511   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 512   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 513   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 514   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 515   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 516
 517   #undef K
 518   #define K SHA1C03
 519
 520   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 521   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 522   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 523   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 524   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 525   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 526   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 527   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 528   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 529   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 530   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 531   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 532   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 533   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 534   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 535   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 536   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 537   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 538   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 539   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 540
 541   digest[0] += A;
 542   digest[1] += B;
 543   digest[2] += C;
 544   digest[3] += D;
 545   digest[4] += E;
 546 }
 547
 548 void hmac_sha1_run_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5], u32x digest[5])
 549 {
 550   digest[0] = ipad[0];
 551   digest[1] = ipad[1];
 552   digest[2] = ipad[2];
 553   digest[3] = ipad[3];
 554   digest[4] = ipad[4];
 555
 556   sha1_transform_V (w0, w1, w2, w3, digest);
 557
 558   w0[0] = digest[0];
 559   w0[1] = digest[1];
 560   w0[2] = digest[2];
 561   w0[3] = digest[3];
 562   w1[0] = digest[4];
 563   w1[1] = 0x80000000;
 564   w1[2] = 0;
 565   w1[3] = 0;
 566   w2[0] = 0;
 567   w2[1] = 0;
 568   w2[2] = 0;
 569   w2[3] = 0;
 570   w3[0] = 0;
 571   w3[1] = 0;
 572   w3[2] = 0;
 573   w3[3] = (64 + 20) * 8;
 574
 575   digest[0] = opad[0];
 576   digest[1] = opad[1];
 577   digest[2] = opad[2];
 578   digest[3] = opad[3];
 579   digest[4] = opad[4];
 580
 581   sha1_transform_V (w0, w1, w2, w3, digest);
 582 }
 583
 584 __kernel void m02500_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global wpa_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global wpa_t *wpa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 585 {
 586   /**
 587    * base
 588    */
 589
 590   const u32 gid = get_global_id (0);
 591
 592   if (gid >= gid_max) return;
 593
 594   u32 w0[4];
 595
 596   w0[0] = pws[gid].i[ 0];
 597   w0[1] = pws[gid].i[ 1];
 598   w0[2] = pws[gid].i[ 2];
 599   w0[3] = pws[gid].i[ 3];
 600
 601   u32 w1[4];
 602
 603   w1[0] = pws[gid].i[ 4];
 604   w1[1] = pws[gid].i[ 5];
 605   w1[2] = pws[gid].i[ 6];
 606   w1[3] = pws[gid].i[ 7];
 607
 608   u32 w2[4];
 609
 610   w2[0] = pws[gid].i[ 8];
 611   w2[1] = pws[gid].i[ 9];
 612   w2[2] = pws[gid].i[10];
 613   w2[3] = pws[gid].i[11];
 614
 615   u32 w3[4];
 616
 617   w3[0] = pws[gid].i[12];
 618   w3[1] = pws[gid].i[13];
 619   w3[2] = pws[gid].i[14];
 620   w3[3] = pws[gid].i[15];
 621
 622   /**
 623    * salt
 624    */
 625
 626   u32 salt_len = salt_bufs[salt_pos].salt_len;
 627
 628   u32 salt_buf0[4];
 629   u32 salt_buf1[4];
 630
 631   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 632   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 633   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 634   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 635   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 636   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 637   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 638   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 639
 640   /**
 641    * pads
 642    */
 643
 644   w0[0] = swap32_S (w0[0]);
 645   w0[1] = swap32_S (w0[1]);
 646   w0[2] = swap32_S (w0[2]);
 647   w0[3] = swap32_S (w0[3]);
 648   w1[0] = swap32_S (w1[0]);
 649   w1[1] = swap32_S (w1[1]);
 650   w1[2] = swap32_S (w1[2]);
 651   w1[3] = swap32_S (w1[3]);
 652   w2[0] = swap32_S (w2[0]);
 653   w2[1] = swap32_S (w2[1]);
 654   w2[2] = swap32_S (w2[2]);
 655   w2[3] = swap32_S (w2[3]);
 656   w3[0] = swap32_S (w3[0]);
 657   w3[1] = swap32_S (w3[1]);
 658   w3[2] = swap32_S (w3[2]);
 659   w3[3] = swap32_S (w3[3]);
 660
 661   u32 ipad[5];
 662   u32 opad[5];
 663
 664   hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
 665
 666   tmps[gid].ipad[0] = ipad[0];
 667   tmps[gid].ipad[1] = ipad[1];
 668   tmps[gid].ipad[2] = ipad[2];
 669   tmps[gid].ipad[3] = ipad[3];
 670   tmps[gid].ipad[4] = ipad[4];
 671
 672   tmps[gid].opad[0] = opad[0];
 673   tmps[gid].opad[1] = opad[1];
 674   tmps[gid].opad[2] = opad[2];
 675   tmps[gid].opad[3] = opad[3];
 676   tmps[gid].opad[4] = opad[4];
 677
 678   for (u32 i = 0, j = 1; i < 8; i += 5, j += 1)
 679   {
 680     w0[0] = salt_buf0[0];
 681     w0[1] = salt_buf0[1];
 682     w0[2] = salt_buf0[2];
 683     w0[3] = salt_buf0[3];
 684     w1[0] = salt_buf1[0];
 685     w1[1] = salt_buf1[1];
 686     w1[2] = salt_buf1[2];
 687     w1[3] = salt_buf1[3];
 688     w2[0] = 0;
 689     w2[1] = 0;
 690     w2[2] = 0;
 691     w2[3] = 0;
 692     w3[0] = 0;
 693     w3[1] = 0;
 694     w3[2] = 0;
 695     w3[3] = 0;
 696
 697     if (j == 1)
 698       append_0x01_3x4_S (w0, w1, w2, salt_len + 3);
 699     else
 700       append_0x02_3x4_S (w0, w1, w2, salt_len + 3);
 701
 702     append_0x80_3x4_S (w0, w1, w2, salt_len + 4);
 703
 704     w0[0] = swap32_S (w0[0]);
 705     w0[1] = swap32_S (w0[1]);
 706     w0[2] = swap32_S (w0[2]);
 707     w0[3] = swap32_S (w0[3]);
 708     w1[0] = swap32_S (w1[0]);
 709     w1[1] = swap32_S (w1[1]);
 710     w1[2] = swap32_S (w1[2]);
 711     w1[3] = swap32_S (w1[3]);
 712     w2[0] = swap32_S (w2[0]);
 713     w2[1] = swap32_S (w2[1]);
 714     w2[2] = 0;
 715     w2[3] = 0;
 716     w3[0] = 0;
 717     w3[1] = 0;
 718     w3[2] = 0;
 719     w3[3] = (64 + salt_len + 4) * 8;
 720
 721     u32 dgst[5];
 722
 723     hmac_sha1_run_S (w0, w1, w2, w3, ipad, opad, dgst);
 724
 725     tmps[gid].dgst[i + 0] = dgst[0];
 726     tmps[gid].dgst[i + 1] = dgst[1];
 727     tmps[gid].dgst[i + 2] = dgst[2];
 728     tmps[gid].dgst[i + 3] = dgst[3];
 729     tmps[gid].dgst[i + 4] = dgst[4];
 730
 731     tmps[gid].out[i + 0] = dgst[0];
 732     tmps[gid].out[i + 1] = dgst[1];
 733     tmps[gid].out[i + 2] = dgst[2];
 734     tmps[gid].out[i + 3] = dgst[3];
 735     tmps[gid].out[i + 4] = dgst[4];
 736   }
 737 }
 738
 739 __kernel void m02500_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global wpa_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global wpa_t *wpa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 740 {
 741   const u32 gid = get_global_id (0);
 742
 743   if (gid >= gid_max) return;
 744
 745   u32x ipad[5];
 746   u32x opad[5];
 747
 748   ipad[0] = packv (tmps, ipad, gid, 0);
 749   ipad[1] = packv (tmps, ipad, gid, 1);
 750   ipad[2] = packv (tmps, ipad, gid, 2);
 751   ipad[3] = packv (tmps, ipad, gid, 3);
 752   ipad[4] = packv (tmps, ipad, gid, 4);
 753
 754   opad[0] = packv (tmps, opad, gid, 0);
 755   opad[1] = packv (tmps, opad, gid, 1);
 756   opad[2] = packv (tmps, opad, gid, 2);
 757   opad[3] = packv (tmps, opad, gid, 3);
 758   opad[4] = packv (tmps, opad, gid, 4);
 759
 760   for (u32 i = 0; i < 8; i += 5)
 761   {
 762     u32x dgst[5];
 763     u32x out[5];
 764
 765     dgst[0] = packv (tmps, dgst, gid, i + 0);
 766     dgst[1] = packv (tmps, dgst, gid, i + 1);
 767     dgst[2] = packv (tmps, dgst, gid, i + 2);
 768     dgst[3] = packv (tmps, dgst, gid, i + 3);
 769     dgst[4] = packv (tmps, dgst, gid, i + 4);
 770
 771     out[0] = packv (tmps, out, gid, i + 0);
 772     out[1] = packv (tmps, out, gid, i + 1);
 773     out[2] = packv (tmps, out, gid, i + 2);
 774     out[3] = packv (tmps, out, gid, i + 3);
 775     out[4] = packv (tmps, out, gid, i + 4);
 776
 777     for (u32 j = 0; j < loop_cnt; j++)
 778     {
 779       u32x w0[4];
 780       u32x w1[4];
 781       u32x w2[4];
 782       u32x w3[4];
 783
 784       w0[0] = dgst[0];
 785       w0[1] = dgst[1];
 786       w0[2] = dgst[2];
 787       w0[3] = dgst[3];
 788       w1[0] = dgst[4];
 789       w1[1] = 0x80000000;
 790       w1[2] = 0;
 791       w1[3] = 0;
 792       w2[0] = 0;
 793       w2[1] = 0;
 794       w2[2] = 0;
 795       w2[3] = 0;
 796       w3[0] = 0;
 797       w3[1] = 0;
 798       w3[2] = 0;
 799       w3[3] = (64 + 20) * 8;
 800
 801       hmac_sha1_run_V (w0, w1, w2, w3, ipad, opad, dgst);
 802
 803       out[0] ^= dgst[0];
 804       out[1] ^= dgst[1];
 805       out[2] ^= dgst[2];
 806       out[3] ^= dgst[3];
 807       out[4] ^= dgst[4];
 808     }
 809
 810     unpackv (tmps, dgst, gid, i + 0, dgst[0]);
 811     unpackv (tmps, dgst, gid, i + 1, dgst[1]);
 812     unpackv (tmps, dgst, gid, i + 2, dgst[2]);
 813     unpackv (tmps, dgst, gid, i + 3, dgst[3]);
 814     unpackv (tmps, dgst, gid, i + 4, dgst[4]);
 815
 816     unpackv (tmps, out, gid, i + 0, out[0]);
 817     unpackv (tmps, out, gid, i + 1, out[1]);
 818     unpackv (tmps, out, gid, i + 2, out[2]);
 819     unpackv (tmps, out, gid, i + 3, out[3]);
 820     unpackv (tmps, out, gid, i + 4, out[4]);
 821   }
 822 }
 823
 824 __kernel void m02500_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global wpa_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global wpa_t *wpa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 825 {
 826   const u32 gid = get_global_id (0);
 827
 828   if (gid >= gid_max) return;
 829
 830   const u32 lid = get_local_id (0);
 831
 832   u32 w0[4];
 833   u32 w1[4];
 834   u32 w2[4];
 835   u32 w3[4];
 836
 837   w0[0] = tmps[gid].out[0];
 838   w0[1] = tmps[gid].out[1];
 839   w0[2] = tmps[gid].out[2];
 840   w0[3] = tmps[gid].out[3];
 841   w1[0] = tmps[gid].out[4];
 842   w1[1] = tmps[gid].out[5];
 843   w1[2] = tmps[gid].out[6];
 844   w1[3] = tmps[gid].out[7];
 845   w2[0] = 0;
 846   w2[1] = 0;
 847   w2[2] = 0;
 848   w2[3] = 0;
 849   w3[0] = 0;
 850   w3[1] = 0;
 851   w3[2] = 0;
 852   w3[3] = 0;
 853
 854   u32 ipad[5];
 855   u32 opad[5];
 856
 857   hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
 858
 859   w0[0] = wpa_bufs[salt_pos].pke[ 0];
 860   w0[1] = wpa_bufs[salt_pos].pke[ 1];
 861   w0[2] = wpa_bufs[salt_pos].pke[ 2];
 862   w0[3] = wpa_bufs[salt_pos].pke[ 3];
 863   w1[0] = wpa_bufs[salt_pos].pke[ 4];
 864   w1[1] = wpa_bufs[salt_pos].pke[ 5];
 865   w1[2] = wpa_bufs[salt_pos].pke[ 6];
 866   w1[3] = wpa_bufs[salt_pos].pke[ 7];
 867   w2[0] = wpa_bufs[salt_pos].pke[ 8];
 868   w2[1] = wpa_bufs[salt_pos].pke[ 9];
 869   w2[2] = wpa_bufs[salt_pos].pke[10];
 870   w2[3] = wpa_bufs[salt_pos].pke[11];
 871   w3[0] = wpa_bufs[salt_pos].pke[12];
 872   w3[1] = wpa_bufs[salt_pos].pke[13];
 873   w3[2] = wpa_bufs[salt_pos].pke[14];
 874   w3[3] = wpa_bufs[salt_pos].pke[15];
 875
 876   sha1_transform_S (w0, w1, w2, w3, ipad);
 877
 878   w0[0] = wpa_bufs[salt_pos].pke[16];
 879   w0[1] = wpa_bufs[salt_pos].pke[17];
 880   w0[2] = wpa_bufs[salt_pos].pke[18];
 881   w0[3] = wpa_bufs[salt_pos].pke[19];
 882   w1[0] = wpa_bufs[salt_pos].pke[20];
 883   w1[1] = wpa_bufs[salt_pos].pke[21];
 884   w1[2] = wpa_bufs[salt_pos].pke[22];
 885   w1[3] = wpa_bufs[salt_pos].pke[23];
 886   w2[0] = wpa_bufs[salt_pos].pke[24];
 887   w2[1] = 0x80000000;
 888   w2[2] = 0;
 889   w2[3] = 0;
 890   w3[0] = 0;
 891   w3[1] = 0;
 892   w3[2] = 0;
 893   w3[3] = (64 + 100) * 8;
 894
 895   u32 digest[5];
 896
 897   hmac_sha1_run_S (w0, w1, w2, w3, ipad, opad, digest);
 898
 899   {
 900     w0[0] = swap32_S (digest[0]);
 901     w0[1] = swap32_S (digest[1]);
 902     w0[2] = swap32_S (digest[2]);
 903     w0[3] = swap32_S (digest[3]);
 904     w1[0] = 0;
 905     w1[1] = 0;
 906     w1[2] = 0;
 907     w1[3] = 0;
 908     w2[0] = 0;
 909     w2[1] = 0;
 910     w2[2] = 0;
 911     w2[3] = 0;
 912     w3[0] = 0;
 913     w3[1] = 0;
 914     w3[2] = 0;
 915     w3[3] = 0;
 916
 917     hmac_md5_pad_S (w0, w1, w2, w3, ipad, opad);
 918
 919     int eapol_size = wpa_bufs[salt_pos].eapol_size;
 920
 921     int eapol_left;
 922     int eapol_off;
 923
 924     for (eapol_left = eapol_size, eapol_off = 0; eapol_left >= 56; eapol_left -= 64, eapol_off += 16)
 925     {
 926       w0[0] = wpa_bufs[salt_pos].eapol[eapol_off +  0];
 927       w0[1] = wpa_bufs[salt_pos].eapol[eapol_off +  1];
 928       w0[2] = wpa_bufs[salt_pos].eapol[eapol_off +  2];
 929       w0[3] = wpa_bufs[salt_pos].eapol[eapol_off +  3];
 930       w1[0] = wpa_bufs[salt_pos].eapol[eapol_off +  4];
 931       w1[1] = wpa_bufs[salt_pos].eapol[eapol_off +  5];
 932       w1[2] = wpa_bufs[salt_pos].eapol[eapol_off +  6];
 933       w1[3] = wpa_bufs[salt_pos].eapol[eapol_off +  7];
 934       w2[0] = wpa_bufs[salt_pos].eapol[eapol_off +  8];
 935       w2[1] = wpa_bufs[salt_pos].eapol[eapol_off +  9];
 936       w2[2] = wpa_bufs[salt_pos].eapol[eapol_off + 10];
 937       w2[3] = wpa_bufs[salt_pos].eapol[eapol_off + 11];
 938       w3[0] = wpa_bufs[salt_pos].eapol[eapol_off + 12];
 939       w3[1] = wpa_bufs[salt_pos].eapol[eapol_off + 13];
 940       w3[2] = wpa_bufs[salt_pos].eapol[eapol_off + 14];
 941       w3[3] = wpa_bufs[salt_pos].eapol[eapol_off + 15];
 942
 943       md5_transform_S (w0, w1, w2, w3, ipad);
 944     }
 945
 946     w0[0] = wpa_bufs[salt_pos].eapol[eapol_off +  0];
 947     w0[1] = wpa_bufs[salt_pos].eapol[eapol_off +  1];
 948     w0[2] = wpa_bufs[salt_pos].eapol[eapol_off +  2];
 949     w0[3] = wpa_bufs[salt_pos].eapol[eapol_off +  3];
 950     w1[0] = wpa_bufs[salt_pos].eapol[eapol_off +  4];
 951     w1[1] = wpa_bufs[salt_pos].eapol[eapol_off +  5];
 952     w1[2] = wpa_bufs[salt_pos].eapol[eapol_off +  6];
 953     w1[3] = wpa_bufs[salt_pos].eapol[eapol_off +  7];
 954     w2[0] = wpa_bufs[salt_pos].eapol[eapol_off +  8];
 955     w2[1] = wpa_bufs[salt_pos].eapol[eapol_off +  9];
 956     w2[2] = wpa_bufs[salt_pos].eapol[eapol_off + 10];
 957     w2[3] = wpa_bufs[salt_pos].eapol[eapol_off + 11];
 958     w3[0] = wpa_bufs[salt_pos].eapol[eapol_off + 12];
 959     w3[1] = wpa_bufs[salt_pos].eapol[eapol_off + 13];
 960     w3[2] = (64 + eapol_size) * 8;
 961     w3[3] = 0;
 962
 963     u32 digest1[4];
 964
 965     hmac_md5_run_S (w0, w1, w2, w3, ipad, opad, digest1);
 966
 967     /**
 968      * base
 969      */
 970
 971     #define il_pos 0
 972
 973     const u32 r0 = digest1[DGST_R0];
 974     const u32 r1 = digest1[DGST_R1];
 975     const u32 r2 = digest1[DGST_R2];
 976     const u32 r3 = digest1[DGST_R3];
 977
 978     #include COMPARE_M
 979   }
 980
 981   {
 982     w0[0] = digest[0];
 983     w0[1] = digest[1];
 984     w0[2] = digest[2];
 985     w0[3] = digest[3];
 986     w1[0] = 0;
 987     w1[1] = 0;
 988     w1[2] = 0;
 989     w1[3] = 0;
 990     w2[0] = 0;
 991     w2[1] = 0;
 992     w2[2] = 0;
 993     w2[3] = 0;
 994     w3[0] = 0;
 995     w3[1] = 0;
 996     w3[2] = 0;
 997     w3[3] = 0;
 998
 999     hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
1000
1001     int eapol_size = wpa_bufs[salt_pos].eapol_size;
1002
1003     int eapol_left;
1004     int eapol_off;
1005
1006     for (eapol_left = eapol_size, eapol_off = 0; eapol_left >= 56; eapol_left -= 64, eapol_off += 16)
1007     {
1008       w0[0] = wpa_bufs[salt_pos].eapol[eapol_off +  0];
1009       w0[1] = wpa_bufs[salt_pos].eapol[eapol_off +  1];
1010       w0[2] = wpa_bufs[salt_pos].eapol[eapol_off +  2];
1011       w0[3] = wpa_bufs[salt_pos].eapol[eapol_off +  3];
1012       w1[0] = wpa_bufs[salt_pos].eapol[eapol_off +  4];
1013       w1[1] = wpa_bufs[salt_pos].eapol[eapol_off +  5];
1014       w1[2] = wpa_bufs[salt_pos].eapol[eapol_off +  6];
1015       w1[3] = wpa_bufs[salt_pos].eapol[eapol_off +  7];
1016       w2[0] = wpa_bufs[salt_pos].eapol[eapol_off +  8];
1017       w2[1] = wpa_bufs[salt_pos].eapol[eapol_off +  9];
1018       w2[2] = wpa_bufs[salt_pos].eapol[eapol_off + 10];
1019       w2[3] = wpa_bufs[salt_pos].eapol[eapol_off + 11];
1020       w3[0] = wpa_bufs[salt_pos].eapol[eapol_off + 12];
1021       w3[1] = wpa_bufs[salt_pos].eapol[eapol_off + 13];
1022       w3[2] = wpa_bufs[salt_pos].eapol[eapol_off + 14];
1023       w3[3] = wpa_bufs[salt_pos].eapol[eapol_off + 15];
1024
1025       sha1_transform_S (w0, w1, w2, w3, ipad);
1026     }
1027
1028     w0[0] = wpa_bufs[salt_pos].eapol[eapol_off +  0];
1029     w0[1] = wpa_bufs[salt_pos].eapol[eapol_off +  1];
1030     w0[2] = wpa_bufs[salt_pos].eapol[eapol_off +  2];
1031     w0[3] = wpa_bufs[salt_pos].eapol[eapol_off +  3];
1032     w1[0] = wpa_bufs[salt_pos].eapol[eapol_off +  4];
1033     w1[1] = wpa_bufs[salt_pos].eapol[eapol_off +  5];
1034     w1[2] = wpa_bufs[salt_pos].eapol[eapol_off +  6];
1035     w1[3] = wpa_bufs[salt_pos].eapol[eapol_off +  7];
1036     w2[0] = wpa_bufs[salt_pos].eapol[eapol_off +  8];
1037     w2[1] = wpa_bufs[salt_pos].eapol[eapol_off +  9];
1038     w2[2] = wpa_bufs[salt_pos].eapol[eapol_off + 10];
1039     w2[3] = wpa_bufs[salt_pos].eapol[eapol_off + 11];
1040     w3[0] = wpa_bufs[salt_pos].eapol[eapol_off + 12];
1041     w3[1] = wpa_bufs[salt_pos].eapol[eapol_off + 13];
1042     w3[2] = 0;
1043     w3[3] = (64 + eapol_size) * 8;
1044
1045     u32 digest2[5];
1046
1047     hmac_sha1_run_S (w0, w1, w2, w3, ipad, opad, digest2);
1048
1049     /**
1050      * base
1051      */
1052
1053     #define il_pos 0
1054
1055     const u32 r0 = digest2[DGST_R0];
1056     const u32 r1 = digest2[DGST_R1];
1057     const u32 r2 = digest2[DGST_R2];
1058     const u32 r3 = digest2[DGST_R3];
1059
1060     #include COMPARE_M
1061   }
1062 }