OpenCL/m12000.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _PBKDF2_SHA1_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_vendor.cl"
  11 #include "inc_hash_constants.h"
  12 #include "inc_hash_functions.cl"
  13 #include "inc_types.cl"
  14 #include "inc_common.cl"
  15 #include "inc_simd.cl"
  16
  17 #define COMPARE_S "inc_comp_single.cl"
  18 #define COMPARE_M "inc_comp_multi.cl"
  19
  20 void sha1_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  21 {
  22   u32 A = digest[0];
  23   u32 B = digest[1];
  24   u32 C = digest[2];
  25   u32 D = digest[3];
  26   u32 E = digest[4];
  27
  28   u32 w0_t = w0[0];
  29   u32 w1_t = w0[1];
  30   u32 w2_t = w0[2];
  31   u32 w3_t = w0[3];
  32   u32 w4_t = w1[0];
  33   u32 w5_t = w1[1];
  34   u32 w6_t = w1[2];
  35   u32 w7_t = w1[3];
  36   u32 w8_t = w2[0];
  37   u32 w9_t = w2[1];
  38   u32 wa_t = w2[2];
  39   u32 wb_t = w2[3];
  40   u32 wc_t = w3[0];
  41   u32 wd_t = w3[1];
  42   u32 we_t = w3[2];
  43   u32 wf_t = w3[3];
  44
  45   #undef K
  46   #define K SHA1C00
  47
  48   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w0_t);
  49   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w1_t);
  50   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w2_t);
  51   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w3_t);
  52   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w4_t);
  53   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w5_t);
  54   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w6_t);
  55   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w7_t);
  56   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w8_t);
  57   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w9_t);
  58   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wa_t);
  59   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, wb_t);
  60   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, wc_t);
  61   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, wd_t);
  62   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, we_t);
  63   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wf_t);
  64   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w0_t);
  65   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w1_t);
  66   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w2_t);
  67   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w3_t);
  68
  69   #undef K
  70   #define K SHA1C01
  71
  72   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w4_t);
  73   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w5_t);
  74   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w6_t);
  75   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w7_t);
  76   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w8_t);
  77   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w9_t);
  78   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wa_t);
  79   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wb_t);
  80   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wc_t);
  81   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wd_t);
  82   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, we_t);
  83   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wf_t);
  84   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w0_t);
  85   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w1_t);
  86   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w2_t);
  87   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w3_t);
  88   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w4_t);
  89   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w5_t);
  90   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w6_t);
  91   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w7_t);
  92
  93   #undef K
  94   #define K SHA1C02
  95
  96   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w8_t);
  97   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w9_t);
  98   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wa_t);
  99   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wb_t);
 100   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wc_t);
 101   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, wd_t);
 102   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, we_t);
 103   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wf_t);
 104   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w0_t);
 105   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w1_t);
 106   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w2_t);
 107   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w3_t);
 108   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w4_t);
 109   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w5_t);
 110   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w6_t);
 111   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w7_t);
 112   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w8_t);
 113   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w9_t);
 114   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wa_t);
 115   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wb_t);
 116
 117   #undef K
 118   #define K SHA1C03
 119
 120   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wc_t);
 121   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wd_t);
 122   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, we_t);
 123   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wf_t);
 124   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w0_t);
 125   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w1_t);
 126   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w2_t);
 127   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w3_t);
 128   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w4_t);
 129   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w5_t);
 130   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w6_t);
 131   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w7_t);
 132   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w8_t);
 133   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w9_t);
 134   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wa_t);
 135   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wb_t);
 136   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wc_t);
 137   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wd_t);
 138   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, we_t);
 139   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wf_t);
 140
 141   digest[0] += A;
 142   digest[1] += B;
 143   digest[2] += C;
 144   digest[3] += D;
 145   digest[4] += E;
 146 }
 147
 148 void hmac_sha1_pad_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5])
 149 {
 150   w0[0] = w0[0] ^ 0x36363636;
 151   w0[1] = w0[1] ^ 0x36363636;
 152   w0[2] = w0[2] ^ 0x36363636;
 153   w0[3] = w0[3] ^ 0x36363636;
 154   w1[0] = w1[0] ^ 0x36363636;
 155   w1[1] = w1[1] ^ 0x36363636;
 156   w1[2] = w1[2] ^ 0x36363636;
 157   w1[3] = w1[3] ^ 0x36363636;
 158   w2[0] = w2[0] ^ 0x36363636;
 159   w2[1] = w2[1] ^ 0x36363636;
 160   w2[2] = w2[2] ^ 0x36363636;
 161   w2[3] = w2[3] ^ 0x36363636;
 162   w3[0] = w3[0] ^ 0x36363636;
 163   w3[1] = w3[1] ^ 0x36363636;
 164   w3[2] = w3[2] ^ 0x36363636;
 165   w3[3] = w3[3] ^ 0x36363636;
 166
 167   ipad[0] = SHA1M_A;
 168   ipad[1] = SHA1M_B;
 169   ipad[2] = SHA1M_C;
 170   ipad[3] = SHA1M_D;
 171   ipad[4] = SHA1M_E;
 172
 173   sha1_transform_S (w0, w1, w2, w3, ipad);
 174
 175   w0[0] = w0[0] ^ 0x6a6a6a6a;
 176   w0[1] = w0[1] ^ 0x6a6a6a6a;
 177   w0[2] = w0[2] ^ 0x6a6a6a6a;
 178   w0[3] = w0[3] ^ 0x6a6a6a6a;
 179   w1[0] = w1[0] ^ 0x6a6a6a6a;
 180   w1[1] = w1[1] ^ 0x6a6a6a6a;
 181   w1[2] = w1[2] ^ 0x6a6a6a6a;
 182   w1[3] = w1[3] ^ 0x6a6a6a6a;
 183   w2[0] = w2[0] ^ 0x6a6a6a6a;
 184   w2[1] = w2[1] ^ 0x6a6a6a6a;
 185   w2[2] = w2[2] ^ 0x6a6a6a6a;
 186   w2[3] = w2[3] ^ 0x6a6a6a6a;
 187   w3[0] = w3[0] ^ 0x6a6a6a6a;
 188   w3[1] = w3[1] ^ 0x6a6a6a6a;
 189   w3[2] = w3[2] ^ 0x6a6a6a6a;
 190   w3[3] = w3[3] ^ 0x6a6a6a6a;
 191
 192   opad[0] = SHA1M_A;
 193   opad[1] = SHA1M_B;
 194   opad[2] = SHA1M_C;
 195   opad[3] = SHA1M_D;
 196   opad[4] = SHA1M_E;
 197
 198   sha1_transform_S (w0, w1, w2, w3, opad);
 199 }
 200
 201 void hmac_sha1_run_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5], u32 digest[5])
 202 {
 203   digest[0] = ipad[0];
 204   digest[1] = ipad[1];
 205   digest[2] = ipad[2];
 206   digest[3] = ipad[3];
 207   digest[4] = ipad[4];
 208
 209   sha1_transform_S (w0, w1, w2, w3, digest);
 210
 211   w0[0] = digest[0];
 212   w0[1] = digest[1];
 213   w0[2] = digest[2];
 214   w0[3] = digest[3];
 215   w1[0] = digest[4];
 216   w1[1] = 0x80000000;
 217   w1[2] = 0;
 218   w1[3] = 0;
 219   w2[0] = 0;
 220   w2[1] = 0;
 221   w2[2] = 0;
 222   w2[3] = 0;
 223   w3[0] = 0;
 224   w3[1] = 0;
 225   w3[2] = 0;
 226   w3[3] = (64 + 20) * 8;
 227
 228   digest[0] = opad[0];
 229   digest[1] = opad[1];
 230   digest[2] = opad[2];
 231   digest[3] = opad[3];
 232   digest[4] = opad[4];
 233
 234   sha1_transform_S (w0, w1, w2, w3, digest);
 235 }
 236
 237 void sha1_transform_V (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[5])
 238 {
 239   u32x A = digest[0];
 240   u32x B = digest[1];
 241   u32x C = digest[2];
 242   u32x D = digest[3];
 243   u32x E = digest[4];
 244
 245   u32x w0_t = w0[0];
 246   u32x w1_t = w0[1];
 247   u32x w2_t = w0[2];
 248   u32x w3_t = w0[3];
 249   u32x w4_t = w1[0];
 250   u32x w5_t = w1[1];
 251   u32x w6_t = w1[2];
 252   u32x w7_t = w1[3];
 253   u32x w8_t = w2[0];
 254   u32x w9_t = w2[1];
 255   u32x wa_t = w2[2];
 256   u32x wb_t = w2[3];
 257   u32x wc_t = w3[0];
 258   u32x wd_t = w3[1];
 259   u32x we_t = w3[2];
 260   u32x wf_t = w3[3];
 261
 262   #undef K
 263   #define K SHA1C00
 264
 265   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
 266   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
 267   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
 268   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
 269   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
 270   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
 271   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 272   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 273   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 274   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 275   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 276   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 277   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 278   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 279   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 280   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 281   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 282   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 283   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 284   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 285
 286   #undef K
 287   #define K SHA1C01
 288
 289   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 290   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 291   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 292   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 293   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 294   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 295   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 296   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 297   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 298   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 299   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 300   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 301   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 302   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 303   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 304   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 305   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 306   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 307   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 308   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 309
 310   #undef K
 311   #define K SHA1C02
 312
 313   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 314   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 315   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 316   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 317   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 318   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 319   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 320   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 321   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 322   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 323   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 324   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 325   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 326   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 327   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 328   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 329   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 330   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 331   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 332   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 333
 334   #undef K
 335   #define K SHA1C03
 336
 337   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 338   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 339   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 340   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 341   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 342   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 343   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 344   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 345   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 346   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 347   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 348   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 349   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 350   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 351   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 352   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 353   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 354   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 355   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 356   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 357
 358   digest[0] += A;
 359   digest[1] += B;
 360   digest[2] += C;
 361   digest[3] += D;
 362   digest[4] += E;
 363 }
 364
 365 void hmac_sha1_pad_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5])
 366 {
 367   w0[0] = w0[0] ^ 0x36363636;
 368   w0[1] = w0[1] ^ 0x36363636;
 369   w0[2] = w0[2] ^ 0x36363636;
 370   w0[3] = w0[3] ^ 0x36363636;
 371   w1[0] = w1[0] ^ 0x36363636;
 372   w1[1] = w1[1] ^ 0x36363636;
 373   w1[2] = w1[2] ^ 0x36363636;
 374   w1[3] = w1[3] ^ 0x36363636;
 375   w2[0] = w2[0] ^ 0x36363636;
 376   w2[1] = w2[1] ^ 0x36363636;
 377   w2[2] = w2[2] ^ 0x36363636;
 378   w2[3] = w2[3] ^ 0x36363636;
 379   w3[0] = w3[0] ^ 0x36363636;
 380   w3[1] = w3[1] ^ 0x36363636;
 381   w3[2] = w3[2] ^ 0x36363636;
 382   w3[3] = w3[3] ^ 0x36363636;
 383
 384   ipad[0] = SHA1M_A;
 385   ipad[1] = SHA1M_B;
 386   ipad[2] = SHA1M_C;
 387   ipad[3] = SHA1M_D;
 388   ipad[4] = SHA1M_E;
 389
 390   sha1_transform_V (w0, w1, w2, w3, ipad);
 391
 392   w0[0] = w0[0] ^ 0x6a6a6a6a;
 393   w0[1] = w0[1] ^ 0x6a6a6a6a;
 394   w0[2] = w0[2] ^ 0x6a6a6a6a;
 395   w0[3] = w0[3] ^ 0x6a6a6a6a;
 396   w1[0] = w1[0] ^ 0x6a6a6a6a;
 397   w1[1] = w1[1] ^ 0x6a6a6a6a;
 398   w1[2] = w1[2] ^ 0x6a6a6a6a;
 399   w1[3] = w1[3] ^ 0x6a6a6a6a;
 400   w2[0] = w2[0] ^ 0x6a6a6a6a;
 401   w2[1] = w2[1] ^ 0x6a6a6a6a;
 402   w2[2] = w2[2] ^ 0x6a6a6a6a;
 403   w2[3] = w2[3] ^ 0x6a6a6a6a;
 404   w3[0] = w3[0] ^ 0x6a6a6a6a;
 405   w3[1] = w3[1] ^ 0x6a6a6a6a;
 406   w3[2] = w3[2] ^ 0x6a6a6a6a;
 407   w3[3] = w3[3] ^ 0x6a6a6a6a;
 408
 409   opad[0] = SHA1M_A;
 410   opad[1] = SHA1M_B;
 411   opad[2] = SHA1M_C;
 412   opad[3] = SHA1M_D;
 413   opad[4] = SHA1M_E;
 414
 415   sha1_transform_V (w0, w1, w2, w3, opad);
 416 }
 417
 418 void hmac_sha1_run_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5], u32x digest[5])
 419 {
 420   digest[0] = ipad[0];
 421   digest[1] = ipad[1];
 422   digest[2] = ipad[2];
 423   digest[3] = ipad[3];
 424   digest[4] = ipad[4];
 425
 426   sha1_transform_V (w0, w1, w2, w3, digest);
 427
 428   w0[0] = digest[0];
 429   w0[1] = digest[1];
 430   w0[2] = digest[2];
 431   w0[3] = digest[3];
 432   w1[0] = digest[4];
 433   w1[1] = 0x80000000;
 434   w1[2] = 0;
 435   w1[3] = 0;
 436   w2[0] = 0;
 437   w2[1] = 0;
 438   w2[2] = 0;
 439   w2[3] = 0;
 440   w3[0] = 0;
 441   w3[1] = 0;
 442   w3[2] = 0;
 443   w3[3] = (64 + 20) * 8;
 444
 445   digest[0] = opad[0];
 446   digest[1] = opad[1];
 447   digest[2] = opad[2];
 448   digest[3] = opad[3];
 449   digest[4] = opad[4];
 450
 451   sha1_transform_V (w0, w1, w2, w3, digest);
 452 }
 453
 454 __kernel void m12000_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 455 {
 456   /**
 457    * base
 458    */
 459
 460   const u32 gid = get_global_id (0);
 461
 462   if (gid >= gid_max) return;
 463
 464   u32 w0[4];
 465
 466   w0[0] = swap32_S (pws[gid].i[ 0]);
 467   w0[1] = swap32_S (pws[gid].i[ 1]);
 468   w0[2] = swap32_S (pws[gid].i[ 2]);
 469   w0[3] = swap32_S (pws[gid].i[ 3]);
 470
 471   u32 w1[4];
 472
 473   w1[0] = swap32_S (pws[gid].i[ 4]);
 474   w1[1] = swap32_S (pws[gid].i[ 5]);
 475   w1[2] = swap32_S (pws[gid].i[ 6]);
 476   w1[3] = swap32_S (pws[gid].i[ 7]);
 477
 478   u32 w2[4];
 479
 480   w2[0] = swap32_S (pws[gid].i[ 8]);
 481   w2[1] = swap32_S (pws[gid].i[ 9]);
 482   w2[2] = swap32_S (pws[gid].i[10]);
 483   w2[3] = swap32_S (pws[gid].i[11]);
 484
 485   u32 w3[4];
 486
 487   w3[0] = swap32_S (pws[gid].i[12]);
 488   w3[1] = swap32_S (pws[gid].i[13]);
 489   w3[2] = swap32_S (pws[gid].i[14]);
 490   w3[3] = swap32_S (pws[gid].i[15]);
 491
 492   /**
 493    * salt
 494    */
 495
 496   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 497
 498   u32 esalt_buf0[4];
 499   u32 esalt_buf1[4];
 500   u32 esalt_buf2[4];
 501   u32 esalt_buf3[4];
 502
 503   esalt_buf0[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 0]);
 504   esalt_buf0[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 1]);
 505   esalt_buf0[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 2]);
 506   esalt_buf0[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 3]);
 507   esalt_buf1[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 4]);
 508   esalt_buf1[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 5]);
 509   esalt_buf1[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 6]);
 510   esalt_buf1[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 7]);
 511   esalt_buf2[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 8]);
 512   esalt_buf2[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[ 9]);
 513   esalt_buf2[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[10]);
 514   esalt_buf2[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[11]);
 515   esalt_buf3[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[12]);
 516   esalt_buf3[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[13]);
 517   esalt_buf3[2] = 0;
 518   esalt_buf3[3] = (64 + salt_len + 4) * 8;
 519
 520   u32 ipad[5];
 521   u32 opad[5];
 522
 523   hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
 524
 525   tmps[gid].ipad[0] = ipad[0];
 526   tmps[gid].ipad[1] = ipad[1];
 527   tmps[gid].ipad[2] = ipad[2];
 528   tmps[gid].ipad[3] = ipad[3];
 529   tmps[gid].ipad[4] = ipad[4];
 530
 531   tmps[gid].opad[0] = opad[0];
 532   tmps[gid].opad[1] = opad[1];
 533   tmps[gid].opad[2] = opad[2];
 534   tmps[gid].opad[3] = opad[3];
 535   tmps[gid].opad[4] = opad[4];
 536
 537   for (u32 i = 0, j = 1; i < 5; i += 5, j += 1)
 538   {
 539     u32 dgst[5];
 540
 541     hmac_sha1_run_S (esalt_buf0, esalt_buf1, esalt_buf2, esalt_buf3, ipad, opad, dgst);
 542
 543     tmps[gid].dgst[i + 0] = dgst[0];
 544     tmps[gid].dgst[i + 1] = dgst[1];
 545     tmps[gid].dgst[i + 2] = dgst[2];
 546     tmps[gid].dgst[i + 3] = dgst[3];
 547     tmps[gid].dgst[i + 4] = dgst[4];
 548
 549     tmps[gid].out[i + 0] = dgst[0];
 550     tmps[gid].out[i + 1] = dgst[1];
 551     tmps[gid].out[i + 2] = dgst[2];
 552     tmps[gid].out[i + 3] = dgst[3];
 553     tmps[gid].out[i + 4] = dgst[4];
 554   }
 555 }
 556
 557 __kernel void m12000_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 558 {
 559   const u32 gid = get_global_id (0);
 560
 561   if (gid >= gid_max) return;
 562
 563   u32x ipad[5];
 564   u32x opad[5];
 565
 566   ipad[0] = packv (tmps, ipad, gid, 0);
 567   ipad[1] = packv (tmps, ipad, gid, 1);
 568   ipad[2] = packv (tmps, ipad, gid, 2);
 569   ipad[3] = packv (tmps, ipad, gid, 3);
 570   ipad[4] = packv (tmps, ipad, gid, 4);
 571
 572   opad[0] = packv (tmps, opad, gid, 0);
 573   opad[1] = packv (tmps, opad, gid, 1);
 574   opad[2] = packv (tmps, opad, gid, 2);
 575   opad[3] = packv (tmps, opad, gid, 3);
 576   opad[4] = packv (tmps, opad, gid, 4);
 577
 578   for (u32 i = 0; i < 5; i += 5)
 579   {
 580     u32x dgst[5];
 581     u32x out[5];
 582
 583     dgst[0] = packv (tmps, dgst, gid, 0);
 584     dgst[1] = packv (tmps, dgst, gid, 1);
 585     dgst[2] = packv (tmps, dgst, gid, 2);
 586     dgst[3] = packv (tmps, dgst, gid, 3);
 587     dgst[4] = packv (tmps, dgst, gid, 4);
 588
 589     out[0] = packv (tmps, out, gid, 0);
 590     out[1] = packv (tmps, out, gid, 1);
 591     out[2] = packv (tmps, out, gid, 2);
 592     out[3] = packv (tmps, out, gid, 3);
 593     out[4] = packv (tmps, out, gid, 4);
 594
 595     for (u32 j = 0; j < loop_cnt; j++)
 596     {
 597       u32x w0[4];
 598       u32x w1[4];
 599       u32x w2[4];
 600       u32x w3[4];
 601
 602       w0[0] = dgst[0];
 603       w0[1] = dgst[1];
 604       w0[2] = dgst[2];
 605       w0[3] = dgst[3];
 606       w1[0] = dgst[4];
 607       w1[1] = 0x80000000;
 608       w1[2] = 0;
 609       w1[3] = 0;
 610       w2[0] = 0;
 611       w2[1] = 0;
 612       w2[2] = 0;
 613       w2[3] = 0;
 614       w3[0] = 0;
 615       w3[1] = 0;
 616       w3[2] = 0;
 617       w3[3] = (64 + 20) * 8;
 618
 619       hmac_sha1_run_V (w0, w1, w2, w3, ipad, opad, dgst);
 620
 621       out[0] ^= dgst[0];
 622       out[1] ^= dgst[1];
 623       out[2] ^= dgst[2];
 624       out[3] ^= dgst[3];
 625       out[4] ^= dgst[4];
 626     }
 627
 628     unpackv (tmps, dgst, gid, 0, dgst[0]);
 629     unpackv (tmps, dgst, gid, 1, dgst[1]);
 630     unpackv (tmps, dgst, gid, 2, dgst[2]);
 631     unpackv (tmps, dgst, gid, 3, dgst[3]);
 632     unpackv (tmps, dgst, gid, 4, dgst[4]);
 633
 634     unpackv (tmps, out, gid, 0, out[0]);
 635     unpackv (tmps, out, gid, 1, out[1]);
 636     unpackv (tmps, out, gid, 2, out[2]);
 637     unpackv (tmps, out, gid, 3, out[3]);
 638     unpackv (tmps, out, gid, 4, out[4]);
 639   }
 640 }
 641
 642 __kernel void m12000_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pbkdf2_sha1_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 643 {
 644   /**
 645    * base
 646    */
 647
 648   const u32 gid = get_global_id (0);
 649
 650   if (gid >= gid_max) return;
 651
 652   const u32 lid = get_local_id (0);
 653
 654   const u32 r0 = tmps[gid].out[DGST_R0];
 655   const u32 r1 = tmps[gid].out[DGST_R1];
 656   const u32 r2 = tmps[gid].out[DGST_R2];
 657   const u32 r3 = tmps[gid].out[DGST_R3];
 658
 659   #define il_pos 0
 660
 661   #include COMPARE_M
 662 }