OpenCL/m13600.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _ZIP2_
   7
   8 #include "inc_vendor.cl"
   9 #include "inc_hash_constants.h"
  10 #include "inc_hash_functions.cl"
  11
  12 #include "inc_types.cl"
  13 #include "inc_common.cl"
  14
  15 #define COMPARE_S "inc_comp_single.cl"
  16 #define COMPARE_M "inc_comp_multi.cl"
  17
  18 void sha1_transform (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  19 {
  20   u32 A = digest[0];
  21   u32 B = digest[1];
  22   u32 C = digest[2];
  23   u32 D = digest[3];
  24   u32 E = digest[4];
  25
  26   u32 w0_t = w0[0];
  27   u32 w1_t = w0[1];
  28   u32 w2_t = w0[2];
  29   u32 w3_t = w0[3];
  30   u32 w4_t = w1[0];
  31   u32 w5_t = w1[1];
  32   u32 w6_t = w1[2];
  33   u32 w7_t = w1[3];
  34   u32 w8_t = w2[0];
  35   u32 w9_t = w2[1];
  36   u32 wa_t = w2[2];
  37   u32 wb_t = w2[3];
  38   u32 wc_t = w3[0];
  39   u32 wd_t = w3[1];
  40   u32 we_t = w3[2];
  41   u32 wf_t = w3[3];
  42
  43   #undef K
  44   #define K SHA1C00
  45
  46   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
  47   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
  48   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
  49   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
  50   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
  51   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
  52   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
  53   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
  54   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
  55   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
  56   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
  57   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
  58   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
  59   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
  60   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
  61   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
  62   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
  63   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
  64   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
  65   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
  66
  67   #undef K
  68   #define K SHA1C01
  69
  70   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
  71   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
  72   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
  73   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
  74   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
  75   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
  76   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
  77   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
  78   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
  79   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
  80   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
  81   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
  82   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
  83   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
  84   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
  85   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
  86   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
  87   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
  88   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
  89   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
  90
  91   #undef K
  92   #define K SHA1C02
  93
  94   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
  95   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
  96   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
  97   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
  98   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
  99   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 100   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 101   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 102   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 103   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 104   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 105   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 106   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 107   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 108   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 109   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 110   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 111   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 112   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 113   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 114
 115   #undef K
 116   #define K SHA1C03
 117
 118   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 119   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 120   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 121   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 122   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 123   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 124   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 125   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 126   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 127   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 128   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 129   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 130   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 131   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 132   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 133   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 134   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 135   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 136   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 137   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 138
 139   digest[0] += A;
 140   digest[1] += B;
 141   digest[2] += C;
 142   digest[3] += D;
 143   digest[4] += E;
 144 }
 145
 146 void hmac_sha1_pad (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5])
 147 {
 148   w0[0] = w0[0] ^ 0x36363636;
 149   w0[1] = w0[1] ^ 0x36363636;
 150   w0[2] = w0[2] ^ 0x36363636;
 151   w0[3] = w0[3] ^ 0x36363636;
 152   w1[0] = w1[0] ^ 0x36363636;
 153   w1[1] = w1[1] ^ 0x36363636;
 154   w1[2] = w1[2] ^ 0x36363636;
 155   w1[3] = w1[3] ^ 0x36363636;
 156   w2[0] = w2[0] ^ 0x36363636;
 157   w2[1] = w2[1] ^ 0x36363636;
 158   w2[2] = w2[2] ^ 0x36363636;
 159   w2[3] = w2[3] ^ 0x36363636;
 160   w3[0] = w3[0] ^ 0x36363636;
 161   w3[1] = w3[1] ^ 0x36363636;
 162   w3[2] = w3[2] ^ 0x36363636;
 163   w3[3] = w3[3] ^ 0x36363636;
 164
 165   ipad[0] = SHA1M_A;
 166   ipad[1] = SHA1M_B;
 167   ipad[2] = SHA1M_C;
 168   ipad[3] = SHA1M_D;
 169   ipad[4] = SHA1M_E;
 170
 171   sha1_transform (w0, w1, w2, w3, ipad);
 172
 173   w0[0] = w0[0] ^ 0x6a6a6a6a;
 174   w0[1] = w0[1] ^ 0x6a6a6a6a;
 175   w0[2] = w0[2] ^ 0x6a6a6a6a;
 176   w0[3] = w0[3] ^ 0x6a6a6a6a;
 177   w1[0] = w1[0] ^ 0x6a6a6a6a;
 178   w1[1] = w1[1] ^ 0x6a6a6a6a;
 179   w1[2] = w1[2] ^ 0x6a6a6a6a;
 180   w1[3] = w1[3] ^ 0x6a6a6a6a;
 181   w2[0] = w2[0] ^ 0x6a6a6a6a;
 182   w2[1] = w2[1] ^ 0x6a6a6a6a;
 183   w2[2] = w2[2] ^ 0x6a6a6a6a;
 184   w2[3] = w2[3] ^ 0x6a6a6a6a;
 185   w3[0] = w3[0] ^ 0x6a6a6a6a;
 186   w3[1] = w3[1] ^ 0x6a6a6a6a;
 187   w3[2] = w3[2] ^ 0x6a6a6a6a;
 188   w3[3] = w3[3] ^ 0x6a6a6a6a;
 189
 190   opad[0] = SHA1M_A;
 191   opad[1] = SHA1M_B;
 192   opad[2] = SHA1M_C;
 193   opad[3] = SHA1M_D;
 194   opad[4] = SHA1M_E;
 195
 196   sha1_transform (w0, w1, w2, w3, opad);
 197 }
 198
 199 void hmac_sha1_run (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5], u32 digest[5])
 200 {
 201   digest[0] = ipad[0];
 202   digest[1] = ipad[1];
 203   digest[2] = ipad[2];
 204   digest[3] = ipad[3];
 205   digest[4] = ipad[4];
 206
 207   sha1_transform (w0, w1, w2, w3, digest);
 208
 209   w0[0] = digest[0];
 210   w0[1] = digest[1];
 211   w0[2] = digest[2];
 212   w0[3] = digest[3];
 213   w1[0] = digest[4];
 214   w1[1] = 0x80000000;
 215   w1[2] = 0;
 216   w1[3] = 0;
 217   w2[0] = 0;
 218   w2[1] = 0;
 219   w2[2] = 0;
 220   w2[3] = 0;
 221   w3[0] = 0;
 222   w3[1] = 0;
 223   w3[2] = 0;
 224   w3[3] = (64 + 20) * 8;
 225
 226   digest[0] = opad[0];
 227   digest[1] = opad[1];
 228   digest[2] = opad[2];
 229   digest[3] = opad[3];
 230   digest[4] = opad[4];
 231
 232   sha1_transform (w0, w1, w2, w3, digest);
 233 }
 234
 235 __kernel void m13600_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global zip2_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 236 {
 237   /**
 238    * base
 239    */
 240
 241   const u32 gid = get_global_id (0);
 242
 243   if (gid >= gid_max) return;
 244
 245   u32 w0[4];
 246
 247   w0[0] = swap32 (pws[gid].i[ 0]);
 248   w0[1] = swap32 (pws[gid].i[ 1]);
 249   w0[2] = swap32 (pws[gid].i[ 2]);
 250   w0[3] = swap32 (pws[gid].i[ 3]);
 251
 252   u32 w1[4];
 253
 254   w1[0] = swap32 (pws[gid].i[ 4]);
 255   w1[1] = swap32 (pws[gid].i[ 5]);
 256   w1[2] = swap32 (pws[gid].i[ 6]);
 257   w1[3] = swap32 (pws[gid].i[ 7]);
 258
 259   u32 w2[4];
 260
 261   w2[0] = swap32 (pws[gid].i[ 8]);
 262   w2[1] = swap32 (pws[gid].i[ 9]);
 263   w2[2] = swap32 (pws[gid].i[10]);
 264   w2[3] = swap32 (pws[gid].i[11]);
 265
 266   u32 w3[4];
 267
 268   w3[0] = swap32 (pws[gid].i[12]);
 269   w3[1] = swap32 (pws[gid].i[13]);
 270   w3[2] = swap32 (pws[gid].i[14]);
 271   w3[3] = swap32 (pws[gid].i[15]);
 272
 273   /**
 274    * salt
 275    */
 276
 277   const u32 salt_len = esalt_bufs[salt_pos].salt_len;
 278
 279   u32 ipad[5];
 280   u32 opad[5];
 281
 282   hmac_sha1_pad (w0, w1, w2, w3, ipad, opad);
 283
 284   tmps[gid].ipad[0] = ipad[0];
 285   tmps[gid].ipad[1] = ipad[1];
 286   tmps[gid].ipad[2] = ipad[2];
 287   tmps[gid].ipad[3] = ipad[3];
 288   tmps[gid].ipad[4] = ipad[4];
 289
 290   tmps[gid].opad[0] = opad[0];
 291   tmps[gid].opad[1] = opad[1];
 292   tmps[gid].opad[2] = opad[2];
 293   tmps[gid].opad[3] = opad[3];
 294   tmps[gid].opad[4] = opad[4];
 295
 296   const u32 mode = esalt_bufs[salt_pos].mode;
 297
 298   u32 iter_start;
 299   u32 iter_stop;
 300   u32 count_start;
 301
 302   switch (mode)
 303   {
 304     case 1: iter_start  = 0;
 305             iter_stop   = 2;
 306             count_start = 1;
 307             break;
 308     case 2: iter_start  = 1;
 309             iter_stop   = 3;
 310             count_start = 2;
 311             break;
 312     case 3: iter_start  = 1;
 313             iter_stop   = 4;
 314             count_start = 2;
 315             break;
 316   }
 317
 318   for (u32 i = iter_start, j = count_start; i < iter_stop; i++, j++)
 319   {
 320     const u32 i5 = i * 5;
 321
 322     u32 esalt_buf[16];
 323
 324     esalt_buf[ 0] = swap32 (esalt_bufs[salt_pos].salt_buf[0]);
 325     esalt_buf[ 1] = swap32 (esalt_bufs[salt_pos].salt_buf[1]);
 326     esalt_buf[ 2] = swap32 (esalt_bufs[salt_pos].salt_buf[2]);
 327     esalt_buf[ 3] = swap32 (esalt_bufs[salt_pos].salt_buf[3]);
 328     esalt_buf[ 4] = 0;
 329     esalt_buf[ 5] = 0;
 330     esalt_buf[ 6] = 0;
 331     esalt_buf[ 7] = 0;
 332     esalt_buf[ 8] = 0;
 333     esalt_buf[ 9] = 0;
 334     esalt_buf[10] = 0;
 335     esalt_buf[11] = 0;
 336     esalt_buf[12] = 0;
 337     esalt_buf[13] = 0;
 338     esalt_buf[14] = 0;
 339     esalt_buf[15] = (64 + salt_len + 4) * 8;
 340
 341     switch (mode)
 342     {
 343       case 1: esalt_buf[2] = j;
 344               esalt_buf[3] = 0x80000000;
 345               break;
 346       case 2: esalt_buf[3] = j;
 347               esalt_buf[4] = 0x80000000;
 348               break;
 349       case 3: esalt_buf[4] = j;
 350               esalt_buf[5] = 0x80000000;
 351               break;
 352     }
 353
 354     u32 dgst[5];
 355
 356     hmac_sha1_run (esalt_buf + 0, esalt_buf + 4, esalt_buf + 8, esalt_buf + 12, ipad, opad, dgst);
 357
 358     tmps[gid].dgst[i5 + 0] = dgst[0];
 359     tmps[gid].dgst[i5 + 1] = dgst[1];
 360     tmps[gid].dgst[i5 + 2] = dgst[2];
 361     tmps[gid].dgst[i5 + 3] = dgst[3];
 362     tmps[gid].dgst[i5 + 4] = dgst[4];
 363
 364     tmps[gid].out[i5 + 0] = dgst[0];
 365     tmps[gid].out[i5 + 1] = dgst[1];
 366     tmps[gid].out[i5 + 2] = dgst[2];
 367     tmps[gid].out[i5 + 3] = dgst[3];
 368     tmps[gid].out[i5 + 4] = dgst[4];
 369   }
 370 }
 371
 372 __kernel void m13600_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global zip2_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 373 {
 374   const u32 gid = get_global_id (0);
 375
 376   if (gid >= gid_max) return;
 377
 378   u32 ipad[5];
 379
 380   ipad[0] = tmps[gid].ipad[0];
 381   ipad[1] = tmps[gid].ipad[1];
 382   ipad[2] = tmps[gid].ipad[2];
 383   ipad[3] = tmps[gid].ipad[3];
 384   ipad[4] = tmps[gid].ipad[4];
 385
 386   u32 opad[5];
 387
 388   opad[0] = tmps[gid].opad[0];
 389   opad[1] = tmps[gid].opad[1];
 390   opad[2] = tmps[gid].opad[2];
 391   opad[3] = tmps[gid].opad[3];
 392   opad[4] = tmps[gid].opad[4];
 393
 394   const u32 mode = esalt_bufs[salt_pos].mode;
 395
 396   u32 iter_start;
 397   u32 iter_stop;
 398   u32 count_start;
 399
 400   switch (mode)
 401   {
 402     case 1: iter_start  = 0;
 403             iter_stop   = 2;
 404             count_start = 1;
 405             break;
 406     case 2: iter_start  = 1;
 407             iter_stop   = 3;
 408             count_start = 2;
 409             break;
 410     case 3: iter_start  = 1;
 411             iter_stop   = 4;
 412             count_start = 2;
 413             break;
 414   }
 415
 416   for (u32 i = iter_start, j = count_start; i < iter_stop; i++, j++)
 417   {
 418     const u32 i5 = i * 5;
 419
 420     u32 dgst[5];
 421
 422     dgst[0] = tmps[gid].dgst[i5 + 0];
 423     dgst[1] = tmps[gid].dgst[i5 + 1];
 424     dgst[2] = tmps[gid].dgst[i5 + 2];
 425     dgst[3] = tmps[gid].dgst[i5 + 3];
 426     dgst[4] = tmps[gid].dgst[i5 + 4];
 427
 428     u32 out[5];
 429
 430     out[0] = tmps[gid].out[i5 + 0];
 431     out[1] = tmps[gid].out[i5 + 1];
 432     out[2] = tmps[gid].out[i5 + 2];
 433     out[3] = tmps[gid].out[i5 + 3];
 434     out[4] = tmps[gid].out[i5 + 4];
 435
 436     for (u32 k = 0; k < loop_cnt; k++)
 437     {
 438       u32 w0[4];
 439       u32 w1[4];
 440       u32 w2[4];
 441       u32 w3[4];
 442
 443       w0[0] = dgst[0];
 444       w0[1] = dgst[1];
 445       w0[2] = dgst[2];
 446       w0[3] = dgst[3];
 447       w1[0] = dgst[4];
 448       w1[1] = 0x80000000;
 449       w1[2] = 0;
 450       w1[3] = 0;
 451       w2[0] = 0;
 452       w2[1] = 0;
 453       w2[2] = 0;
 454       w2[3] = 0;
 455       w3[0] = 0;
 456       w3[1] = 0;
 457       w3[2] = 0;
 458       w3[3] = (64 + 20) * 8;
 459
 460       hmac_sha1_run (w0, w1, w2, w3, ipad, opad, dgst);
 461
 462       out[0] ^= dgst[0];
 463       out[1] ^= dgst[1];
 464       out[2] ^= dgst[2];
 465       out[3] ^= dgst[3];
 466       out[4] ^= dgst[4];
 467     }
 468
 469     tmps[gid].dgst[i5 + 0] = dgst[0];
 470     tmps[gid].dgst[i5 + 1] = dgst[1];
 471     tmps[gid].dgst[i5 + 2] = dgst[2];
 472     tmps[gid].dgst[i5 + 3] = dgst[3];
 473     tmps[gid].dgst[i5 + 4] = dgst[4];
 474
 475     tmps[gid].out[i5 + 0] = out[0];
 476     tmps[gid].out[i5 + 1] = out[1];
 477     tmps[gid].out[i5 + 2] = out[2];
 478     tmps[gid].out[i5 + 3] = out[3];
 479     tmps[gid].out[i5 + 4] = out[4];
 480   }
 481 }
 482
 483 __kernel void m13600_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global pbkdf2_sha1_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global zip2_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 484 {
 485   /**
 486    * base
 487    */
 488
 489   const u32 gid = get_global_id (0);
 490
 491   if (gid >= gid_max) return;
 492
 493   const u32 lid = get_local_id (0);
 494
 495   u32 key[8] = { 0 };
 496
 497   const u32 mode = esalt_bufs[salt_pos].mode;
 498
 499   u32 iter_start;
 500   u32 iter_stop;
 501
 502   switch (mode)
 503   {
 504     case 1: iter_start = 4;
 505             iter_stop  = 8;
 506             break;
 507     case 2: iter_start = 6;
 508             iter_stop  = 12;
 509             break;
 510     case 3: iter_start = 8;
 511             iter_stop  = 16;
 512             break;
 513   }
 514
 515   for (int i = iter_start, j = 0; i < iter_stop; i++, j++)
 516   {
 517     key[j] = tmps[gid].out[i];
 518   }
 519
 520   u32 w0[4];
 521   u32 w1[4];
 522   u32 w2[4];
 523   u32 w3[4];
 524
 525   w0[0] = key[0];
 526   w0[1] = key[1];
 527   w0[2] = key[2];
 528   w0[3] = key[3];
 529   w1[0] = key[4];
 530   w1[1] = key[5];
 531   w1[2] = key[6];
 532   w1[3] = key[7];
 533   w2[0] = 0;
 534   w2[1] = 0;
 535   w2[2] = 0;
 536   w2[3] = 0;
 537   w3[0] = 0;
 538   w3[1] = 0;
 539   w3[2] = 0;
 540   w3[3] = 0;
 541
 542   u32 ipad[5];
 543   u32 opad[5];
 544
 545   hmac_sha1_pad (w0, w1, w2, w3, ipad, opad);
 546
 547   int data_len = esalt_bufs[salt_pos].data_len;
 548
 549   int data_left;
 550   int data_off;
 551
 552   for (data_left = data_len, data_off = 0; data_left >= 56; data_left -= 64, data_off += 16)
 553   {
 554     w0[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  0]);
 555     w0[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  1]);
 556     w0[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  2]);
 557     w0[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  3]);
 558     w1[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  4]);
 559     w1[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  5]);
 560     w1[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  6]);
 561     w1[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  7]);
 562     w2[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  8]);
 563     w2[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  9]);
 564     w2[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 10]);
 565     w2[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 11]);
 566     w3[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 12]);
 567     w3[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 13]);
 568     w3[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 14]);
 569     w3[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 15]);
 570
 571     sha1_transform (w0, w1, w2, w3, ipad);
 572   }
 573
 574   w0[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  0]);
 575   w0[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  1]);
 576   w0[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  2]);
 577   w0[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  3]);
 578   w1[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  4]);
 579   w1[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  5]);
 580   w1[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  6]);
 581   w1[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  7]);
 582   w2[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  8]);
 583   w2[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off +  9]);
 584   w2[2] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 10]);
 585   w2[3] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 11]);
 586   w3[0] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 12]);
 587   w3[1] = swap32 (esalt_bufs[salt_pos].data_buf[data_off + 13]);
 588   w3[2] = 0;
 589   w3[3] = (64 + data_len) * 8;
 590
 591   u32 digest[5];
 592
 593   hmac_sha1_run (w0, w1, w2, w3, ipad, opad, digest);
 594
 595   const u32 r0 = swap32 (digest[0] & 0xffffffff);
 596   const u32 r1 = swap32 (digest[1] & 0xffffffff);
 597   const u32 r2 = swap32 (digest[2] & 0xffff0000);
 598   const u32 r3 = swap32 (digest[3] & 0x00000000);
 599
 600   #define il_pos 0
 601
 602   #include COMPARE_M
 603 }