OpenCL/m08400_a3.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _SHA1_
  10
  11 #define NEW_SIMD_CODE
  12
  13 #include "inc_vendor.cl"
  14 #include "inc_hash_constants.h"
  15 #include "inc_hash_functions.cl"
  16 #include "inc_types.cl"
  17 #include "inc_common.cl"
  18 #include "inc_simd.cl"
  19
  20 #if   VECT_SIZE == 1
  21 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i)])
  22 #elif VECT_SIZE == 2
  23 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1])
  24 #elif VECT_SIZE == 4
  25 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3])
  26 #elif VECT_SIZE == 8
  27 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7])
  28 #elif VECT_SIZE == 16
  29 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7], l_bin2asc[(i).s8], l_bin2asc[(i).s9], l_bin2asc[(i).sa], l_bin2asc[(i).sb], l_bin2asc[(i).sc], l_bin2asc[(i).sd], l_bin2asc[(i).se], l_bin2asc[(i).sf])
  30 #endif
  31
  32 void sha1_transform (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[5])
  33 {
  34   u32x A = digest[0];
  35   u32x B = digest[1];
  36   u32x C = digest[2];
  37   u32x D = digest[3];
  38   u32x E = digest[4];
  39
  40   u32x w0_t = w0[0];
  41   u32x w1_t = w0[1];
  42   u32x w2_t = w0[2];
  43   u32x w3_t = w0[3];
  44   u32x w4_t = w1[0];
  45   u32x w5_t = w1[1];
  46   u32x w6_t = w1[2];
  47   u32x w7_t = w1[3];
  48   u32x w8_t = w2[0];
  49   u32x w9_t = w2[1];
  50   u32x wa_t = w2[2];
  51   u32x wb_t = w2[3];
  52   u32x wc_t = w3[0];
  53   u32x wd_t = w3[1];
  54   u32x we_t = w3[2];
  55   u32x wf_t = w3[3];
  56
  57   #undef K
  58   #define K SHA1C00
  59
  60   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
  61   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
  62   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
  63   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
  64   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
  65   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
  66   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
  67   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
  68   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
  69   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
  70   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
  71   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
  72   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
  73   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
  74   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
  75   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
  76   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
  77   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
  78   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
  79   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
  80
  81   #undef K
  82   #define K SHA1C01
  83
  84   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
  85   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
  86   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
  87   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
  88   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
  89   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
  90   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
  91   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
  92   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
  93   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
  94   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
  95   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
  96   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
  97   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
  98   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
  99   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 100   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 101   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 102   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 103   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 104
 105   #undef K
 106   #define K SHA1C02
 107
 108   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 109   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 110   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 111   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 112   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 113   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 114   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 115   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 116   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 117   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 118   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 119   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 120   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 121   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 122   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 123   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 124   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 125   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 126   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 127   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 128
 129   #undef K
 130   #define K SHA1C03
 131
 132   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 133   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 134   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 135   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 136   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 137   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 138   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 139   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 140   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 141   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 142   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 143   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 144   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 145   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 146   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 147   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 148   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 149   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 150   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 151   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 152
 153   digest[0] += A;
 154   digest[1] += B;
 155   digest[2] += C;
 156   digest[3] += D;
 157   digest[4] += E;
 158 }
 159
 160 void m08400m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 *l_bin2asc)
 161 {
 162   /**
 163    * modifier
 164    */
 165
 166   const u32 gid = get_global_id (0);
 167   const u32 lid = get_local_id (0);
 168
 169   /**
 170    * salt
 171    */
 172
 173   u32 salt_buf0[4];
 174   u32 salt_buf1[4];
 175   u32 salt_buf2[4];
 176
 177   salt_buf0[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 0]);
 178   salt_buf0[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 1]);
 179   salt_buf0[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 2]);
 180   salt_buf0[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 3]);
 181   salt_buf1[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 4]);
 182   salt_buf1[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 5]);
 183   salt_buf1[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 6]);
 184   salt_buf1[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 7]);
 185   salt_buf2[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 8]);
 186   salt_buf2[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 9]);
 187   salt_buf2[2] = 0;
 188   salt_buf2[3] = 0;
 189
 190   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 191
 192   /**
 193    * loop
 194    */
 195
 196   u32 w0l = w0[0];
 197
 198   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 199   {
 200     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 201
 202     const u32x w0lr = w0l | w0r;
 203
 204     u32x w0_t[4];
 205     u32x w1_t[4];
 206     u32x w2_t[4];
 207     u32x w3_t[4];
 208
 209     w0_t[0] = w0lr;
 210     w0_t[1] = w0[1];
 211     w0_t[2] = w0[2];
 212     w0_t[3] = w0[3];
 213     w1_t[0] = w1[0];
 214     w1_t[1] = w1[1];
 215     w1_t[2] = w1[2];
 216     w1_t[3] = w1[3];
 217     w2_t[0] = w2[0];
 218     w2_t[1] = w2[1];
 219     w2_t[2] = w2[2];
 220     w2_t[3] = w2[3];
 221     w3_t[0] = w3[0];
 222     w3_t[1] = w3[1];
 223     w3_t[2] = 0;
 224     w3_t[3] = pw_len * 8;
 225
 226     /**
 227      * SHA1
 228      */
 229
 230     u32x digest[5];
 231
 232     digest[0] = SHA1M_A;
 233     digest[1] = SHA1M_B;
 234     digest[2] = SHA1M_C;
 235     digest[3] = SHA1M_D;
 236     digest[4] = SHA1M_E;
 237
 238     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 239
 240     u32x a;
 241     u32x b;
 242     u32x c;
 243     u32x d;
 244     u32x e;
 245
 246     a = digest[0];
 247     b = digest[1];
 248     c = digest[2];
 249     d = digest[3];
 250     e = digest[4];
 251
 252     w0_t[0] = salt_buf0[0];
 253     w0_t[1] = salt_buf0[1];
 254     w0_t[2] = salt_buf0[2];
 255     w0_t[3] = salt_buf0[3];
 256     w1_t[0] = salt_buf1[0];
 257     w1_t[1] = salt_buf1[1];
 258     w1_t[2] = salt_buf1[2];
 259     w1_t[3] = salt_buf1[3];
 260     w2_t[0] = salt_buf2[0];
 261     w2_t[1] = salt_buf2[1];
 262     w2_t[2] = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 263             | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 264     w2_t[3] = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 265             | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 266     w3_t[0] = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 267             | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 268     w3_t[1] = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 269             | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 270     w3_t[2] = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 271             | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 272     w3_t[3] = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 273             | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 274
 275     digest[0] = SHA1M_A;
 276     digest[1] = SHA1M_B;
 277     digest[2] = SHA1M_C;
 278     digest[3] = SHA1M_D;
 279     digest[4] = SHA1M_E;
 280
 281     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 282
 283     w0_t[0] = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 284             | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 285     w0_t[1] = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 286             | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 287     w0_t[2] = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 288             | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 289     w0_t[3] = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 290             | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 291     w1_t[0] = 0x80000000;
 292     w1_t[1] = 0;
 293     w1_t[2] = 0;
 294     w1_t[3] = 0;
 295     w2_t[0] = 0;
 296     w2_t[1] = 0;
 297     w2_t[2] = 0;
 298     w2_t[3] = 0;
 299     w3_t[0] = 0;
 300     w3_t[1] = 0;
 301     w3_t[2] = 0;
 302     w3_t[3] = (salt_len + 40) * 8;
 303
 304     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 305
 306     a = digest[0];
 307     b = digest[1];
 308     c = digest[2];
 309     d = digest[3];
 310     e = digest[4];
 311
 312     w0_t[0] = salt_buf0[0];
 313     w0_t[1] = salt_buf0[1];
 314     w0_t[2] = salt_buf0[2];
 315     w0_t[3] = salt_buf0[3];
 316     w1_t[0] = salt_buf1[0];
 317     w1_t[1] = salt_buf1[1];
 318     w1_t[2] = salt_buf1[2];
 319     w1_t[3] = salt_buf1[3];
 320     w2_t[0] = salt_buf2[0];
 321     w2_t[1] = salt_buf2[1];
 322     w2_t[2] = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 323             | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 324     w2_t[3] = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 325             | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 326     w3_t[0] = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 327             | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 328     w3_t[1] = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 329             | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 330     w3_t[2] = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 331             | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 332     w3_t[3] = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 333             | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 334
 335     digest[0] = SHA1M_A;
 336     digest[1] = SHA1M_B;
 337     digest[2] = SHA1M_C;
 338     digest[3] = SHA1M_D;
 339     digest[4] = SHA1M_E;
 340
 341     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 342
 343     w0_t[0] = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 344             | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 345     w0_t[1] = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 346             | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 347     w0_t[2] = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 348             | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 349     w0_t[3] = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 350             | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 351     w1_t[0] = 0x80000000;
 352     w1_t[1] = 0;
 353     w1_t[2] = 0;
 354     w1_t[3] = 0;
 355     w2_t[0] = 0;
 356     w2_t[1] = 0;
 357     w2_t[2] = 0;
 358     w2_t[3] = 0;
 359     w3_t[0] = 0;
 360     w3_t[1] = 0;
 361     w3_t[2] = 0;
 362     w3_t[3] = (salt_len + 40) * 8;
 363
 364     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 365
 366     COMPARE_M_SIMD (digest[3], digest[4], digest[2], digest[1]);
 367   }
 368 }
 369
 370 void m08400s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 *l_bin2asc)
 371 {
 372   /**
 373    * modifier
 374    */
 375
 376   const u32 gid = get_global_id (0);
 377   const u32 lid = get_local_id (0);
 378
 379   /**
 380    * salt
 381    */
 382
 383   u32 salt_buf0[4];
 384   u32 salt_buf1[4];
 385   u32 salt_buf2[4];
 386
 387   salt_buf0[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 0]);
 388   salt_buf0[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 1]);
 389   salt_buf0[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 2]);
 390   salt_buf0[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 3]);
 391   salt_buf1[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 4]);
 392   salt_buf1[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 5]);
 393   salt_buf1[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 6]);
 394   salt_buf1[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 7]);
 395   salt_buf2[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 8]);
 396   salt_buf2[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 9]);
 397   salt_buf2[2] = 0;
 398   salt_buf2[3] = 0;
 399
 400   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 401
 402   /**
 403    * digest
 404    */
 405
 406   const u32 search[4] =
 407   {
 408     digests_buf[digests_offset].digest_buf[DGST_R0],
 409     digests_buf[digests_offset].digest_buf[DGST_R1],
 410     digests_buf[digests_offset].digest_buf[DGST_R2],
 411     digests_buf[digests_offset].digest_buf[DGST_R3]
 412   };
 413
 414   /**
 415    * loop
 416    */
 417
 418   u32 w0l = w0[0];
 419
 420   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 421   {
 422     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 423
 424     const u32x w0lr = w0l | w0r;
 425
 426     u32x w0_t[4];
 427     u32x w1_t[4];
 428     u32x w2_t[4];
 429     u32x w3_t[4];
 430
 431     w0_t[0] = w0lr;
 432     w0_t[1] = w0[1];
 433     w0_t[2] = w0[2];
 434     w0_t[3] = w0[3];
 435     w1_t[0] = w1[0];
 436     w1_t[1] = w1[1];
 437     w1_t[2] = w1[2];
 438     w1_t[3] = w1[3];
 439     w2_t[0] = w2[0];
 440     w2_t[1] = w2[1];
 441     w2_t[2] = w2[2];
 442     w2_t[3] = w2[3];
 443     w3_t[0] = w3[0];
 444     w3_t[1] = w3[1];
 445     w3_t[2] = 0;
 446     w3_t[3] = pw_len * 8;
 447
 448     /**
 449      * SHA1
 450      */
 451
 452     u32x digest[5];
 453
 454     digest[0] = SHA1M_A;
 455     digest[1] = SHA1M_B;
 456     digest[2] = SHA1M_C;
 457     digest[3] = SHA1M_D;
 458     digest[4] = SHA1M_E;
 459
 460     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 461
 462     u32x a;
 463     u32x b;
 464     u32x c;
 465     u32x d;
 466     u32x e;
 467
 468     a = digest[0];
 469     b = digest[1];
 470     c = digest[2];
 471     d = digest[3];
 472     e = digest[4];
 473
 474     w0_t[0] = salt_buf0[0];
 475     w0_t[1] = salt_buf0[1];
 476     w0_t[2] = salt_buf0[2];
 477     w0_t[3] = salt_buf0[3];
 478     w1_t[0] = salt_buf1[0];
 479     w1_t[1] = salt_buf1[1];
 480     w1_t[2] = salt_buf1[2];
 481     w1_t[3] = salt_buf1[3];
 482     w2_t[0] = salt_buf2[0];
 483     w2_t[1] = salt_buf2[1];
 484     w2_t[2] = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 485             | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 486     w2_t[3] = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 487             | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 488     w3_t[0] = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 489             | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 490     w3_t[1] = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 491             | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 492     w3_t[2] = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 493             | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 494     w3_t[3] = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 495             | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 496
 497     digest[0] = SHA1M_A;
 498     digest[1] = SHA1M_B;
 499     digest[2] = SHA1M_C;
 500     digest[3] = SHA1M_D;
 501     digest[4] = SHA1M_E;
 502
 503     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 504
 505     w0_t[0] = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 506             | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 507     w0_t[1] = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 508             | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 509     w0_t[2] = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 510             | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 511     w0_t[3] = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 512             | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 513     w1_t[0] = 0x80000000;
 514     w1_t[1] = 0;
 515     w1_t[2] = 0;
 516     w1_t[3] = 0;
 517     w2_t[0] = 0;
 518     w2_t[1] = 0;
 519     w2_t[2] = 0;
 520     w2_t[3] = 0;
 521     w3_t[0] = 0;
 522     w3_t[1] = 0;
 523     w3_t[2] = 0;
 524     w3_t[3] = (salt_len + 40) * 8;
 525
 526     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 527
 528     a = digest[0];
 529     b = digest[1];
 530     c = digest[2];
 531     d = digest[3];
 532     e = digest[4];
 533
 534     w0_t[0] = salt_buf0[0];
 535     w0_t[1] = salt_buf0[1];
 536     w0_t[2] = salt_buf0[2];
 537     w0_t[3] = salt_buf0[3];
 538     w1_t[0] = salt_buf1[0];
 539     w1_t[1] = salt_buf1[1];
 540     w1_t[2] = salt_buf1[2];
 541     w1_t[3] = salt_buf1[3];
 542     w2_t[0] = salt_buf2[0];
 543     w2_t[1] = salt_buf2[1];
 544     w2_t[2] = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 545             | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 546     w2_t[3] = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 547             | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 548     w3_t[0] = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 549             | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 550     w3_t[1] = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 551             | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 552     w3_t[2] = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 553             | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 554     w3_t[3] = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 555             | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 556
 557     digest[0] = SHA1M_A;
 558     digest[1] = SHA1M_B;
 559     digest[2] = SHA1M_C;
 560     digest[3] = SHA1M_D;
 561     digest[4] = SHA1M_E;
 562
 563     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 564
 565     w0_t[0] = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 566             | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 567     w0_t[1] = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 568             | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 569     w0_t[2] = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 570             | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 571     w0_t[3] = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 572             | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 573     w1_t[0] = 0x80000000;
 574     w1_t[1] = 0;
 575     w1_t[2] = 0;
 576     w1_t[3] = 0;
 577     w2_t[0] = 0;
 578     w2_t[1] = 0;
 579     w2_t[2] = 0;
 580     w2_t[3] = 0;
 581     w3_t[0] = 0;
 582     w3_t[1] = 0;
 583     w3_t[2] = 0;
 584     w3_t[3] = (salt_len + 40) * 8;
 585
 586     sha1_transform (w0_t, w1_t, w2_t, w3_t, digest);
 587
 588     COMPARE_S_SIMD (digest[3], digest[4], digest[2], digest[1]);
 589   }
 590 }
 591
 592 __kernel void m08400_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 593 {
 594   /**
 595    * modifier
 596    */
 597
 598   const u32 gid = get_global_id (0);
 599   const u32 lid = get_local_id (0);
 600   const u32 lsz = get_local_size (0);
 601
 602   /**
 603    * shared
 604    */
 605
 606   __local u32 l_bin2asc[256];
 607
 608   for (u32 i = lid; i < 256; i += lsz)
 609   {
 610     const u32 i0 = (i >> 0) & 15;
 611     const u32 i1 = (i >> 4) & 15;
 612
 613     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 614                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 615   }
 616
 617   barrier (CLK_LOCAL_MEM_FENCE);
 618
 619   if (gid >= gid_max) return;
 620
 621   /**
 622    * base
 623    */
 624
 625   u32 w0[4];
 626
 627   w0[0] = pws[gid].i[ 0];
 628   w0[1] = pws[gid].i[ 1];
 629   w0[2] = pws[gid].i[ 2];
 630   w0[3] = pws[gid].i[ 3];
 631
 632   u32 w1[4];
 633
 634   w1[0] = 0;
 635   w1[1] = 0;
 636   w1[2] = 0;
 637   w1[3] = 0;
 638
 639   u32 w2[4];
 640
 641   w2[0] = 0;
 642   w2[1] = 0;
 643   w2[2] = 0;
 644   w2[3] = 0;
 645
 646   u32 w3[4];
 647
 648   w3[0] = 0;
 649   w3[1] = 0;
 650   w3[2] = 0;
 651   w3[3] = 0;
 652
 653   const u32 pw_len = pws[gid].pw_len;
 654
 655   /**
 656    * main
 657    */
 658
 659   m08400m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
 660 }
 661
 662 __kernel void m08400_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 663 {
 664   /**
 665    * modifier
 666    */
 667
 668   const u32 gid = get_global_id (0);
 669   const u32 lid = get_local_id (0);
 670   const u32 lsz = get_local_size (0);
 671
 672   /**
 673    * shared
 674    */
 675
 676   __local u32 l_bin2asc[256];
 677
 678   for (u32 i = lid; i < 256; i += lsz)
 679   {
 680     const u32 i0 = (i >> 0) & 15;
 681     const u32 i1 = (i >> 4) & 15;
 682
 683     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 684                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 685   }
 686
 687   barrier (CLK_LOCAL_MEM_FENCE);
 688
 689   if (gid >= gid_max) return;
 690
 691   /**
 692    * base
 693    */
 694
 695   u32 w0[4];
 696
 697   w0[0] = pws[gid].i[ 0];
 698   w0[1] = pws[gid].i[ 1];
 699   w0[2] = pws[gid].i[ 2];
 700   w0[3] = pws[gid].i[ 3];
 701
 702   u32 w1[4];
 703
 704   w1[0] = pws[gid].i[ 4];
 705   w1[1] = pws[gid].i[ 5];
 706   w1[2] = pws[gid].i[ 6];
 707   w1[3] = pws[gid].i[ 7];
 708
 709   u32 w2[4];
 710
 711   w2[0] = 0;
 712   w2[1] = 0;
 713   w2[2] = 0;
 714   w2[3] = 0;
 715
 716   u32 w3[4];
 717
 718   w3[0] = 0;
 719   w3[1] = 0;
 720   w3[2] = 0;
 721   w3[3] = 0;
 722
 723   const u32 pw_len = pws[gid].pw_len;
 724
 725   /**
 726    * main
 727    */
 728
 729   m08400m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
 730 }
 731
 732 __kernel void m08400_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 733 {
 734   /**
 735    * modifier
 736    */
 737
 738   const u32 gid = get_global_id (0);
 739   const u32 lid = get_local_id (0);
 740   const u32 lsz = get_local_size (0);
 741
 742   /**
 743    * shared
 744    */
 745
 746   __local u32 l_bin2asc[256];
 747
 748   for (u32 i = lid; i < 256; i += lsz)
 749   {
 750     const u32 i0 = (i >> 0) & 15;
 751     const u32 i1 = (i >> 4) & 15;
 752
 753     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 754                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 755   }
 756
 757   barrier (CLK_LOCAL_MEM_FENCE);
 758
 759   if (gid >= gid_max) return;
 760
 761   /**
 762    * base
 763    */
 764
 765   u32 w0[4];
 766
 767   w0[0] = pws[gid].i[ 0];
 768   w0[1] = pws[gid].i[ 1];
 769   w0[2] = pws[gid].i[ 2];
 770   w0[3] = pws[gid].i[ 3];
 771
 772   u32 w1[4];
 773
 774   w1[0] = pws[gid].i[ 4];
 775   w1[1] = pws[gid].i[ 5];
 776   w1[2] = pws[gid].i[ 6];
 777   w1[3] = pws[gid].i[ 7];
 778
 779   u32 w2[4];
 780
 781   w2[0] = pws[gid].i[ 8];
 782   w2[1] = pws[gid].i[ 9];
 783   w2[2] = pws[gid].i[10];
 784   w2[3] = pws[gid].i[11];
 785
 786   u32 w3[4];
 787
 788   w3[0] = pws[gid].i[12];
 789   w3[1] = pws[gid].i[13];
 790   w3[2] = 0;
 791   w3[3] = 0;
 792
 793   const u32 pw_len = pws[gid].pw_len;
 794
 795   /**
 796    * main
 797    */
 798
 799   m08400m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
 800 }
 801
 802 __kernel void m08400_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 803 {
 804   /**
 805    * modifier
 806    */
 807
 808   const u32 gid = get_global_id (0);
 809   const u32 lid = get_local_id (0);
 810   const u32 lsz = get_local_size (0);
 811
 812   /**
 813    * shared
 814    */
 815
 816   __local u32 l_bin2asc[256];
 817
 818   for (u32 i = lid; i < 256; i += lsz)
 819   {
 820     const u32 i0 = (i >> 0) & 15;
 821     const u32 i1 = (i >> 4) & 15;
 822
 823     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 824                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 825   }
 826
 827   barrier (CLK_LOCAL_MEM_FENCE);
 828
 829   if (gid >= gid_max) return;
 830
 831   /**
 832    * base
 833    */
 834
 835   u32 w0[4];
 836
 837   w0[0] = pws[gid].i[ 0];
 838   w0[1] = pws[gid].i[ 1];
 839   w0[2] = pws[gid].i[ 2];
 840   w0[3] = pws[gid].i[ 3];
 841
 842   u32 w1[4];
 843
 844   w1[0] = 0;
 845   w1[1] = 0;
 846   w1[2] = 0;
 847   w1[3] = 0;
 848
 849   u32 w2[4];
 850
 851   w2[0] = 0;
 852   w2[1] = 0;
 853   w2[2] = 0;
 854   w2[3] = 0;
 855
 856   u32 w3[4];
 857
 858   w3[0] = 0;
 859   w3[1] = 0;
 860   w3[2] = 0;
 861   w3[3] = 0;
 862
 863   const u32 pw_len = pws[gid].pw_len;
 864
 865   /**
 866    * main
 867    */
 868
 869   m08400s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
 870 }
 871
 872 __kernel void m08400_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 873 {
 874   /**
 875    * modifier
 876    */
 877
 878   const u32 gid = get_global_id (0);
 879   const u32 lid = get_local_id (0);
 880   const u32 lsz = get_local_size (0);
 881
 882   /**
 883    * shared
 884    */
 885
 886   __local u32 l_bin2asc[256];
 887
 888   for (u32 i = lid; i < 256; i += lsz)
 889   {
 890     const u32 i0 = (i >> 0) & 15;
 891     const u32 i1 = (i >> 4) & 15;
 892
 893     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 894                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 895   }
 896
 897   barrier (CLK_LOCAL_MEM_FENCE);
 898
 899   if (gid >= gid_max) return;
 900
 901   /**
 902    * base
 903    */
 904
 905   u32 w0[4];
 906
 907   w0[0] = pws[gid].i[ 0];
 908   w0[1] = pws[gid].i[ 1];
 909   w0[2] = pws[gid].i[ 2];
 910   w0[3] = pws[gid].i[ 3];
 911
 912   u32 w1[4];
 913
 914   w1[0] = pws[gid].i[ 4];
 915   w1[1] = pws[gid].i[ 5];
 916   w1[2] = pws[gid].i[ 6];
 917   w1[3] = pws[gid].i[ 7];
 918
 919   u32 w2[4];
 920
 921   w2[0] = 0;
 922   w2[1] = 0;
 923   w2[2] = 0;
 924   w2[3] = 0;
 925
 926   u32 w3[4];
 927
 928   w3[0] = 0;
 929   w3[1] = 0;
 930   w3[2] = 0;
 931   w3[3] = 0;
 932
 933   const u32 pw_len = pws[gid].pw_len;
 934
 935   /**
 936    * main
 937    */
 938
 939   m08400s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
 940 }
 941
 942 __kernel void m08400_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *ss, __global void *ess, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 943 {
 944   /**
 945    * modifier
 946    */
 947
 948   const u32 gid = get_global_id (0);
 949   const u32 lid = get_local_id (0);
 950   const u32 lsz = get_local_size (0);
 951
 952   /**
 953    * shared
 954    */
 955
 956   __local u32 l_bin2asc[256];
 957
 958   for (u32 i = lid; i < 256; i += lsz)
 959   {
 960     const u32 i0 = (i >> 0) & 15;
 961     const u32 i1 = (i >> 4) & 15;
 962
 963     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 964                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 965   }
 966
 967   barrier (CLK_LOCAL_MEM_FENCE);
 968
 969   if (gid >= gid_max) return;
 970
 971   /**
 972    * base
 973    */
 974
 975   u32 w0[4];
 976
 977   w0[0] = pws[gid].i[ 0];
 978   w0[1] = pws[gid].i[ 1];
 979   w0[2] = pws[gid].i[ 2];
 980   w0[3] = pws[gid].i[ 3];
 981
 982   u32 w1[4];
 983
 984   w1[0] = pws[gid].i[ 4];
 985   w1[1] = pws[gid].i[ 5];
 986   w1[2] = pws[gid].i[ 6];
 987   w1[3] = pws[gid].i[ 7];
 988
 989   u32 w2[4];
 990
 991   w2[0] = pws[gid].i[ 8];
 992   w2[1] = pws[gid].i[ 9];
 993   w2[2] = pws[gid].i[10];
 994   w2[3] = pws[gid].i[11];
 995
 996   u32 w3[4];
 997
 998   w3[0] = pws[gid].i[12];
 999   w3[1] = pws[gid].i[13];
1000   w3[2] = 0;
1001   w3[3] = 0;
1002
1003   const u32 pw_len = pws[gid].pw_len;
1004
1005   /**
1006    * main
1007    */
1008
1009   m08400s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, ss, ess, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1010 }