OpenCL/m04500_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #define DGST_R0 3
  14 #define DGST_R1 4
  15 #define DGST_R2 2
  16 #define DGST_R3 1
  17
  18 #include "include/kernel_functions.c"
  19 #include "OpenCL/types_ocl.c"
  20 #include "OpenCL/common.c"
  21 #include "OpenCL/simd.c"
  22
  23 #if   VECT_SIZE == 1
  24 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i)])
  25 #elif VECT_SIZE == 2
  26 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1])
  27 #elif VECT_SIZE == 4
  28 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3])
  29 #elif VECT_SIZE == 8
  30 #define uint_to_hex_lower8_le(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7])
  31 #endif
  32
  33 static void m04500m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 l_bin2asc[256])
  34 {
  35   /**
  36    * modifier
  37    */
  38
  39   const u32 gid = get_global_id (0);
  40   const u32 lid = get_local_id (0);
  41
  42   /**
  43    * loop
  44    */
  45
  46   u32 w0l = w0[0];
  47
  48   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
  49   {
  50     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
  51
  52     const u32x w0lr = w0l | w0r;
  53
  54     /**
  55      * sha1
  56      */
  57
  58     u32x w0_t = w0lr;
  59     u32x w1_t = w0[1];
  60     u32x w2_t = w0[2];
  61     u32x w3_t = w0[3];
  62     u32x w4_t = w1[0];
  63     u32x w5_t = w1[1];
  64     u32x w6_t = w1[2];
  65     u32x w7_t = w1[3];
  66     u32x w8_t = w2[0];
  67     u32x w9_t = w2[1];
  68     u32x wa_t = w2[2];
  69     u32x wb_t = w2[3];
  70     u32x wc_t = w3[0];
  71     u32x wd_t = w3[1];
  72     u32x we_t = 0;
  73     u32x wf_t = pw_len * 8;
  74
  75     u32x a = SHA1M_A;
  76     u32x b = SHA1M_B;
  77     u32x c = SHA1M_C;
  78     u32x d = SHA1M_D;
  79     u32x e = SHA1M_E;
  80
  81     #undef K
  82     #define K SHA1C00
  83
  84     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
  85     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
  86     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
  87     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
  88     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
  89     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
  90     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
  91     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
  92     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
  93     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
  94     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
  95     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
  96     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
  97     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
  98     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
  99     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 100     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 101     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 102     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 103     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 104
 105     #undef K
 106     #define K SHA1C01
 107
 108     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 109     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 110     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 111     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 112     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 113     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 114     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 115     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 116     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 117     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 118     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 119     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 120     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 121     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 122     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 123     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 124     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 125     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 126     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 127     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 128
 129     #undef K
 130     #define K SHA1C02
 131
 132     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 133     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 134     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 135     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 136     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 137     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 138     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 139     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 140     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 141     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 142     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 143     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 144     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 145     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 146     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 147     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 148     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 149     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 150     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 151     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 152
 153     #undef K
 154     #define K SHA1C03
 155
 156     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 157     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 158     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 159     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 160     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 161     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 162     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 163     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 164     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 165     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 166     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 167     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 168     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 169     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 170     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 171     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 172     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 173     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 174     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 175     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 176
 177     a += SHA1M_A;
 178     b += SHA1M_B;
 179     c += SHA1M_C;
 180     d += SHA1M_D;
 181     e += SHA1M_E;
 182
 183     /**
 184      * 2nd SHA1
 185      */
 186
 187     w0_t = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 188          | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 189     w1_t = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 190          | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 191     w2_t = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 192          | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 193     w3_t = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 194          | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 195     w4_t = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 196          | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 197     w5_t = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 198          | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 199     w6_t = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 200          | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 201     w7_t = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 202          | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 203     w8_t = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 204          | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 205     w9_t = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 206          | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 207
 208     wa_t = 0x80000000;
 209     wb_t = 0;
 210     wc_t = 0;
 211     wd_t = 0;
 212     we_t = 0;
 213     wf_t = 40 * 8;
 214
 215     a = SHA1M_A;
 216     b = SHA1M_B;
 217     c = SHA1M_C;
 218     d = SHA1M_D;
 219     e = SHA1M_E;
 220
 221     #undef K
 222     #define K SHA1C00
 223
 224     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 225     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 226     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 227     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 228     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 229     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 230     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 231     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 232     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 233     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 234     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 235     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 236     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 237     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 238     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 239     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 240     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 241     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 242     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 243     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 244
 245     #undef K
 246     #define K SHA1C01
 247
 248     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 249     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 250     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 251     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 252     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 253     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 254     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 255     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 256     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 257     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 258     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 259     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 260     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 261     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 262     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 263     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 264     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 265     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 266     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 267     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 268
 269     #undef K
 270     #define K SHA1C02
 271
 272     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 273     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 274     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 275     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 276     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 277     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 278     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 279     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 280     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 281     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 282     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 283     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 284     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 285     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 286     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 287     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 288     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 289     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 290     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 291     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 292
 293     #undef K
 294     #define K SHA1C03
 295
 296     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 297     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 298     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 299     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 300     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 301     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 302     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 303     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 304     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 305     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 306     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 307     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 308     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 309     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 310     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 311     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 312     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 313     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 314     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 315     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 316
 317     COMPARE_M_SIMD (d, e, c, b);
 318   }
 319 }
 320
 321 static void m04500s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 l_bin2asc[256])
 322 {
 323   /**
 324    * modifier
 325    */
 326
 327   const u32 gid = get_global_id (0);
 328   const u32 lid = get_local_id (0);
 329
 330   /**
 331    * digest
 332    */
 333
 334   const u32 search[4] =
 335   {
 336     digests_buf[digests_offset].digest_buf[DGST_R0],
 337     digests_buf[digests_offset].digest_buf[DGST_R1],
 338     digests_buf[digests_offset].digest_buf[DGST_R2],
 339     digests_buf[digests_offset].digest_buf[DGST_R3]
 340   };
 341
 342   /**
 343    * reverse
 344    */
 345
 346   const u32 e_rev = rotl32_S (search[1], 2u);
 347
 348   /**
 349    * loop
 350    */
 351
 352   u32 w0l = w0[0];
 353
 354   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 355   {
 356     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
 357
 358     const u32x w0lr = w0l | w0r;
 359
 360     /**
 361      * sha1
 362      */
 363
 364     u32x w0_t = w0lr;
 365     u32x w1_t = w0[1];
 366     u32x w2_t = w0[2];
 367     u32x w3_t = w0[3];
 368     u32x w4_t = w1[0];
 369     u32x w5_t = w1[1];
 370     u32x w6_t = w1[2];
 371     u32x w7_t = w1[3];
 372     u32x w8_t = w2[0];
 373     u32x w9_t = w2[1];
 374     u32x wa_t = w2[2];
 375     u32x wb_t = w2[3];
 376     u32x wc_t = w3[0];
 377     u32x wd_t = w3[1];
 378     u32x we_t = 0;
 379     u32x wf_t = pw_len * 8;
 380
 381     u32x a = SHA1M_A;
 382     u32x b = SHA1M_B;
 383     u32x c = SHA1M_C;
 384     u32x d = SHA1M_D;
 385     u32x e = SHA1M_E;
 386
 387     #undef K
 388     #define K SHA1C00
 389
 390     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 391     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 392     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 393     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 394     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 395     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 396     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 397     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 398     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 399     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 400     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 401     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 402     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 403     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 404     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 405     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 406     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 407     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 408     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 409     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 410
 411     #undef K
 412     #define K SHA1C01
 413
 414     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 415     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 416     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 417     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 418     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 419     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 420     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 421     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 422     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 423     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 424     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 425     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 426     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 427     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 428     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 429     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 430     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 431     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 432     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 433     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 434
 435     #undef K
 436     #define K SHA1C02
 437
 438     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 439     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 440     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 441     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 442     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 443     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 444     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 445     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 446     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 447     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 448     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 449     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 450     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 451     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 452     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 453     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 454     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 455     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 456     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 457     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 458
 459     #undef K
 460     #define K SHA1C03
 461
 462     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 463     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 464     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 465     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 466     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 467     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 468     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 469     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 470     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 471     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 472     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 473     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 474     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 475     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 476     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 477     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 478     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 479     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 480     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 481     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 482
 483     a += SHA1M_A;
 484     b += SHA1M_B;
 485     c += SHA1M_C;
 486     d += SHA1M_D;
 487     e += SHA1M_E;
 488
 489     /**
 490      * 2nd SHA1
 491      */
 492
 493     w0_t = uint_to_hex_lower8_le ((a >> 16) & 255) <<  0
 494          | uint_to_hex_lower8_le ((a >> 24) & 255) << 16;
 495     w1_t = uint_to_hex_lower8_le ((a >>  0) & 255) <<  0
 496          | uint_to_hex_lower8_le ((a >>  8) & 255) << 16;
 497     w2_t = uint_to_hex_lower8_le ((b >> 16) & 255) <<  0
 498          | uint_to_hex_lower8_le ((b >> 24) & 255) << 16;
 499     w3_t = uint_to_hex_lower8_le ((b >>  0) & 255) <<  0
 500          | uint_to_hex_lower8_le ((b >>  8) & 255) << 16;
 501     w4_t = uint_to_hex_lower8_le ((c >> 16) & 255) <<  0
 502          | uint_to_hex_lower8_le ((c >> 24) & 255) << 16;
 503     w5_t = uint_to_hex_lower8_le ((c >>  0) & 255) <<  0
 504          | uint_to_hex_lower8_le ((c >>  8) & 255) << 16;
 505     w6_t = uint_to_hex_lower8_le ((d >> 16) & 255) <<  0
 506          | uint_to_hex_lower8_le ((d >> 24) & 255) << 16;
 507     w7_t = uint_to_hex_lower8_le ((d >>  0) & 255) <<  0
 508          | uint_to_hex_lower8_le ((d >>  8) & 255) << 16;
 509     w8_t = uint_to_hex_lower8_le ((e >> 16) & 255) <<  0
 510          | uint_to_hex_lower8_le ((e >> 24) & 255) << 16;
 511     w9_t = uint_to_hex_lower8_le ((e >>  0) & 255) <<  0
 512          | uint_to_hex_lower8_le ((e >>  8) & 255) << 16;
 513
 514     wa_t = 0x80000000;
 515     wb_t = 0;
 516     wc_t = 0;
 517     wd_t = 0;
 518     we_t = 0;
 519     wf_t = 40 * 8;
 520
 521     a = SHA1M_A;
 522     b = SHA1M_B;
 523     c = SHA1M_C;
 524     d = SHA1M_D;
 525     e = SHA1M_E;
 526
 527     #undef K
 528     #define K SHA1C00
 529
 530     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 531     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 532     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 533     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 534     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 535     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 536     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 537     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 538     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 539     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 540     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 541     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 542     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 543     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 544     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 545     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 546     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 547     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 548     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 549     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 550
 551     #undef K
 552     #define K SHA1C01
 553
 554     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 555     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 556     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 557     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 558     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 559     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 560     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 561     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 562     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 563     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 564     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 565     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 566     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 567     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 568     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 569     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 570     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 571     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 572     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 573     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 574
 575     #undef K
 576     #define K SHA1C02
 577
 578     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 579     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 580     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 581     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 582     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 583     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 584     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 585     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 586     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 587     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 588     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 589     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 590     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 591     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 592     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 593     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 594     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 595     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 596     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 597     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 598
 599     #undef K
 600     #define K SHA1C03
 601
 602     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 603     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 604     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 605     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 606     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 607     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 608     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 609     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 610     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 611     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 612     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 613     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 614     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 615     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 616     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 617     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 618
 619     if (MATCHES_NONE_VS (e, e_rev)) continue;
 620
 621     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 622     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 623     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 624     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 625
 626     COMPARE_S_SIMD (d, e, c, b);
 627   }
 628 }
 629
 630 __kernel void m04500_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 631 {
 632   /**
 633    * base
 634    */
 635
 636   const u32 gid = get_global_id (0);
 637   const u32 lid = get_local_id (0);
 638   const u32 lsz = get_local_size (0);
 639
 640   /**
 641    * bin2asc table
 642    */
 643
 644   __local u32 l_bin2asc[256];
 645
 646   for (u32 i = lid; i < 256; i += lsz)
 647   {
 648     const u32 i0 = (i >> 0) & 15;
 649     const u32 i1 = (i >> 4) & 15;
 650
 651     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 652                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 653   }
 654
 655   barrier (CLK_LOCAL_MEM_FENCE);
 656
 657   if (gid >= gid_max) return;
 658
 659   /**
 660    * modifier
 661    */
 662
 663   u32 w0[4];
 664
 665   w0[0] = pws[gid].i[ 0];
 666   w0[1] = pws[gid].i[ 1];
 667   w0[2] = pws[gid].i[ 2];
 668   w0[3] = pws[gid].i[ 3];
 669
 670   u32 w1[4];
 671
 672   w1[0] = 0;
 673   w1[1] = 0;
 674   w1[2] = 0;
 675   w1[3] = 0;
 676
 677   u32 w2[4];
 678
 679   w2[0] = 0;
 680   w2[1] = 0;
 681   w2[2] = 0;
 682   w2[3] = 0;
 683
 684   u32 w3[4];
 685
 686   w3[0] = 0;
 687   w3[1] = 0;
 688   w3[2] = 0;
 689   w3[3] = pws[gid].i[15];
 690
 691   const u32 pw_len = pws[gid].pw_len;
 692
 693   /**
 694    * main
 695    */
 696
 697   m04500m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
 698 }
 699
 700 __kernel void m04500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 701 {
 702   /**
 703    * base
 704    */
 705
 706   const u32 gid = get_global_id (0);
 707   const u32 lid = get_local_id (0);
 708   const u32 lsz = get_local_size (0);
 709
 710   /**
 711    * bin2asc table
 712    */
 713
 714   __local u32 l_bin2asc[256];
 715
 716   for (u32 i = lid; i < 256; i += lsz)
 717   {
 718     const u32 i0 = (i >> 0) & 15;
 719     const u32 i1 = (i >> 4) & 15;
 720
 721     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 722                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 723   }
 724
 725   barrier (CLK_LOCAL_MEM_FENCE);
 726
 727   if (gid >= gid_max) return;
 728
 729   /**
 730    * modifier
 731    */
 732
 733   u32 w0[4];
 734
 735   w0[0] = pws[gid].i[ 0];
 736   w0[1] = pws[gid].i[ 1];
 737   w0[2] = pws[gid].i[ 2];
 738   w0[3] = pws[gid].i[ 3];
 739
 740   u32 w1[4];
 741
 742   w1[0] = pws[gid].i[ 4];
 743   w1[1] = pws[gid].i[ 5];
 744   w1[2] = pws[gid].i[ 6];
 745   w1[3] = pws[gid].i[ 7];
 746
 747   u32 w2[4];
 748
 749   w2[0] = 0;
 750   w2[1] = 0;
 751   w2[2] = 0;
 752   w2[3] = 0;
 753
 754   u32 w3[4];
 755
 756   w3[0] = 0;
 757   w3[1] = 0;
 758   w3[2] = 0;
 759   w3[3] = pws[gid].i[15];
 760
 761   const u32 pw_len = pws[gid].pw_len;
 762
 763   /**
 764    * main
 765    */
 766
 767   m04500m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
 768 }
 769
 770 __kernel void m04500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 771 {
 772   /**
 773    * base
 774    */
 775
 776   const u32 gid = get_global_id (0);
 777   const u32 lid = get_local_id (0);
 778   const u32 lsz = get_local_size (0);
 779
 780   /**
 781    * bin2asc table
 782    */
 783
 784   __local u32 l_bin2asc[256];
 785
 786   for (u32 i = lid; i < 256; i += lsz)
 787   {
 788     const u32 i0 = (i >> 0) & 15;
 789     const u32 i1 = (i >> 4) & 15;
 790
 791     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 792                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 793   }
 794
 795   barrier (CLK_LOCAL_MEM_FENCE);
 796
 797   if (gid >= gid_max) return;
 798
 799   /**
 800    * modifier
 801    */
 802
 803   u32 w0[4];
 804
 805   w0[0] = pws[gid].i[ 0];
 806   w0[1] = pws[gid].i[ 1];
 807   w0[2] = pws[gid].i[ 2];
 808   w0[3] = pws[gid].i[ 3];
 809
 810   u32 w1[4];
 811
 812   w1[0] = pws[gid].i[ 4];
 813   w1[1] = pws[gid].i[ 5];
 814   w1[2] = pws[gid].i[ 6];
 815   w1[3] = pws[gid].i[ 7];
 816
 817   u32 w2[4];
 818
 819   w2[0] = pws[gid].i[ 8];
 820   w2[1] = pws[gid].i[ 9];
 821   w2[2] = pws[gid].i[10];
 822   w2[3] = pws[gid].i[11];
 823
 824   u32 w3[4];
 825
 826   w3[0] = pws[gid].i[12];
 827   w3[1] = pws[gid].i[13];
 828   w3[2] = pws[gid].i[14];
 829   w3[3] = pws[gid].i[15];
 830
 831   const u32 pw_len = pws[gid].pw_len;
 832
 833   /**
 834    * main
 835    */
 836
 837   m04500m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
 838 }
 839
 840 __kernel void m04500_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 841 {
 842   /**
 843    * base
 844    */
 845
 846   const u32 gid = get_global_id (0);
 847   const u32 lid = get_local_id (0);
 848   const u32 lsz = get_local_size (0);
 849
 850   /**
 851    * bin2asc table
 852    */
 853
 854   __local u32 l_bin2asc[256];
 855
 856   for (u32 i = lid; i < 256; i += lsz)
 857   {
 858     const u32 i0 = (i >> 0) & 15;
 859     const u32 i1 = (i >> 4) & 15;
 860
 861     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 862                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 863   }
 864
 865   barrier (CLK_LOCAL_MEM_FENCE);
 866
 867   if (gid >= gid_max) return;
 868
 869   /**
 870    * modifier
 871    */
 872
 873   u32 w0[4];
 874
 875   w0[0] = pws[gid].i[ 0];
 876   w0[1] = pws[gid].i[ 1];
 877   w0[2] = pws[gid].i[ 2];
 878   w0[3] = pws[gid].i[ 3];
 879
 880   u32 w1[4];
 881
 882   w1[0] = 0;
 883   w1[1] = 0;
 884   w1[2] = 0;
 885   w1[3] = 0;
 886
 887   u32 w2[4];
 888
 889   w2[0] = 0;
 890   w2[1] = 0;
 891   w2[2] = 0;
 892   w2[3] = 0;
 893
 894   u32 w3[4];
 895
 896   w3[0] = 0;
 897   w3[1] = 0;
 898   w3[2] = 0;
 899   w3[3] = pws[gid].i[15];
 900
 901   const u32 pw_len = pws[gid].pw_len;
 902
 903   /**
 904    * main
 905    */
 906
 907   m04500s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
 908 }
 909
 910 __kernel void m04500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 911 {
 912   /**
 913    * base
 914    */
 915
 916   const u32 gid = get_global_id (0);
 917   const u32 lid = get_local_id (0);
 918   const u32 lsz = get_local_size (0);
 919
 920   /**
 921    * bin2asc table
 922    */
 923
 924   __local u32 l_bin2asc[256];
 925
 926   for (u32 i = lid; i < 256; i += lsz)
 927   {
 928     const u32 i0 = (i >> 0) & 15;
 929     const u32 i1 = (i >> 4) & 15;
 930
 931     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
 932                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
 933   }
 934
 935   barrier (CLK_LOCAL_MEM_FENCE);
 936
 937   if (gid >= gid_max) return;
 938
 939   /**
 940    * modifier
 941    */
 942
 943   u32 w0[4];
 944
 945   w0[0] = pws[gid].i[ 0];
 946   w0[1] = pws[gid].i[ 1];
 947   w0[2] = pws[gid].i[ 2];
 948   w0[3] = pws[gid].i[ 3];
 949
 950   u32 w1[4];
 951
 952   w1[0] = pws[gid].i[ 4];
 953   w1[1] = pws[gid].i[ 5];
 954   w1[2] = pws[gid].i[ 6];
 955   w1[3] = pws[gid].i[ 7];
 956
 957   u32 w2[4];
 958
 959   w2[0] = 0;
 960   w2[1] = 0;
 961   w2[2] = 0;
 962   w2[3] = 0;
 963
 964   u32 w3[4];
 965
 966   w3[0] = 0;
 967   w3[1] = 0;
 968   w3[2] = 0;
 969   w3[3] = pws[gid].i[15];
 970
 971   const u32 pw_len = pws[gid].pw_len;
 972
 973   /**
 974    * main
 975    */
 976
 977   m04500s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
 978 }
 979
 980 __kernel void m04500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 981 {
 982   /**
 983    * base
 984    */
 985
 986   const u32 gid = get_global_id (0);
 987   const u32 lid = get_local_id (0);
 988   const u32 lsz = get_local_size (0);
 989
 990   /**
 991    * bin2asc table
 992    */
 993
 994   __local u32 l_bin2asc[256];
 995
 996   for (u32 i = lid; i < 256; i += lsz)
 997   {
 998     const u32 i0 = (i >> 0) & 15;
 999     const u32 i1 = (i >> 4) & 15;
1000
1001     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 0
1002                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 8;
1003   }
1004
1005   barrier (CLK_LOCAL_MEM_FENCE);
1006
1007   if (gid >= gid_max) return;
1008
1009   /**
1010    * modifier
1011    */
1012
1013   u32 w0[4];
1014
1015   w0[0] = pws[gid].i[ 0];
1016   w0[1] = pws[gid].i[ 1];
1017   w0[2] = pws[gid].i[ 2];
1018   w0[3] = pws[gid].i[ 3];
1019
1020   u32 w1[4];
1021
1022   w1[0] = pws[gid].i[ 4];
1023   w1[1] = pws[gid].i[ 5];
1024   w1[2] = pws[gid].i[ 6];
1025   w1[3] = pws[gid].i[ 7];
1026
1027   u32 w2[4];
1028
1029   w2[0] = pws[gid].i[ 8];
1030   w2[1] = pws[gid].i[ 9];
1031   w2[2] = pws[gid].i[10];
1032   w2[3] = pws[gid].i[11];
1033
1034   u32 w3[4];
1035
1036   w3[0] = pws[gid].i[12];
1037   w3[1] = pws[gid].i[13];
1038   w3[2] = pws[gid].i[14];
1039   w3[3] = pws[gid].i[15];
1040
1041   const u32 pw_len = pws[gid].pw_len;
1042
1043   /**
1044    * main
1045    */
1046
1047   m04500s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, l_bin2asc);
1048 }