OpenCL/m07800_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SAPG_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 3
  12 #define DGST_R1 4
  13 #define DGST_R2 2
  14 #define DGST_R3 1
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define GETSHIFTEDINT(a,n) amd_bytealign ((a)[((n)/4)+1], (a)[((n)/4)+0], (n))
  24
  25 #define SETSHIFTEDINT(a,n,v)        \
  26 {                                   \
  27   const u32 s = ((n) & 3) * 8;     \
  28   const u64 x = (u64) (v) << s; \
  29   (a)[((n)/4)+0] |= x;              \
  30   (a)[((n)/4)+1]  = x >> 32;        \
  31 }
  32
  33 __constant u32 theMagicArray[64] =
  34 {
  35   0x1451ac91,0x4354679f,0xe03be724,0xc27b7428,0xeb133386,0x5ccb4f5a,0x37730a08,0x2f1c5d0e,
  36   0xe5e68f33,0xddae9bf8,0x8d4bf216,0xdcd4e12c,0x9ddfcbb0,0x176d70d4,0x3f424df9,0x94111b9b,
  37   0x9bc15b9f,0x039d0506,0x8a135e9d,0xe86a9a1e,0x17147cd9,0xf62ac758,0x0a6399a1,0xc370fdd7,
  38   0x13745ef6,0x040bc903,0x26f79826,0x2593928a,0x230da2b0,0x6d7963ed,0x3cfa3213,0xa39a0235,
  39   0x0a8eddb3,0xc351bf24,0x9f55cd7c,0x4c94af37,0x82520829,0x374e3bb2,0x9107179f,0xcdfd3b11,
  40   0, 0, 0, 0, 0, 0, 0, 0,
  41   0, 0, 0, 0, 0, 0, 0, 0,
  42   0, 0, 0, 0, 0, 0, 0, 0
  43 };
  44
  45 static void swap_buffer (u32 final[16])
  46 {
  47   final[ 0] = swap32 (final[ 0]);
  48   final[ 1] = swap32 (final[ 1]);
  49   final[ 2] = swap32 (final[ 2]);
  50   final[ 3] = swap32 (final[ 3]);
  51   final[ 4] = swap32 (final[ 4]);
  52   final[ 5] = swap32 (final[ 5]);
  53   final[ 6] = swap32 (final[ 6]);
  54   final[ 7] = swap32 (final[ 7]);
  55   final[ 8] = swap32 (final[ 8]);
  56   final[ 9] = swap32 (final[ 9]);
  57   final[10] = swap32 (final[10]);
  58   final[11] = swap32 (final[11]);
  59   final[12] = swap32 (final[12]);
  60   final[13] = swap32 (final[13]);
  61   final[14] = swap32 (final[14]);
  62   final[15] = swap32 (final[15]);
  63 }
  64
  65 static void sha1_transform (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  66 {
  67   u32 A = digest[0];
  68   u32 B = digest[1];
  69   u32 C = digest[2];
  70   u32 D = digest[3];
  71   u32 E = digest[4];
  72
  73   u32 w0_t = w0[0];
  74   u32 w1_t = w0[1];
  75   u32 w2_t = w0[2];
  76   u32 w3_t = w0[3];
  77   u32 w4_t = w1[0];
  78   u32 w5_t = w1[1];
  79   u32 w6_t = w1[2];
  80   u32 w7_t = w1[3];
  81   u32 w8_t = w2[0];
  82   u32 w9_t = w2[1];
  83   u32 wa_t = w2[2];
  84   u32 wb_t = w2[3];
  85   u32 wc_t = w3[0];
  86   u32 wd_t = w3[1];
  87   u32 we_t = w3[2];
  88   u32 wf_t = w3[3];
  89
  90   #undef K
  91   #define K SHA1C00
  92
  93   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
  94   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
  95   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
  96   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
  97   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
  98   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
  99   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 100   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 101   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 102   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 103   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 104   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 105   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 106   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 107   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 108   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 109   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 110   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 111   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 112   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 113
 114   #undef K
 115   #define K SHA1C01
 116
 117   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 118   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 119   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 120   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 121   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 122   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 123   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 124   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 125   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 126   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 127   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 128   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 129   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 130   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 131   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 132   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 133   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 134   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 135   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 136   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 137
 138   #undef K
 139   #define K SHA1C02
 140
 141   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 142   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 143   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 144   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 145   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 146   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 147   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 148   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 149   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 150   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 151   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 152   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 153   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 154   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 155   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 156   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 157   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 158   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 159   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 160   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 161
 162   #undef K
 163   #define K SHA1C03
 164
 165   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 166   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 167   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 168   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 169   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 170   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 171   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 172   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 173   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 174   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 175   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 176   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 177   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 178   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 179   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 180   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 181   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 182   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 183   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 184   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 185
 186   digest[0] += A;
 187   digest[1] += B;
 188   digest[2] += C;
 189   digest[3] += D;
 190   digest[4] += E;
 191 }
 192
 193 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 194 {
 195   /**
 196    * modifier
 197    */
 198
 199   const u32 lid = get_local_id (0);
 200
 201   /**
 202    * base
 203    */
 204
 205   const u32 gid = get_global_id (0);
 206
 207   if (gid >= gid_max) return;
 208
 209   u32 wordl0[4];
 210
 211   wordl0[0] = pws[gid].i[ 0];
 212   wordl0[1] = pws[gid].i[ 1];
 213   wordl0[2] = pws[gid].i[ 2];
 214   wordl0[3] = pws[gid].i[ 3];
 215
 216   u32 wordl1[4];
 217
 218   wordl1[0] = pws[gid].i[ 4];
 219   wordl1[1] = pws[gid].i[ 5];
 220   wordl1[2] = pws[gid].i[ 6];
 221   wordl1[3] = pws[gid].i[ 7];
 222
 223   u32 wordl2[4];
 224
 225   wordl2[0] = 0;
 226   wordl2[1] = 0;
 227   wordl2[2] = 0;
 228   wordl2[3] = 0;
 229
 230   u32 wordl3[4];
 231
 232   wordl3[0] = 0;
 233   wordl3[1] = 0;
 234   wordl3[2] = 0;
 235   wordl3[3] = 0;
 236
 237   const u32 pw_l_len = pws[gid].pw_len;
 238
 239   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 240   {
 241     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 242   }
 243
 244   /**
 245    * salt
 246    */
 247
 248   u32 salt_buf[8];
 249
 250   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 251   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 252   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 253   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 254   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 255   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 256   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 257   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 258
 259   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 260
 261   /**
 262    * loop
 263    */
 264
 265   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 266   {
 267     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 268
 269     const u32 pw_len = pw_l_len + pw_r_len;
 270
 271     u32 wordr0[4];
 272
 273     wordr0[0] = combs_buf[il_pos].i[0];
 274     wordr0[1] = combs_buf[il_pos].i[1];
 275     wordr0[2] = combs_buf[il_pos].i[2];
 276     wordr0[3] = combs_buf[il_pos].i[3];
 277
 278     u32 wordr1[4];
 279
 280     wordr1[0] = combs_buf[il_pos].i[4];
 281     wordr1[1] = combs_buf[il_pos].i[5];
 282     wordr1[2] = combs_buf[il_pos].i[6];
 283     wordr1[3] = combs_buf[il_pos].i[7];
 284
 285     u32 wordr2[4];
 286
 287     wordr2[0] = 0;
 288     wordr2[1] = 0;
 289     wordr2[2] = 0;
 290     wordr2[3] = 0;
 291
 292     u32 wordr3[4];
 293
 294     wordr3[0] = 0;
 295     wordr3[1] = 0;
 296     wordr3[2] = 0;
 297     wordr3[3] = 0;
 298
 299     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 300     {
 301       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 302     }
 303
 304     /**
 305      * append salt
 306      */
 307
 308     u32 s0[4];
 309
 310     s0[0] = salt_buf[0];
 311     s0[1] = salt_buf[1];
 312     s0[2] = salt_buf[2];
 313     s0[3] = salt_buf[3];
 314
 315     u32 s1[4];
 316
 317     s1[0] = salt_buf[4];
 318     s1[1] = salt_buf[5];
 319     s1[2] = salt_buf[6];
 320     s1[3] = salt_buf[7];
 321
 322     u32 s2[4];
 323
 324     s2[0] = 0;
 325     s2[1] = 0;
 326     s2[2] = 0;
 327     s2[3] = 0;
 328
 329     u32 s3[4];
 330
 331     s3[0] = 0;
 332     s3[1] = 0;
 333     s3[2] = 0;
 334     s3[3] = 0;
 335
 336     switch_buffer_by_offset (s0, s1, s2, s3, pw_len);
 337
 338     const u32 pw_salt_len = pw_len + salt_len;
 339
 340     u32 w0[4];
 341
 342     w0[0] = wordl0[0] | wordr0[0];
 343     w0[1] = wordl0[1] | wordr0[1];
 344     w0[2] = wordl0[2] | wordr0[2];
 345     w0[3] = wordl0[3] | wordr0[3];
 346
 347     u32 w1[4];
 348
 349     w1[0] = wordl1[0] | wordr1[0];
 350     w1[1] = wordl1[1] | wordr1[1];
 351     w1[2] = wordl1[2] | wordr1[2];
 352     w1[3] = wordl1[3] | wordr1[3];
 353
 354     u32 w2[4];
 355
 356     w2[0] = wordl2[0] | wordr2[0];
 357     w2[1] = wordl2[1] | wordr2[1];
 358     w2[2] = wordl2[2] | wordr2[2];
 359     w2[3] = wordl2[3] | wordr2[3];
 360
 361     u32 w3[4];
 362
 363     w3[0] = wordl3[0] | wordr3[0];
 364     w3[1] = wordl3[1] | wordr3[1];
 365     w3[2] = 0;
 366     w3[3] = 0;
 367
 368     /**
 369      * sha1
 370      */
 371
 372     u32 final[32];
 373
 374     final[ 0] = swap32 (w0[0] | s0[0]);
 375     final[ 1] = swap32 (w0[1] | s0[1]);
 376     final[ 2] = swap32 (w0[2] | s0[2]);
 377     final[ 3] = swap32 (w0[3] | s0[3]);
 378     final[ 4] = swap32 (w1[0] | s1[0]);
 379     final[ 5] = swap32 (w1[1] | s1[1]);
 380     final[ 6] = swap32 (w1[2] | s1[2]);
 381     final[ 7] = swap32 (w1[3] | s1[3]);
 382     final[ 8] = swap32 (w2[0] | s2[0]);
 383     final[ 9] = swap32 (w2[1] | s2[1]);
 384     final[10] = swap32 (w2[2] | s2[2]);
 385     final[11] = swap32 (w2[3] | s2[3]);
 386     final[12] = swap32 (w3[0] | s3[0]);
 387     final[13] = swap32 (w3[1] | s3[1]);
 388     final[14] = 0;
 389     final[15] = pw_salt_len * 8;
 390
 391     u32 digest[5];
 392
 393     digest[0] = SHA1M_A;
 394     digest[1] = SHA1M_B;
 395     digest[2] = SHA1M_C;
 396     digest[3] = SHA1M_D;
 397     digest[4] = SHA1M_E;
 398
 399     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 400
 401     // prepare magic array range
 402
 403     u32 lengthMagicArray = 0x20;
 404     u32 offsetMagicArray = 0;
 405
 406     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 407     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 408     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 409     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 410     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 411     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 412     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 413     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 414     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 415     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 416     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 417     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 418     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 419     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 420     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 421     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 422     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 423     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 424     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 425     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 426
 427     // final
 428
 429     digest[0] = SHA1M_A;
 430     digest[1] = SHA1M_B;
 431     digest[2] = SHA1M_C;
 432     digest[3] = SHA1M_D;
 433     digest[4] = SHA1M_E;
 434
 435     #pragma unroll 32
 436     for (int i = 0; i < 32; i++) final[i] = 0;
 437
 438     final[0] = w0[0];
 439     final[1] = w0[1];
 440     final[2] = w0[2];
 441     final[3] = w0[3];
 442     final[4] = w1[0];
 443     final[5] = w1[1];
 444     final[6] = w1[2];
 445     final[7] = w1[3];
 446
 447     u32 final_len = pw_len;
 448
 449     int i;
 450
 451     // append MagicArray
 452
 453     for (i = 0; i < lengthMagicArray - 4; i += 4)
 454     {
 455       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 456
 457       SETSHIFTEDINT (final, final_len + i, tmp);
 458     }
 459
 460     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 461
 462     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 463
 464     SETSHIFTEDINT (final, final_len + i, tmp);
 465
 466     final_len += lengthMagicArray;
 467
 468     // append Salt
 469
 470     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 471     {
 472       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 473
 474       SETSHIFTEDINT (final, final_len + i, tmp);
 475     }
 476
 477     final_len += salt_len;
 478
 479     // calculate
 480
 481     int left;
 482     int off;
 483
 484     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 485     {
 486       swap_buffer (&final[off]);
 487
 488       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 489     }
 490
 491     swap_buffer (&final[off]);
 492
 493     final[off + 14] = 0;
 494     final[off + 15] = final_len * 8;
 495
 496     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 497
 498     const u32 r0 = digest[3];
 499     const u32 r1 = digest[4];
 500     const u32 r2 = digest[2];
 501     const u32 r3 = digest[1];
 502
 503     #include COMPARE_M
 504   }
 505 }
 506
 507 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 508 {
 509 }
 510
 511 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 512 {
 513 }
 514
 515 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 516 {
 517   /**
 518    * modifier
 519    */
 520
 521   const u32 lid = get_local_id (0);
 522
 523   /**
 524    * base
 525    */
 526
 527   const u32 gid = get_global_id (0);
 528
 529   if (gid >= gid_max) return;
 530
 531   u32 wordl0[4];
 532
 533   wordl0[0] = pws[gid].i[ 0];
 534   wordl0[1] = pws[gid].i[ 1];
 535   wordl0[2] = pws[gid].i[ 2];
 536   wordl0[3] = pws[gid].i[ 3];
 537
 538   u32 wordl1[4];
 539
 540   wordl1[0] = pws[gid].i[ 4];
 541   wordl1[1] = pws[gid].i[ 5];
 542   wordl1[2] = pws[gid].i[ 6];
 543   wordl1[3] = pws[gid].i[ 7];
 544
 545   u32 wordl2[4];
 546
 547   wordl2[0] = 0;
 548   wordl2[1] = 0;
 549   wordl2[2] = 0;
 550   wordl2[3] = 0;
 551
 552   u32 wordl3[4];
 553
 554   wordl3[0] = 0;
 555   wordl3[1] = 0;
 556   wordl3[2] = 0;
 557   wordl3[3] = 0;
 558
 559   const u32 pw_l_len = pws[gid].pw_len;
 560
 561   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 562   {
 563     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 564   }
 565
 566   const u32 search[4] =
 567   {
 568     digests_buf[digests_offset].digest_buf[DGST_R0],
 569     digests_buf[digests_offset].digest_buf[DGST_R1],
 570     digests_buf[digests_offset].digest_buf[DGST_R2],
 571     digests_buf[digests_offset].digest_buf[DGST_R3]
 572   };
 573
 574   /**
 575    * salt
 576    */
 577
 578   u32 salt_buf[8];
 579
 580   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 581   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 582   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 583   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 584   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 585   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 586   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 587   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 588
 589   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 590
 591   /**
 592    * loop
 593    */
 594
 595   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 596   {
 597     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 598
 599     const u32 pw_len = pw_l_len + pw_r_len;
 600
 601     u32 wordr0[4];
 602
 603     wordr0[0] = combs_buf[il_pos].i[0];
 604     wordr0[1] = combs_buf[il_pos].i[1];
 605     wordr0[2] = combs_buf[il_pos].i[2];
 606     wordr0[3] = combs_buf[il_pos].i[3];
 607
 608     u32 wordr1[4];
 609
 610     wordr1[0] = combs_buf[il_pos].i[4];
 611     wordr1[1] = combs_buf[il_pos].i[5];
 612     wordr1[2] = combs_buf[il_pos].i[6];
 613     wordr1[3] = combs_buf[il_pos].i[7];
 614
 615     u32 wordr2[4];
 616
 617     wordr2[0] = 0;
 618     wordr2[1] = 0;
 619     wordr2[2] = 0;
 620     wordr2[3] = 0;
 621
 622     u32 wordr3[4];
 623
 624     wordr3[0] = 0;
 625     wordr3[1] = 0;
 626     wordr3[2] = 0;
 627     wordr3[3] = 0;
 628
 629     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 630     {
 631       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 632     }
 633
 634     /**
 635      * append salt
 636      */
 637
 638     u32 s0[4];
 639
 640     s0[0] = salt_buf[0];
 641     s0[1] = salt_buf[1];
 642     s0[2] = salt_buf[2];
 643     s0[3] = salt_buf[3];
 644
 645     u32 s1[4];
 646
 647     s1[0] = salt_buf[4];
 648     s1[1] = salt_buf[5];
 649     s1[2] = salt_buf[6];
 650     s1[3] = salt_buf[7];
 651
 652     u32 s2[4];
 653
 654     s2[0] = 0;
 655     s2[1] = 0;
 656     s2[2] = 0;
 657     s2[3] = 0;
 658
 659     u32 s3[4];
 660
 661     s3[0] = 0;
 662     s3[1] = 0;
 663     s3[2] = 0;
 664     s3[3] = 0;
 665
 666     switch_buffer_by_offset (s0, s1, s2, s3, pw_len);
 667
 668     const u32 pw_salt_len = pw_len + salt_len;
 669
 670     u32 w0[4];
 671
 672     w0[0] = wordl0[0] | wordr0[0];
 673     w0[1] = wordl0[1] | wordr0[1];
 674     w0[2] = wordl0[2] | wordr0[2];
 675     w0[3] = wordl0[3] | wordr0[3];
 676
 677     u32 w1[4];
 678
 679     w1[0] = wordl1[0] | wordr1[0];
 680     w1[1] = wordl1[1] | wordr1[1];
 681     w1[2] = wordl1[2] | wordr1[2];
 682     w1[3] = wordl1[3] | wordr1[3];
 683
 684     u32 w2[4];
 685
 686     w2[0] = wordl2[0] | wordr2[0];
 687     w2[1] = wordl2[1] | wordr2[1];
 688     w2[2] = wordl2[2] | wordr2[2];
 689     w2[3] = wordl2[3] | wordr2[3];
 690
 691     u32 w3[4];
 692
 693     w3[0] = wordl3[0] | wordr3[0];
 694     w3[1] = wordl3[1] | wordr3[1];
 695     w3[2] = 0;
 696     w3[3] = 0;
 697
 698     /**
 699      * sha1
 700      */
 701
 702     u32 final[32];
 703
 704     final[ 0] = swap32 (w0[0] | s0[0]);
 705     final[ 1] = swap32 (w0[1] | s0[1]);
 706     final[ 2] = swap32 (w0[2] | s0[2]);
 707     final[ 3] = swap32 (w0[3] | s0[3]);
 708     final[ 4] = swap32 (w1[0] | s1[0]);
 709     final[ 5] = swap32 (w1[1] | s1[1]);
 710     final[ 6] = swap32 (w1[2] | s1[2]);
 711     final[ 7] = swap32 (w1[3] | s1[3]);
 712     final[ 8] = swap32 (w2[0] | s2[0]);
 713     final[ 9] = swap32 (w2[1] | s2[1]);
 714     final[10] = swap32 (w2[2] | s2[2]);
 715     final[11] = swap32 (w2[3] | s2[3]);
 716     final[12] = swap32 (w3[0] | s3[0]);
 717     final[13] = swap32 (w3[1] | s3[1]);
 718     final[14] = 0;
 719     final[15] = pw_salt_len * 8;
 720
 721     u32 digest[5];
 722
 723     digest[0] = SHA1M_A;
 724     digest[1] = SHA1M_B;
 725     digest[2] = SHA1M_C;
 726     digest[3] = SHA1M_D;
 727     digest[4] = SHA1M_E;
 728
 729     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 730
 731     // prepare magic array range
 732
 733     u32 lengthMagicArray = 0x20;
 734     u32 offsetMagicArray = 0;
 735
 736     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 737     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 738     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 739     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 740     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 741     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 742     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 743     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 744     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 745     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 746     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 747     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 748     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 749     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 750     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 751     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 752     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 753     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 754     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 755     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 756
 757     // final
 758
 759     digest[0] = SHA1M_A;
 760     digest[1] = SHA1M_B;
 761     digest[2] = SHA1M_C;
 762     digest[3] = SHA1M_D;
 763     digest[4] = SHA1M_E;
 764
 765     #pragma unroll 32
 766     for (int i = 0; i < 32; i++) final[i] = 0;
 767
 768     final[0] = w0[0];
 769     final[1] = w0[1];
 770     final[2] = w0[2];
 771     final[3] = w0[3];
 772     final[4] = w1[0];
 773     final[5] = w1[1];
 774     final[6] = w1[2];
 775     final[7] = w1[3];
 776
 777     u32 final_len = pw_len;
 778
 779     int i;
 780
 781     // append MagicArray
 782
 783     for (i = 0; i < lengthMagicArray - 4; i += 4)
 784     {
 785       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 786
 787       SETSHIFTEDINT (final, final_len + i, tmp);
 788     }
 789
 790     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 791
 792     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 793
 794     SETSHIFTEDINT (final, final_len + i, tmp);
 795
 796     final_len += lengthMagicArray;
 797
 798     // append Salt
 799
 800     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 801     {
 802       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 803
 804       SETSHIFTEDINT (final, final_len + i, tmp);
 805     }
 806
 807     final_len += salt_len;
 808
 809     // calculate
 810
 811     int left;
 812     int off;
 813
 814     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 815     {
 816       swap_buffer (&final[off]);
 817
 818       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 819     }
 820
 821     swap_buffer (&final[off]);
 822
 823     final[off + 14] = 0;
 824     final[off + 15] = final_len * 8;
 825
 826     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 827
 828     const u32 r0 = digest[3];
 829     const u32 r1 = digest[4];
 830     const u32 r2 = digest[2];
 831     const u32 r3 = digest[1];
 832
 833     #include COMPARE_S
 834   }
 835 }
 836
 837 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 838 {
 839 }
 840
 841 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07800_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 842 {
 843 }