OpenCL/m02100.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DCC2_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_hash_constants.h"
  11 #include "inc_vendor.cl"
  12
  13 #define DGST_R0 0
  14 #define DGST_R1 1
  15 #define DGST_R2 2
  16 #define DGST_R3 3
  17
  18 #include "inc_hash_functions.cl"
  19 #include "inc_types.cl"
  20 #include "inc_common.cl"
  21 #include "inc_simd.cl"
  22
  23 #define COMPARE_S "inc_comp_single.cl"
  24 #define COMPARE_M "inc_comp_multi.cl"
  25
  26 void md4_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[4])
  27 {
  28   u32 a = digest[0];
  29   u32 b = digest[1];
  30   u32 c = digest[2];
  31   u32 d = digest[3];
  32
  33   MD4_STEP_S (MD4_Fo, a, b, c, d, w0[0], MD4C00, MD4S00);
  34   MD4_STEP_S (MD4_Fo, d, a, b, c, w0[1], MD4C00, MD4S01);
  35   MD4_STEP_S (MD4_Fo, c, d, a, b, w0[2], MD4C00, MD4S02);
  36   MD4_STEP_S (MD4_Fo, b, c, d, a, w0[3], MD4C00, MD4S03);
  37   MD4_STEP_S (MD4_Fo, a, b, c, d, w1[0], MD4C00, MD4S00);
  38   MD4_STEP_S (MD4_Fo, d, a, b, c, w1[1], MD4C00, MD4S01);
  39   MD4_STEP_S (MD4_Fo, c, d, a, b, w1[2], MD4C00, MD4S02);
  40   MD4_STEP_S (MD4_Fo, b, c, d, a, w1[3], MD4C00, MD4S03);
  41   MD4_STEP_S (MD4_Fo, a, b, c, d, w2[0], MD4C00, MD4S00);
  42   MD4_STEP_S (MD4_Fo, d, a, b, c, w2[1], MD4C00, MD4S01);
  43   MD4_STEP_S (MD4_Fo, c, d, a, b, w2[2], MD4C00, MD4S02);
  44   MD4_STEP_S (MD4_Fo, b, c, d, a, w2[3], MD4C00, MD4S03);
  45   MD4_STEP_S (MD4_Fo, a, b, c, d, w3[0], MD4C00, MD4S00);
  46   MD4_STEP_S (MD4_Fo, d, a, b, c, w3[1], MD4C00, MD4S01);
  47   MD4_STEP_S (MD4_Fo, c, d, a, b, w3[2], MD4C00, MD4S02);
  48   MD4_STEP_S (MD4_Fo, b, c, d, a, w3[3], MD4C00, MD4S03);
  49
  50   MD4_STEP_S (MD4_Go, a, b, c, d, w0[0], MD4C01, MD4S10);
  51   MD4_STEP_S (MD4_Go, d, a, b, c, w1[0], MD4C01, MD4S11);
  52   MD4_STEP_S (MD4_Go, c, d, a, b, w2[0], MD4C01, MD4S12);
  53   MD4_STEP_S (MD4_Go, b, c, d, a, w3[0], MD4C01, MD4S13);
  54   MD4_STEP_S (MD4_Go, a, b, c, d, w0[1], MD4C01, MD4S10);
  55   MD4_STEP_S (MD4_Go, d, a, b, c, w1[1], MD4C01, MD4S11);
  56   MD4_STEP_S (MD4_Go, c, d, a, b, w2[1], MD4C01, MD4S12);
  57   MD4_STEP_S (MD4_Go, b, c, d, a, w3[1], MD4C01, MD4S13);
  58   MD4_STEP_S (MD4_Go, a, b, c, d, w0[2], MD4C01, MD4S10);
  59   MD4_STEP_S (MD4_Go, d, a, b, c, w1[2], MD4C01, MD4S11);
  60   MD4_STEP_S (MD4_Go, c, d, a, b, w2[2], MD4C01, MD4S12);
  61   MD4_STEP_S (MD4_Go, b, c, d, a, w3[2], MD4C01, MD4S13);
  62   MD4_STEP_S (MD4_Go, a, b, c, d, w0[3], MD4C01, MD4S10);
  63   MD4_STEP_S (MD4_Go, d, a, b, c, w1[3], MD4C01, MD4S11);
  64   MD4_STEP_S (MD4_Go, c, d, a, b, w2[3], MD4C01, MD4S12);
  65   MD4_STEP_S (MD4_Go, b, c, d, a, w3[3], MD4C01, MD4S13);
  66
  67   MD4_STEP_S (MD4_H , a, b, c, d, w0[0], MD4C02, MD4S20);
  68   MD4_STEP_S (MD4_H , d, a, b, c, w2[0], MD4C02, MD4S21);
  69   MD4_STEP_S (MD4_H , c, d, a, b, w1[0], MD4C02, MD4S22);
  70   MD4_STEP_S (MD4_H , b, c, d, a, w3[0], MD4C02, MD4S23);
  71   MD4_STEP_S (MD4_H , a, b, c, d, w0[2], MD4C02, MD4S20);
  72   MD4_STEP_S (MD4_H , d, a, b, c, w2[2], MD4C02, MD4S21);
  73   MD4_STEP_S (MD4_H , c, d, a, b, w1[2], MD4C02, MD4S22);
  74   MD4_STEP_S (MD4_H , b, c, d, a, w3[2], MD4C02, MD4S23);
  75   MD4_STEP_S (MD4_H , a, b, c, d, w0[1], MD4C02, MD4S20);
  76   MD4_STEP_S (MD4_H , d, a, b, c, w2[1], MD4C02, MD4S21);
  77   MD4_STEP_S (MD4_H , c, d, a, b, w1[1], MD4C02, MD4S22);
  78   MD4_STEP_S (MD4_H , b, c, d, a, w3[1], MD4C02, MD4S23);
  79   MD4_STEP_S (MD4_H , a, b, c, d, w0[3], MD4C02, MD4S20);
  80   MD4_STEP_S (MD4_H , d, a, b, c, w2[3], MD4C02, MD4S21);
  81   MD4_STEP_S (MD4_H , c, d, a, b, w1[3], MD4C02, MD4S22);
  82   MD4_STEP_S (MD4_H , b, c, d, a, w3[3], MD4C02, MD4S23);
  83
  84   digest[0] += a;
  85   digest[1] += b;
  86   digest[2] += c;
  87   digest[3] += d;
  88 }
  89
  90 void sha1_transform_S (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  91 {
  92   u32 A = digest[0];
  93   u32 B = digest[1];
  94   u32 C = digest[2];
  95   u32 D = digest[3];
  96   u32 E = digest[4];
  97
  98   u32 w0_t = w0[0];
  99   u32 w1_t = w0[1];
 100   u32 w2_t = w0[2];
 101   u32 w3_t = w0[3];
 102   u32 w4_t = w1[0];
 103   u32 w5_t = w1[1];
 104   u32 w6_t = w1[2];
 105   u32 w7_t = w1[3];
 106   u32 w8_t = w2[0];
 107   u32 w9_t = w2[1];
 108   u32 wa_t = w2[2];
 109   u32 wb_t = w2[3];
 110   u32 wc_t = w3[0];
 111   u32 wd_t = w3[1];
 112   u32 we_t = w3[2];
 113   u32 wf_t = w3[3];
 114
 115   #undef K
 116   #define K SHA1C00
 117
 118   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w0_t);
 119   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w1_t);
 120   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w2_t);
 121   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w3_t);
 122   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w4_t);
 123   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, w5_t);
 124   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w6_t);
 125   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w7_t);
 126   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w8_t);
 127   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w9_t);
 128   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wa_t);
 129   SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, wb_t);
 130   SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, wc_t);
 131   SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, wd_t);
 132   SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, we_t);
 133   SHA1_STEP_S (SHA1_F0o, A, B, C, D, E, wf_t);
 134   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F0o, E, A, B, C, D, w0_t);
 135   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F0o, D, E, A, B, C, w1_t);
 136   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F0o, C, D, E, A, B, w2_t);
 137   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F0o, B, C, D, E, A, w3_t);
 138
 139   #undef K
 140   #define K SHA1C01
 141
 142   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w4_t);
 143   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w5_t);
 144   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w6_t);
 145   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w7_t);
 146   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w8_t);
 147   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w9_t);
 148   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wa_t);
 149   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wb_t);
 150   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wc_t);
 151   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wd_t);
 152   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, we_t);
 153   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wf_t);
 154   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w0_t);
 155   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w1_t);
 156   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w2_t);
 157   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w3_t);
 158   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w4_t);
 159   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w5_t);
 160   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w6_t);
 161   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w7_t);
 162
 163   #undef K
 164   #define K SHA1C02
 165
 166   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w8_t);
 167   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w9_t);
 168   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wa_t);
 169   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wb_t);
 170   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wc_t);
 171   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, wd_t);
 172   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, we_t);
 173   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, wf_t);
 174   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w0_t);
 175   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w1_t);
 176   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w2_t);
 177   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w3_t);
 178   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w4_t);
 179   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, w5_t);
 180   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, w6_t);
 181   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F2o, A, B, C, D, E, w7_t);
 182   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F2o, E, A, B, C, D, w8_t);
 183   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F2o, D, E, A, B, C, w9_t);
 184   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F2o, C, D, E, A, B, wa_t);
 185   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F2o, B, C, D, E, A, wb_t);
 186
 187   #undef K
 188   #define K SHA1C03
 189
 190   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wc_t);
 191   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wd_t);
 192   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, we_t);
 193   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, wf_t);
 194   w0_t = rotl32_S ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w0_t);
 195   w1_t = rotl32_S ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w1_t);
 196   w2_t = rotl32_S ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w2_t);
 197   w3_t = rotl32_S ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w3_t);
 198   w4_t = rotl32_S ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w4_t);
 199   w5_t = rotl32_S ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, w5_t);
 200   w6_t = rotl32_S ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, w6_t);
 201   w7_t = rotl32_S ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, w7_t);
 202   w8_t = rotl32_S ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, w8_t);
 203   w9_t = rotl32_S ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, w9_t);
 204   wa_t = rotl32_S ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wa_t);
 205   wb_t = rotl32_S ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP_S (SHA1_F1, A, B, C, D, E, wb_t);
 206   wc_t = rotl32_S ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP_S (SHA1_F1, E, A, B, C, D, wc_t);
 207   wd_t = rotl32_S ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP_S (SHA1_F1, D, E, A, B, C, wd_t);
 208   we_t = rotl32_S ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP_S (SHA1_F1, C, D, E, A, B, we_t);
 209   wf_t = rotl32_S ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP_S (SHA1_F1, B, C, D, E, A, wf_t);
 210
 211   digest[0] += A;
 212   digest[1] += B;
 213   digest[2] += C;
 214   digest[3] += D;
 215   digest[4] += E;
 216 }
 217
 218 void hmac_sha1_pad_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5])
 219 {
 220   w0[0] = w0[0] ^ 0x36363636;
 221   w0[1] = w0[1] ^ 0x36363636;
 222   w0[2] = w0[2] ^ 0x36363636;
 223   w0[3] = w0[3] ^ 0x36363636;
 224   w1[0] = w1[0] ^ 0x36363636;
 225   w1[1] = w1[1] ^ 0x36363636;
 226   w1[2] = w1[2] ^ 0x36363636;
 227   w1[3] = w1[3] ^ 0x36363636;
 228   w2[0] = w2[0] ^ 0x36363636;
 229   w2[1] = w2[1] ^ 0x36363636;
 230   w2[2] = w2[2] ^ 0x36363636;
 231   w2[3] = w2[3] ^ 0x36363636;
 232   w3[0] = w3[0] ^ 0x36363636;
 233   w3[1] = w3[1] ^ 0x36363636;
 234   w3[2] = w3[2] ^ 0x36363636;
 235   w3[3] = w3[3] ^ 0x36363636;
 236
 237   ipad[0] = SHA1M_A;
 238   ipad[1] = SHA1M_B;
 239   ipad[2] = SHA1M_C;
 240   ipad[3] = SHA1M_D;
 241   ipad[4] = SHA1M_E;
 242
 243   sha1_transform_S (w0, w1, w2, w3, ipad);
 244
 245   w0[0] = w0[0] ^ 0x6a6a6a6a;
 246   w0[1] = w0[1] ^ 0x6a6a6a6a;
 247   w0[2] = w0[2] ^ 0x6a6a6a6a;
 248   w0[3] = w0[3] ^ 0x6a6a6a6a;
 249   w1[0] = w1[0] ^ 0x6a6a6a6a;
 250   w1[1] = w1[1] ^ 0x6a6a6a6a;
 251   w1[2] = w1[2] ^ 0x6a6a6a6a;
 252   w1[3] = w1[3] ^ 0x6a6a6a6a;
 253   w2[0] = w2[0] ^ 0x6a6a6a6a;
 254   w2[1] = w2[1] ^ 0x6a6a6a6a;
 255   w2[2] = w2[2] ^ 0x6a6a6a6a;
 256   w2[3] = w2[3] ^ 0x6a6a6a6a;
 257   w3[0] = w3[0] ^ 0x6a6a6a6a;
 258   w3[1] = w3[1] ^ 0x6a6a6a6a;
 259   w3[2] = w3[2] ^ 0x6a6a6a6a;
 260   w3[3] = w3[3] ^ 0x6a6a6a6a;
 261
 262   opad[0] = SHA1M_A;
 263   opad[1] = SHA1M_B;
 264   opad[2] = SHA1M_C;
 265   opad[3] = SHA1M_D;
 266   opad[4] = SHA1M_E;
 267
 268   sha1_transform_S (w0, w1, w2, w3, opad);
 269 }
 270
 271 void hmac_sha1_run_S (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], u32 ipad[5], u32 opad[5], u32 digest[5])
 272 {
 273   digest[0] = ipad[0];
 274   digest[1] = ipad[1];
 275   digest[2] = ipad[2];
 276   digest[3] = ipad[3];
 277   digest[4] = ipad[4];
 278
 279   sha1_transform_S (w0, w1, w2, w3, digest);
 280
 281   w0[0] = digest[0];
 282   w0[1] = digest[1];
 283   w0[2] = digest[2];
 284   w0[3] = digest[3];
 285   w1[0] = digest[4];
 286   w1[1] = 0x80000000;
 287   w1[2] = 0;
 288   w1[3] = 0;
 289   w2[0] = 0;
 290   w2[1] = 0;
 291   w2[2] = 0;
 292   w2[3] = 0;
 293   w3[0] = 0;
 294   w3[1] = 0;
 295   w3[2] = 0;
 296   w3[3] = (64 + 20) * 8;
 297
 298   digest[0] = opad[0];
 299   digest[1] = opad[1];
 300   digest[2] = opad[2];
 301   digest[3] = opad[3];
 302   digest[4] = opad[4];
 303
 304   sha1_transform_S (w0, w1, w2, w3, digest);
 305 }
 306
 307 void sha1_transform_V (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[5])
 308 {
 309   u32x A = digest[0];
 310   u32x B = digest[1];
 311   u32x C = digest[2];
 312   u32x D = digest[3];
 313   u32x E = digest[4];
 314
 315   u32x w0_t = w0[0];
 316   u32x w1_t = w0[1];
 317   u32x w2_t = w0[2];
 318   u32x w3_t = w0[3];
 319   u32x w4_t = w1[0];
 320   u32x w5_t = w1[1];
 321   u32x w6_t = w1[2];
 322   u32x w7_t = w1[3];
 323   u32x w8_t = w2[0];
 324   u32x w9_t = w2[1];
 325   u32x wa_t = w2[2];
 326   u32x wb_t = w2[3];
 327   u32x wc_t = w3[0];
 328   u32x wd_t = w3[1];
 329   u32x we_t = w3[2];
 330   u32x wf_t = w3[3];
 331
 332   #undef K
 333   #define K SHA1C00
 334
 335   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
 336   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
 337   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
 338   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
 339   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
 340   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
 341   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 342   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 343   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 344   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 345   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 346   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 347   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 348   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 349   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 350   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 351   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 352   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 353   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 354   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 355
 356   #undef K
 357   #define K SHA1C01
 358
 359   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 360   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 361   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 362   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 363   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 364   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 365   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 366   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 367   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 368   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 369   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 370   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 371   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 372   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 373   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 374   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 375   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 376   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 377   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 378   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 379
 380   #undef K
 381   #define K SHA1C02
 382
 383   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 384   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 385   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 386   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 387   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 388   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 389   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 390   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 391   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 392   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 393   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 394   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 395   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 396   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 397   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 398   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 399   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 400   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 401   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 402   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 403
 404   #undef K
 405   #define K SHA1C03
 406
 407   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 408   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 409   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 410   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 411   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 412   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 413   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 414   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 415   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 416   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 417   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 418   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 419   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 420   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 421   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 422   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 423   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 424   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 425   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 426   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 427
 428   digest[0] += A;
 429   digest[1] += B;
 430   digest[2] += C;
 431   digest[3] += D;
 432   digest[4] += E;
 433 }
 434
 435 void hmac_sha1_run_V (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[5], u32x opad[5], u32x digest[5])
 436 {
 437   digest[0] = ipad[0];
 438   digest[1] = ipad[1];
 439   digest[2] = ipad[2];
 440   digest[3] = ipad[3];
 441   digest[4] = ipad[4];
 442
 443   sha1_transform_V (w0, w1, w2, w3, digest);
 444
 445   w0[0] = digest[0];
 446   w0[1] = digest[1];
 447   w0[2] = digest[2];
 448   w0[3] = digest[3];
 449   w1[0] = digest[4];
 450   w1[1] = 0x80000000;
 451   w1[2] = 0;
 452   w1[3] = 0;
 453   w2[0] = 0;
 454   w2[1] = 0;
 455   w2[2] = 0;
 456   w2[3] = 0;
 457   w3[0] = 0;
 458   w3[1] = 0;
 459   w3[2] = 0;
 460   w3[3] = (64 + 20) * 8;
 461
 462   digest[0] = opad[0];
 463   digest[1] = opad[1];
 464   digest[2] = opad[2];
 465   digest[3] = opad[3];
 466   digest[4] = opad[4];
 467
 468   sha1_transform_V (w0, w1, w2, w3, digest);
 469 }
 470
 471 __kernel void m02100_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global dcc2_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 472 {
 473   /**
 474    * base
 475    */
 476
 477   const u32 gid = get_global_id (0);
 478
 479   if (gid >= gid_max) return;
 480
 481   u32 w0[4];
 482
 483   w0[0] = pws[gid].i[ 0];
 484   w0[1] = pws[gid].i[ 1];
 485   w0[2] = pws[gid].i[ 2];
 486   w0[3] = pws[gid].i[ 3];
 487
 488   u32 w1[4];
 489
 490   w1[0] = 0;
 491   w1[1] = 0;
 492   w1[2] = 0;
 493   w1[3] = 0;
 494
 495   u32 w2[4];
 496
 497   w2[0] = 0;
 498   w2[1] = 0;
 499   w2[2] = 0;
 500   w2[3] = 0;
 501
 502   u32 w3[4];
 503
 504   w3[0] = 0;
 505   w3[1] = 0;
 506   w3[2] = 0;
 507   w3[3] = 0;
 508
 509   const u32 pw_len = pws[gid].pw_len;
 510
 511   /**
 512    * salt
 513    */
 514
 515   u32 salt_len = salt_bufs[salt_pos].salt_len;
 516
 517   u32 salt_buf0[4];
 518   u32 salt_buf1[4];
 519   u32 salt_buf2[4];
 520
 521   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 522   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 523   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 524   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 525   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 526   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 527   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 528   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 529   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[8];
 530   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[9];
 531   salt_buf2[2] = 0;
 532   salt_buf2[3] = 0;
 533
 534   /**
 535    * generate dcc
 536    */
 537
 538   append_0x80_1x4_S (w0, pw_len);
 539
 540   make_unicode_S (w0, w0, w1);
 541
 542   w3[2] = pw_len * 2 * 8;
 543
 544   u32 digest_md4[4];
 545
 546   digest_md4[0] = MD4M_A;
 547   digest_md4[1] = MD4M_B;
 548   digest_md4[2] = MD4M_C;
 549   digest_md4[3] = MD4M_D;
 550
 551   md4_transform_S (w0, w1, w2, w3, digest_md4);
 552
 553   w0[0] = digest_md4[0];
 554   w0[1] = digest_md4[1];
 555   w0[2] = digest_md4[2];
 556   w0[3] = digest_md4[3];
 557   w1[0] = salt_buf0[0];
 558   w1[1] = salt_buf0[1];
 559   w1[2] = salt_buf0[2];
 560   w1[3] = salt_buf0[3];
 561   w2[0] = salt_buf1[0];
 562   w2[1] = salt_buf1[1];
 563   w2[2] = salt_buf1[2];
 564   w2[3] = salt_buf1[3];
 565   w3[0] = salt_buf2[0];
 566   w3[1] = salt_buf2[1];
 567   w3[2] = (16 + salt_len) * 8;
 568   w3[3] = 0;
 569
 570   append_0x80_4x4_S (w0, w1, w2, w3, 16 + salt_len);
 571
 572   digest_md4[0] = MD4M_A;
 573   digest_md4[1] = MD4M_B;
 574   digest_md4[2] = MD4M_C;
 575   digest_md4[3] = MD4M_D;
 576
 577   md4_transform_S (w0, w1, w2, w3, digest_md4);
 578
 579   /**
 580    * pads
 581    */
 582
 583   w0[0] = swap32_S (digest_md4[0]);
 584   w0[1] = swap32_S (digest_md4[1]);
 585   w0[2] = swap32_S (digest_md4[2]);
 586   w0[3] = swap32_S (digest_md4[3]);
 587   w1[0] = 0;
 588   w1[1] = 0;
 589   w1[2] = 0;
 590   w1[3] = 0;
 591   w2[0] = 0;
 592   w2[1] = 0;
 593   w2[2] = 0;
 594   w2[3] = 0;
 595   w3[0] = 0;
 596   w3[1] = 0;
 597   w3[2] = 0;
 598   w3[3] = 0;
 599
 600   u32 ipad[5];
 601   u32 opad[5];
 602
 603   hmac_sha1_pad_S (w0, w1, w2, w3, ipad, opad);
 604
 605   tmps[gid].ipad[0] = ipad[0];
 606   tmps[gid].ipad[1] = ipad[1];
 607   tmps[gid].ipad[2] = ipad[2];
 608   tmps[gid].ipad[3] = ipad[3];
 609   tmps[gid].ipad[4] = ipad[4];
 610
 611   tmps[gid].opad[0] = opad[0];
 612   tmps[gid].opad[1] = opad[1];
 613   tmps[gid].opad[2] = opad[2];
 614   tmps[gid].opad[3] = opad[3];
 615   tmps[gid].opad[4] = opad[4];
 616
 617   /**
 618    * hmac1
 619    */
 620
 621   w0[0] = salt_buf0[0];
 622   w0[1] = salt_buf0[1];
 623   w0[2] = salt_buf0[2];
 624   w0[3] = salt_buf0[3];
 625   w1[0] = salt_buf1[0];
 626   w1[1] = salt_buf1[1];
 627   w1[2] = salt_buf1[2];
 628   w1[3] = salt_buf1[3];
 629   w2[0] = salt_buf2[0];
 630   w2[1] = salt_buf2[1];
 631   w2[2] = 0;
 632   w2[3] = 0;
 633   w3[0] = 0;
 634   w3[1] = 0;
 635   w3[2] = 0;
 636   w3[3] = (64 + salt_len + 4) * 8;
 637
 638   append_0x01_4x4_S (w0, w1, w2, w3, salt_len + 3);
 639   append_0x80_4x4_S (w0, w1, w2, w3, salt_len + 4);
 640
 641   w0[0] = swap32_S (w0[0]);
 642   w0[1] = swap32_S (w0[1]);
 643   w0[2] = swap32_S (w0[2]);
 644   w0[3] = swap32_S (w0[3]);
 645   w1[0] = swap32_S (w1[0]);
 646   w1[1] = swap32_S (w1[1]);
 647   w1[2] = swap32_S (w1[2]);
 648   w1[3] = swap32_S (w1[3]);
 649   w2[0] = swap32_S (w2[0]);
 650   w2[1] = swap32_S (w2[1]);
 651   w2[2] = swap32_S (w2[2]);
 652   w2[3] = swap32_S (w2[3]);
 653   w3[0] = swap32_S (w3[0]);
 654   w3[1] = swap32_S (w3[1]);
 655
 656   u32 digest[5];
 657
 658   hmac_sha1_run_S (w0, w1, w2, w3, ipad, opad, digest);
 659
 660   tmps[gid].dgst[0] = digest[0];
 661   tmps[gid].dgst[1] = digest[1];
 662   tmps[gid].dgst[2] = digest[2];
 663   tmps[gid].dgst[3] = digest[3];
 664   tmps[gid].dgst[4] = digest[4];
 665
 666   tmps[gid].out[0] = digest[0];
 667   tmps[gid].out[1] = digest[1];
 668   tmps[gid].out[2] = digest[2];
 669   tmps[gid].out[3] = digest[3];
 670 }
 671
 672 __kernel void m02100_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global dcc2_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 673 {
 674   /**
 675    * base
 676    */
 677
 678   const u32 gid = get_global_id (0);
 679
 680   if (gid >= gid_max) return;
 681
 682   u32x ipad[5];
 683   u32x opad[5];
 684
 685   ipad[0] = packv (tmps, ipad, gid, 0);
 686   ipad[1] = packv (tmps, ipad, gid, 1);
 687   ipad[2] = packv (tmps, ipad, gid, 2);
 688   ipad[3] = packv (tmps, ipad, gid, 3);
 689   ipad[4] = packv (tmps, ipad, gid, 4);
 690
 691   opad[0] = packv (tmps, opad, gid, 0);
 692   opad[1] = packv (tmps, opad, gid, 1);
 693   opad[2] = packv (tmps, opad, gid, 2);
 694   opad[3] = packv (tmps, opad, gid, 3);
 695   opad[4] = packv (tmps, opad, gid, 4);
 696
 697   /**
 698    * iter1
 699    */
 700
 701   u32x dgst[5];
 702   u32x out[4];
 703
 704   dgst[0] = packv (tmps, dgst, gid, 0);
 705   dgst[1] = packv (tmps, dgst, gid, 1);
 706   dgst[2] = packv (tmps, dgst, gid, 2);
 707   dgst[3] = packv (tmps, dgst, gid, 3);
 708   dgst[4] = packv (tmps, dgst, gid, 4);
 709
 710   out[0] = packv (tmps, out, gid, 0);
 711   out[1] = packv (tmps, out, gid, 1);
 712   out[2] = packv (tmps, out, gid, 2);
 713   out[3] = packv (tmps, out, gid, 3);
 714
 715   for (u32 i = 0; i < loop_cnt; i++)
 716   {
 717     u32x w0[4];
 718     u32x w1[4];
 719     u32x w2[4];
 720     u32x w3[4];
 721
 722     w0[0] = dgst[0];
 723     w0[1] = dgst[1];
 724     w0[2] = dgst[2];
 725     w0[3] = dgst[3];
 726     w1[0] = dgst[4];
 727     w1[1] = 0x80000000;
 728     w1[2] = 0;
 729     w1[3] = 0;
 730     w2[0] = 0;
 731     w2[1] = 0;
 732     w2[2] = 0;
 733     w2[3] = 0;
 734     w3[0] = 0;
 735     w3[1] = 0;
 736     w3[2] = 0;
 737     w3[3] = (64 + 20) * 8;
 738
 739     hmac_sha1_run_V (w0, w1, w2, w3, ipad, opad, dgst);
 740
 741     out[0] ^= dgst[0];
 742     out[1] ^= dgst[1];
 743     out[2] ^= dgst[2];
 744     out[3] ^= dgst[3];
 745   }
 746
 747   unpackv (tmps, dgst, gid, 0, dgst[0]);
 748   unpackv (tmps, dgst, gid, 1, dgst[1]);
 749   unpackv (tmps, dgst, gid, 2, dgst[2]);
 750   unpackv (tmps, dgst, gid, 3, dgst[3]);
 751   unpackv (tmps, dgst, gid, 4, dgst[4]);
 752
 753   unpackv (tmps, out, gid, 0, out[0]);
 754   unpackv (tmps, out, gid, 1, out[1]);
 755   unpackv (tmps, out, gid, 2, out[2]);
 756   unpackv (tmps, out, gid, 3, out[3]);
 757 }
 758
 759 __kernel void m02100_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global dcc2_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 760 {
 761   /**
 762    * base
 763    */
 764
 765   const u32 gid = get_global_id (0);
 766
 767   if (gid >= gid_max) return;
 768
 769   const u32 lid = get_local_id (0);
 770
 771   const u32 r0 = tmps[gid].out[DGST_R0];
 772   const u32 r1 = tmps[gid].out[DGST_R1];
 773   const u32 r2 = tmps[gid].out[DGST_R2];
 774   const u32 r3 = tmps[gid].out[DGST_R3];
 775
 776   #define il_pos 0
 777
 778   #include COMPARE_M
 779 }