OpenCL/m05500_a1.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _MD4_
   9
  10 #define NEW_SIMD_CODE
  11
  12 #include "inc_hash_constants.h"
  13 #include "inc_vendor.cl"
  14
  15 #define DGST_R0 0
  16 #define DGST_R1 1
  17 #define DGST_R2 2
  18 #define DGST_R3 3
  19
  20 #include "inc_hash_functions.cl"
  21 #include "inc_types.cl"
  22 #include "inc_common.cl"
  23 #include "inc_simd.cl"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   {
  48     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  49     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  50     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  51     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  52     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  53     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  54     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  55     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  56     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  57     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  58     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  59     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  60     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  61     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  62     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  63     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  64   },
  65   {
  66     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  67     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  68     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  69     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  70     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  71     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  72     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  73     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  74     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  75     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  76     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  77     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  78     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  79     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  80     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  81     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  82   },
  83   {
  84     0x04000001, 0x04040100, 0x00000100, 0x04000101,
  85     0x00040001, 0x04000000, 0x04000101, 0x00040100,
  86     0x04000100, 0x00040000, 0x04040000, 0x00000001,
  87     0x04040101, 0x00000101, 0x00000001, 0x04040001,
  88     0x00000000, 0x00040001, 0x04040100, 0x00000100,
  89     0x00000101, 0x04040101, 0x00040000, 0x04000001,
  90     0x04040001, 0x04000100, 0x00040101, 0x04040000,
  91     0x00040100, 0x00000000, 0x04000000, 0x00040101,
  92     0x04040100, 0x00000100, 0x00000001, 0x00040000,
  93     0x00000101, 0x00040001, 0x04040000, 0x04000101,
  94     0x00000000, 0x04040100, 0x00040100, 0x04040001,
  95     0x00040001, 0x04000000, 0x04040101, 0x00000001,
  96     0x00040101, 0x04000001, 0x04000000, 0x04040101,
  97     0x00040000, 0x04000100, 0x04000101, 0x00040100,
  98     0x04000100, 0x00000000, 0x04040001, 0x00000101,
  99     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 100   },
 101   {
 102     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 103     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 104     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 105     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 106     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 107     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 108     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 109     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 110     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 111     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 112     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 113     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 114     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 115     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 116     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 117     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 118   },
 119   {
 120     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 121     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 122     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 123     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 124     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 125     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 126     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 127     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 128     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 129     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 130     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 131     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 132     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 133     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 134     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 135     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 136   },
 137   {
 138     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 139     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 140     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 141     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 142     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 143     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 144     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 145     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 146     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 147     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 148     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 149     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 150     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 151     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 152     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 153     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 154   },
 155   {
 156     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 157     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 158     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 159     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 160     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 161     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 162     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 163     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 164     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 165     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 166     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 167     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 168     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 169     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 170     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 171     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 172   },
 173   {
 174     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 175     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 176     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 177     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 178     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 179     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 180     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 181     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 182     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 183     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 184     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 185     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 186     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 187     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 188     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 189     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 190   }
 191 };
 192
 193 __constant u32 c_skb[8][64] =
 194 {
 195   {
 196     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 197     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 198     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 199     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 200     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 201     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 202     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 203     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 204     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 205     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 206     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 207     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 208     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 209     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 210     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 211     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 212   },
 213   {
 214     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 215     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 216     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 217     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 218     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 219     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 220     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 221     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 222     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 223     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 224     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 225     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 226     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 227     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 228     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 229     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 230   },
 231   {
 232     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 233     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 234     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 235     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 236     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 237     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 238     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 239     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 240     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 241     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 242     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 243     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 244     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 245     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 246     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 247     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 248   },
 249   {
 250     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 251     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 252     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 253     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 254     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 255     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 256     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 257     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 258     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 259     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 260     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 261     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 262     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 263     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 264     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 265     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 266   },
 267   {
 268     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 269     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 270     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 271     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 272     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 273     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 274     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 275     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 276     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 277     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 278     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 279     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 280     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 281     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 282     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 283     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 284   },
 285   {
 286     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 287     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 288     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 289     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 290     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 291     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 292     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 293     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 294     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 295     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 296     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 297     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 298     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 299     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 300     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 301     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 302   },
 303   {
 304     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 305     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 306     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 307     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 308     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 309     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 310     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 311     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 312     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 313     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 314     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 315     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 316     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 317     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 318     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 319     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 320   },
 321   {
 322     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 323     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 324     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 325     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 326     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 327     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 328     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 329     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 330     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 331     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 332     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 333     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 334     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 335     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 336     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 337     0x00002822, 0x04002822, 0x00042822, 0x04042822
 338   }
 339 };
 340
 341 #if   VECT_SIZE == 1
 342 #define BOX(i,n,S) (S)[(n)][(i)]
 343 #elif VECT_SIZE == 2
 344 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 345 #elif VECT_SIZE == 4
 346 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 347 #elif VECT_SIZE == 8
 348 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 349 #elif VECT_SIZE == 16
 350 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 351 #endif
 352
 353 void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 354 {
 355   u32x r = data[0];
 356   u32x l = data[1];
 357
 358   #ifdef _unroll
 359   #pragma unroll
 360   #endif
 361   for (u32 i = 0; i < 16; i += 2)
 362   {
 363     u32x u;
 364     u32x t;
 365
 366     u = Kc[i + 0] ^ rotl32 (r, 30u);
 367     t = Kd[i + 0] ^ rotl32 (r, 26u);
 368
 369     l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 370        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 371        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 372        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 373        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 374        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 375        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 376        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 377
 378     u = Kc[i + 1] ^ rotl32 (l, 30u);
 379     t = Kd[i + 1] ^ rotl32 (l, 26u);
 380
 381     r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 382        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 383        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 384        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 385        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 386        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 387        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 388        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 389   }
 390
 391   iv[0] = l;
 392   iv[1] = r;
 393 }
 394
 395 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 396 {
 397   u32x tt;
 398
 399   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 400   HPERM_OP (c,    tt, 2, 0xcccc0000);
 401   HPERM_OP (d,    tt, 2, 0xcccc0000);
 402   PERM_OP  (d, c, tt, 1, 0x55555555);
 403   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 404   PERM_OP  (d, c, tt, 1, 0x55555555);
 405
 406   d = ((d & 0x000000ff) << 16)
 407     | ((d & 0x0000ff00) <<  0)
 408     | ((d & 0x00ff0000) >> 16)
 409     | ((c & 0xf0000000) >>  4);
 410
 411   c = c & 0x0fffffff;
 412
 413   #ifdef _unroll
 414   #pragma unroll
 415   #endif
 416   for (u32 i = 0; i < 16; i++)
 417   {
 418     if ((i < 2) || (i == 8) || (i == 15))
 419     {
 420       c = ((c >> 1) | (c << 27));
 421       d = ((d >> 1) | (d << 27));
 422     }
 423     else
 424     {
 425       c = ((c >> 2) | (c << 26));
 426       d = ((d >> 2) | (d << 26));
 427     }
 428
 429     c = c & 0x0fffffff;
 430     d = d & 0x0fffffff;
 431
 432     const u32x c00 = (c >>  0) & 0x0000003f;
 433     const u32x c06 = (c >>  6) & 0x00383003;
 434     const u32x c07 = (c >>  7) & 0x0000003c;
 435     const u32x c13 = (c >> 13) & 0x0000060f;
 436     const u32x c20 = (c >> 20) & 0x00000001;
 437
 438     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 439            | BOX (((c06 >>  0) & 0xff)
 440                  |((c07 >>  0) & 0xff), 1, s_skb)
 441            | BOX (((c13 >>  0) & 0xff)
 442                  |((c06 >>  8) & 0xff), 2, s_skb)
 443            | BOX (((c20 >>  0) & 0xff)
 444                  |((c13 >>  8) & 0xff)
 445                  |((c06 >> 16) & 0xff), 3, s_skb);
 446
 447     const u32x d00 = (d >>  0) & 0x00003c3f;
 448     const u32x d07 = (d >>  7) & 0x00003f03;
 449     const u32x d21 = (d >> 21) & 0x0000000f;
 450     const u32x d22 = (d >> 22) & 0x00000030;
 451
 452     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 453            | BOX (((d07 >>  0) & 0xff)
 454                  |((d00 >>  8) & 0xff), 5, s_skb)
 455            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 456            | BOX (((d21 >>  0) & 0xff)
 457                  |((d22 >>  0) & 0xff), 7, s_skb);
 458
 459     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 460     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 461   }
 462 }
 463
 464 void transform_netntlmv1_key (const u32x w0, const u32x w1, u32x out[2])
 465 {
 466   u32x t[8];
 467
 468   t[0] = (w0 >>  0) & 0xff;
 469   t[1] = (w0 >>  8) & 0xff;
 470   t[2] = (w0 >> 16) & 0xff;
 471   t[3] = (w0 >> 24) & 0xff;
 472   t[4] = (w1 >>  0) & 0xff;
 473   t[5] = (w1 >>  8) & 0xff;
 474   t[6] = (w1 >> 16) & 0xff;
 475   t[7] = (w1 >> 24) & 0xff;
 476
 477   u32x k[8];
 478
 479   k[0] =               (t[0] >> 0);
 480   k[1] = (t[0] << 7) | (t[1] >> 1);
 481   k[2] = (t[1] << 6) | (t[2] >> 2);
 482   k[3] = (t[2] << 5) | (t[3] >> 3);
 483   k[4] = (t[3] << 4) | (t[4] >> 4);
 484   k[5] = (t[4] << 3) | (t[5] >> 5);
 485   k[6] = (t[5] << 2) | (t[6] >> 6);
 486   k[7] = (t[6] << 1);
 487
 488   out[0] = ((k[0] & 0xff) <<  0)
 489          | ((k[1] & 0xff) <<  8)
 490          | ((k[2] & 0xff) << 16)
 491          | ((k[3] & 0xff) << 24);
 492
 493   out[1] = ((k[4] & 0xff) <<  0)
 494          | ((k[5] & 0xff) <<  8)
 495          | ((k[6] & 0xff) << 16)
 496          | ((k[7] & 0xff) << 24);
 497 }
 498
 499 __kernel void m05500_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 500 {
 501   /**
 502    * modifier
 503    */
 504
 505   const u32 gid = get_global_id (0);
 506   const u32 lid = get_local_id (0);
 507   const u32 lsz = get_local_size (0);
 508
 509   /**
 510    * sbox, kbox
 511    */
 512
 513   __local u32 s_SPtrans[8][64];
 514   __local u32 s_skb[8][64];
 515
 516   for (u32 i = lid; i < 64; i += lsz)
 517   {
 518     s_SPtrans[0][i] = c_SPtrans[0][i];
 519     s_SPtrans[1][i] = c_SPtrans[1][i];
 520     s_SPtrans[2][i] = c_SPtrans[2][i];
 521     s_SPtrans[3][i] = c_SPtrans[3][i];
 522     s_SPtrans[4][i] = c_SPtrans[4][i];
 523     s_SPtrans[5][i] = c_SPtrans[5][i];
 524     s_SPtrans[6][i] = c_SPtrans[6][i];
 525     s_SPtrans[7][i] = c_SPtrans[7][i];
 526
 527     s_skb[0][i] = c_skb[0][i];
 528     s_skb[1][i] = c_skb[1][i];
 529     s_skb[2][i] = c_skb[2][i];
 530     s_skb[3][i] = c_skb[3][i];
 531     s_skb[4][i] = c_skb[4][i];
 532     s_skb[5][i] = c_skb[5][i];
 533     s_skb[6][i] = c_skb[6][i];
 534     s_skb[7][i] = c_skb[7][i];
 535   }
 536
 537   barrier (CLK_LOCAL_MEM_FENCE);
 538
 539   if (gid >= gid_max) return;
 540
 541   /**
 542    * base
 543    */
 544
 545   u32 pw_buf0[4];
 546   u32 pw_buf1[4];
 547
 548   pw_buf0[0] = pws[gid].i[0];
 549   pw_buf0[1] = pws[gid].i[1];
 550   pw_buf0[2] = pws[gid].i[2];
 551   pw_buf0[3] = pws[gid].i[3];
 552   pw_buf1[0] = pws[gid].i[4];
 553   pw_buf1[1] = pws[gid].i[5];
 554   pw_buf1[2] = pws[gid].i[6];
 555   pw_buf1[3] = pws[gid].i[7];
 556
 557   const u32 pw_l_len = pws[gid].pw_len;
 558
 559   /**
 560    * salt
 561    */
 562
 563   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 564   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 565   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 566
 567   /**
 568    * loop
 569    */
 570
 571   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 572   {
 573     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 574
 575     const u32x pw_len = pw_l_len + pw_r_len;
 576
 577     /**
 578      * concat password candidate
 579      */
 580
 581     u32x wordl0[4] = { 0 };
 582     u32x wordl1[4] = { 0 };
 583     u32x wordl2[4] = { 0 };
 584     u32x wordl3[4] = { 0 };
 585
 586     wordl0[0] = pw_buf0[0];
 587     wordl0[1] = pw_buf0[1];
 588     wordl0[2] = pw_buf0[2];
 589     wordl0[3] = pw_buf0[3];
 590     wordl1[0] = pw_buf1[0];
 591     wordl1[1] = pw_buf1[1];
 592     wordl1[2] = pw_buf1[2];
 593     wordl1[3] = pw_buf1[3];
 594
 595     u32x wordr0[4] = { 0 };
 596     u32x wordr1[4] = { 0 };
 597     u32x wordr2[4] = { 0 };
 598     u32x wordr3[4] = { 0 };
 599
 600     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 601     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 602     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 603     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 604     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 605     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 606     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 607     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 608
 609     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 610     {
 611       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 612     }
 613     else
 614     {
 615       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 616     }
 617
 618     u32x w0[4];
 619     u32x w1[4];
 620     u32x w2[4];
 621     u32x w3[4];
 622
 623     w0[0] = wordl0[0] | wordr0[0];
 624     w0[1] = wordl0[1] | wordr0[1];
 625     w0[2] = wordl0[2] | wordr0[2];
 626     w0[3] = wordl0[3] | wordr0[3];
 627     w1[0] = wordl1[0] | wordr1[0];
 628     w1[1] = wordl1[1] | wordr1[1];
 629     w1[2] = wordl1[2] | wordr1[2];
 630     w1[3] = wordl1[3] | wordr1[3];
 631     w2[0] = wordl2[0] | wordr2[0];
 632     w2[1] = wordl2[1] | wordr2[1];
 633     w2[2] = wordl2[2] | wordr2[2];
 634     w2[3] = wordl2[3] | wordr2[3];
 635     w3[0] = wordl3[0] | wordr3[0];
 636     w3[1] = wordl3[1] | wordr3[1];
 637     w3[2] = wordl3[2] | wordr3[2];
 638     w3[3] = wordl3[3] | wordr3[3];
 639
 640     u32x w0_t[4];
 641     u32x w1_t[4];
 642     u32x w2_t[4];
 643     u32x w3_t[4];
 644
 645     make_unicode (w0, w0_t, w1_t);
 646     make_unicode (w1, w2_t, w3_t);
 647
 648     w3_t[2] = pw_len * 8 * 2;
 649     w3_t[3] = 0;
 650
 651     u32x a = MD4M_A;
 652     u32x b = MD4M_B;
 653     u32x c = MD4M_C;
 654     u32x d = MD4M_D;
 655
 656     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 657     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 658     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 659     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 660     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 661     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 662     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 663     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 664     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 665     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 666     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 667     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 668     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 669     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 670     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 671     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 672
 673     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 674     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 675     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 676     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 677     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 678     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 679     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 680     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 681     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 682     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 683     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 684     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 685     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 686     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 687     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 688     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 689
 690     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 691     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 692     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 693     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 694     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 695     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 696     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 697     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 698     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 699     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 700     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 701     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 702     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 703     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 704
 705     if (MATCHES_NONE_VS (((d + MD4M_D) >> 16), s2)) continue;
 706
 707     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 708     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 709
 710     a += MD4M_A;
 711     b += MD4M_B;
 712     c += MD4M_C;
 713     d += MD4M_D;
 714
 715     /**
 716      * DES1
 717      */
 718
 719     u32x key[2];
 720
 721     transform_netntlmv1_key (a, b, key);
 722
 723     u32x Kc[16];
 724     u32x Kd[16];
 725
 726     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 727
 728     u32x data[2];
 729
 730     data[0] = s0;
 731     data[1] = s1;
 732
 733     u32x iv1[2];
 734
 735     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
 736
 737     /**
 738      * DES2
 739      */
 740
 741     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
 742
 743     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 744
 745     u32x iv2[2];
 746
 747     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
 748
 749     /**
 750      * compare
 751      */
 752
 753     COMPARE_M_SIMD (iv1[0], iv1[1], iv2[0], iv2[1]);
 754   }
 755 }
 756
 757 __kernel void m05500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 758 {
 759 }
 760
 761 __kernel void m05500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 762 {
 763 }
 764
 765 __kernel void m05500_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 766 {
 767   /**
 768    * modifier
 769    */
 770
 771   const u32 gid = get_global_id (0);
 772   const u32 lid = get_local_id (0);
 773   const u32 lsz = get_local_size (0);
 774
 775   /**
 776    * sbox, kbox
 777    */
 778
 779   __local u32 s_SPtrans[8][64];
 780   __local u32 s_skb[8][64];
 781
 782   for (u32 i = lid; i < 64; i += lsz)
 783   {
 784     s_SPtrans[0][i] = c_SPtrans[0][i];
 785     s_SPtrans[1][i] = c_SPtrans[1][i];
 786     s_SPtrans[2][i] = c_SPtrans[2][i];
 787     s_SPtrans[3][i] = c_SPtrans[3][i];
 788     s_SPtrans[4][i] = c_SPtrans[4][i];
 789     s_SPtrans[5][i] = c_SPtrans[5][i];
 790     s_SPtrans[6][i] = c_SPtrans[6][i];
 791     s_SPtrans[7][i] = c_SPtrans[7][i];
 792
 793     s_skb[0][i] = c_skb[0][i];
 794     s_skb[1][i] = c_skb[1][i];
 795     s_skb[2][i] = c_skb[2][i];
 796     s_skb[3][i] = c_skb[3][i];
 797     s_skb[4][i] = c_skb[4][i];
 798     s_skb[5][i] = c_skb[5][i];
 799     s_skb[6][i] = c_skb[6][i];
 800     s_skb[7][i] = c_skb[7][i];
 801   }
 802
 803   barrier (CLK_LOCAL_MEM_FENCE);
 804
 805   if (gid >= gid_max) return;
 806
 807   /**
 808    * base
 809    */
 810
 811   u32 pw_buf0[4];
 812   u32 pw_buf1[4];
 813
 814   pw_buf0[0] = pws[gid].i[0];
 815   pw_buf0[1] = pws[gid].i[1];
 816   pw_buf0[2] = pws[gid].i[2];
 817   pw_buf0[3] = pws[gid].i[3];
 818   pw_buf1[0] = pws[gid].i[4];
 819   pw_buf1[1] = pws[gid].i[5];
 820   pw_buf1[2] = pws[gid].i[6];
 821   pw_buf1[3] = pws[gid].i[7];
 822
 823   const u32 pw_l_len = pws[gid].pw_len;
 824
 825   /**
 826    * salt
 827    */
 828
 829   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 830   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 831   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 832
 833   /**
 834    * digest
 835    */
 836
 837   const u32 search[4] =
 838   {
 839     digests_buf[digests_offset].digest_buf[DGST_R0],
 840     digests_buf[digests_offset].digest_buf[DGST_R1],
 841     digests_buf[digests_offset].digest_buf[DGST_R2],
 842     digests_buf[digests_offset].digest_buf[DGST_R3]
 843   };
 844
 845   /**
 846    * loop
 847    */
 848
 849   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 850   {
 851     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 852
 853     const u32x pw_len = pw_l_len + pw_r_len;
 854
 855     /**
 856      * concat password candidate
 857      */
 858
 859     u32x wordl0[4] = { 0 };
 860     u32x wordl1[4] = { 0 };
 861     u32x wordl2[4] = { 0 };
 862     u32x wordl3[4] = { 0 };
 863
 864     wordl0[0] = pw_buf0[0];
 865     wordl0[1] = pw_buf0[1];
 866     wordl0[2] = pw_buf0[2];
 867     wordl0[3] = pw_buf0[3];
 868     wordl1[0] = pw_buf1[0];
 869     wordl1[1] = pw_buf1[1];
 870     wordl1[2] = pw_buf1[2];
 871     wordl1[3] = pw_buf1[3];
 872
 873     u32x wordr0[4] = { 0 };
 874     u32x wordr1[4] = { 0 };
 875     u32x wordr2[4] = { 0 };
 876     u32x wordr3[4] = { 0 };
 877
 878     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 879     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 880     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 881     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 882     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 883     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 884     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 885     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 886
 887     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 888     {
 889       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 890     }
 891     else
 892     {
 893       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 894     }
 895
 896     u32x w0[4];
 897     u32x w1[4];
 898     u32x w2[4];
 899     u32x w3[4];
 900
 901     w0[0] = wordl0[0] | wordr0[0];
 902     w0[1] = wordl0[1] | wordr0[1];
 903     w0[2] = wordl0[2] | wordr0[2];
 904     w0[3] = wordl0[3] | wordr0[3];
 905     w1[0] = wordl1[0] | wordr1[0];
 906     w1[1] = wordl1[1] | wordr1[1];
 907     w1[2] = wordl1[2] | wordr1[2];
 908     w1[3] = wordl1[3] | wordr1[3];
 909     w2[0] = wordl2[0] | wordr2[0];
 910     w2[1] = wordl2[1] | wordr2[1];
 911     w2[2] = wordl2[2] | wordr2[2];
 912     w2[3] = wordl2[3] | wordr2[3];
 913     w3[0] = wordl3[0] | wordr3[0];
 914     w3[1] = wordl3[1] | wordr3[1];
 915     w3[2] = wordl3[2] | wordr3[2];
 916     w3[3] = wordl3[3] | wordr3[3];
 917
 918     u32x w0_t[4];
 919     u32x w1_t[4];
 920     u32x w2_t[4];
 921     u32x w3_t[4];
 922
 923     make_unicode (w0, w0_t, w1_t);
 924     make_unicode (w1, w2_t, w3_t);
 925
 926     w3_t[2] = pw_len * 8 * 2;
 927     w3_t[3] = 0;
 928
 929     u32x a = MD4M_A;
 930     u32x b = MD4M_B;
 931     u32x c = MD4M_C;
 932     u32x d = MD4M_D;
 933
 934     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 935     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 936     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 937     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 938     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 939     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 940     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 941     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 942     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 943     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 944     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 945     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 946     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 947     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 948     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 949     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 950
 951     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 952     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 953     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 954     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 955     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 956     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 957     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 958     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 959     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 960     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 961     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 962     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 963     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 964     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 965     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 966     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 967
 968     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 969     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 970     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 971     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 972     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 973     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 974     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 975     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 976     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 977     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 978     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 979     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 980     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 981     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 982
 983     if (MATCHES_NONE_VS (((d + MD4M_D) >> 16), s2)) continue;
 984
 985     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 986     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 987
 988     a += MD4M_A;
 989     b += MD4M_B;
 990     c += MD4M_C;
 991     d += MD4M_D;
 992
 993     /**
 994      * DES1
 995      */
 996
 997     u32x key[2];
 998
 999     transform_netntlmv1_key (a, b, key);
1000
1001     u32x Kc[16];
1002     u32x Kd[16];
1003
1004     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
1005
1006     u32x data[2];
1007
1008     data[0] = s0;
1009     data[1] = s1;
1010
1011     u32x iv1[2];
1012
1013     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
1014
1015     /**
1016      * DES2
1017      */
1018
1019     /*
1020     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
1021
1022     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
1023
1024     u32x iv2[2];
1025
1026     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
1027     */
1028
1029     u32x iv2[2];
1030
1031     iv2[0] = search[2];
1032     iv2[1] = search[3];
1033
1034     /**
1035      * compare
1036      */
1037
1038     COMPARE_S_SIMD (iv1[0], iv1[1], iv2[0], iv2[1]);
1039   }
1040 }
1041
1042 __kernel void m05500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1043 {
1044 }
1045
1046 __kernel void m05500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1047 {
1048 }