OpenCL/m05500_a1.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _MD4_
   9
  10 #define NEW_SIMD_CODE
  11
  12 #include "include/constants.h"
  13 #include "include/kernel_vendor.h"
  14
  15 #define DGST_R0 0
  16 #define DGST_R1 1
  17 #define DGST_R2 2
  18 #define DGST_R3 3
  19
  20 #include "include/kernel_functions.c"
  21 #include "OpenCL/types_ocl.c"
  22 #include "OpenCL/common.c"
  23 #include "OpenCL/simd.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   {
  48     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  49     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  50     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  51     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  52     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  53     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  54     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  55     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  56     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  57     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  58     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  59     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  60     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  61     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  62     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  63     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  64   },
  65   {
  66     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  67     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  68     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  69     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  70     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  71     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  72     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  73     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  74     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  75     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  76     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  77     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  78     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  79     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  80     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  81     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  82   },
  83   {
  84     0x04000001, 0x04040100, 0x00000100, 0x04000101,
  85     0x00040001, 0x04000000, 0x04000101, 0x00040100,
  86     0x04000100, 0x00040000, 0x04040000, 0x00000001,
  87     0x04040101, 0x00000101, 0x00000001, 0x04040001,
  88     0x00000000, 0x00040001, 0x04040100, 0x00000100,
  89     0x00000101, 0x04040101, 0x00040000, 0x04000001,
  90     0x04040001, 0x04000100, 0x00040101, 0x04040000,
  91     0x00040100, 0x00000000, 0x04000000, 0x00040101,
  92     0x04040100, 0x00000100, 0x00000001, 0x00040000,
  93     0x00000101, 0x00040001, 0x04040000, 0x04000101,
  94     0x00000000, 0x04040100, 0x00040100, 0x04040001,
  95     0x00040001, 0x04000000, 0x04040101, 0x00000001,
  96     0x00040101, 0x04000001, 0x04000000, 0x04040101,
  97     0x00040000, 0x04000100, 0x04000101, 0x00040100,
  98     0x04000100, 0x00000000, 0x04040001, 0x00000101,
  99     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 100   },
 101   {
 102     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 103     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 104     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 105     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 106     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 107     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 108     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 109     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 110     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 111     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 112     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 113     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 114     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 115     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 116     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 117     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 118   },
 119   {
 120     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 121     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 122     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 123     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 124     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 125     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 126     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 127     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 128     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 129     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 130     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 131     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 132     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 133     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 134     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 135     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 136   },
 137   {
 138     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 139     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 140     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 141     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 142     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 143     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 144     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 145     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 146     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 147     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 148     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 149     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 150     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 151     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 152     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 153     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 154   },
 155   {
 156     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 157     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 158     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 159     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 160     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 161     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 162     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 163     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 164     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 165     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 166     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 167     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 168     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 169     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 170     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 171     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 172   },
 173   {
 174     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 175     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 176     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 177     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 178     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 179     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 180     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 181     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 182     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 183     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 184     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 185     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 186     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 187     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 188     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 189     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 190   }
 191 };
 192
 193 __constant u32 c_skb[8][64] =
 194 {
 195   {
 196     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 197     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 198     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 199     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 200     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 201     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 202     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 203     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 204     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 205     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 206     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 207     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 208     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 209     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 210     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 211     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 212   },
 213   {
 214     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 215     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 216     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 217     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 218     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 219     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 220     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 221     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 222     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 223     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 224     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 225     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 226     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 227     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 228     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 229     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 230   },
 231   {
 232     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 233     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 234     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 235     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 236     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 237     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 238     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 239     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 240     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 241     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 242     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 243     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 244     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 245     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 246     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 247     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 248   },
 249   {
 250     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 251     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 252     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 253     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 254     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 255     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 256     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 257     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 258     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 259     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 260     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 261     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 262     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 263     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 264     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 265     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 266   },
 267   {
 268     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 269     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 270     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 271     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 272     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 273     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 274     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 275     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 276     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 277     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 278     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 279     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 280     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 281     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 282     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 283     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 284   },
 285   {
 286     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 287     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 288     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 289     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 290     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 291     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 292     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 293     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 294     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 295     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 296     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 297     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 298     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 299     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 300     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 301     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 302   },
 303   {
 304     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 305     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 306     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 307     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 308     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 309     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 310     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 311     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 312     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 313     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 314     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 315     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 316     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 317     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 318     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 319     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 320   },
 321   {
 322     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 323     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 324     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 325     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 326     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 327     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 328     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 329     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 330     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 331     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 332     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 333     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 334     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 335     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 336     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 337     0x00002822, 0x04002822, 0x00042822, 0x04042822
 338   }
 339 };
 340
 341 #if   VECT_SIZE == 1
 342 #define BOX(i,n,S) (S)[(n)][(i)]
 343 #elif VECT_SIZE == 2
 344 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 345 #elif VECT_SIZE == 4
 346 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 347 #elif VECT_SIZE == 8
 348 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 349 #elif VECT_SIZE == 16
 350 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 351 #endif
 352
 353 void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 354 {
 355   u32x r = data[0];
 356   u32x l = data[1];
 357
 358   #pragma unroll 16
 359   for (u32 i = 0; i < 16; i += 2)
 360   {
 361     u32x u;
 362     u32x t;
 363
 364     u = Kc[i + 0] ^ rotl32 (r, 30u);
 365     t = Kd[i + 0] ^ rotl32 (r, 26u);
 366
 367     l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 368        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 369        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 370        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 371        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 372        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 373        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 374        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 375
 376     u = Kc[i + 1] ^ rotl32 (l, 30u);
 377     t = Kd[i + 1] ^ rotl32 (l, 26u);
 378
 379     r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 380        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 381        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 382        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 383        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 384        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 385        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 386        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 387   }
 388
 389   iv[0] = l;
 390   iv[1] = r;
 391 }
 392
 393 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 394 {
 395   u32x tt;
 396
 397   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 398   HPERM_OP (c,    tt, 2, 0xcccc0000);
 399   HPERM_OP (d,    tt, 2, 0xcccc0000);
 400   PERM_OP  (d, c, tt, 1, 0x55555555);
 401   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 402   PERM_OP  (d, c, tt, 1, 0x55555555);
 403
 404   d = ((d & 0x000000ff) << 16)
 405     | ((d & 0x0000ff00) <<  0)
 406     | ((d & 0x00ff0000) >> 16)
 407     | ((c & 0xf0000000) >>  4);
 408
 409   c = c & 0x0fffffff;
 410
 411   #pragma unroll 16
 412   for (u32 i = 0; i < 16; i++)
 413   {
 414     if ((i < 2) || (i == 8) || (i == 15))
 415     {
 416       c = ((c >> 1) | (c << 27));
 417       d = ((d >> 1) | (d << 27));
 418     }
 419     else
 420     {
 421       c = ((c >> 2) | (c << 26));
 422       d = ((d >> 2) | (d << 26));
 423     }
 424
 425     c = c & 0x0fffffff;
 426     d = d & 0x0fffffff;
 427
 428     const u32x c00 = (c >>  0) & 0x0000003f;
 429     const u32x c06 = (c >>  6) & 0x00383003;
 430     const u32x c07 = (c >>  7) & 0x0000003c;
 431     const u32x c13 = (c >> 13) & 0x0000060f;
 432     const u32x c20 = (c >> 20) & 0x00000001;
 433
 434     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 435            | BOX (((c06 >>  0) & 0xff)
 436                  |((c07 >>  0) & 0xff), 1, s_skb)
 437            | BOX (((c13 >>  0) & 0xff)
 438                  |((c06 >>  8) & 0xff), 2, s_skb)
 439            | BOX (((c20 >>  0) & 0xff)
 440                  |((c13 >>  8) & 0xff)
 441                  |((c06 >> 16) & 0xff), 3, s_skb);
 442
 443     const u32x d00 = (d >>  0) & 0x00003c3f;
 444     const u32x d07 = (d >>  7) & 0x00003f03;
 445     const u32x d21 = (d >> 21) & 0x0000000f;
 446     const u32x d22 = (d >> 22) & 0x00000030;
 447
 448     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 449            | BOX (((d07 >>  0) & 0xff)
 450                  |((d00 >>  8) & 0xff), 5, s_skb)
 451            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 452            | BOX (((d21 >>  0) & 0xff)
 453                  |((d22 >>  0) & 0xff), 7, s_skb);
 454
 455     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 456     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 457   }
 458 }
 459
 460 void transform_netntlmv1_key (const u32x w0, const u32x w1, u32x out[2])
 461 {
 462   u32x t[8];
 463
 464   t[0] = (w0 >>  0) & 0xff;
 465   t[1] = (w0 >>  8) & 0xff;
 466   t[2] = (w0 >> 16) & 0xff;
 467   t[3] = (w0 >> 24) & 0xff;
 468   t[4] = (w1 >>  0) & 0xff;
 469   t[5] = (w1 >>  8) & 0xff;
 470   t[6] = (w1 >> 16) & 0xff;
 471   t[7] = (w1 >> 24) & 0xff;
 472
 473   u32x k[8];
 474
 475   k[0] =               (t[0] >> 0);
 476   k[1] = (t[0] << 7) | (t[1] >> 1);
 477   k[2] = (t[1] << 6) | (t[2] >> 2);
 478   k[3] = (t[2] << 5) | (t[3] >> 3);
 479   k[4] = (t[3] << 4) | (t[4] >> 4);
 480   k[5] = (t[4] << 3) | (t[5] >> 5);
 481   k[6] = (t[5] << 2) | (t[6] >> 6);
 482   k[7] = (t[6] << 1);
 483
 484   out[0] = ((k[0] & 0xff) <<  0)
 485          | ((k[1] & 0xff) <<  8)
 486          | ((k[2] & 0xff) << 16)
 487          | ((k[3] & 0xff) << 24);
 488
 489   out[1] = ((k[4] & 0xff) <<  0)
 490          | ((k[5] & 0xff) <<  8)
 491          | ((k[6] & 0xff) << 16)
 492          | ((k[7] & 0xff) << 24);
 493 }
 494
 495 __kernel void m05500_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 496 {
 497   /**
 498    * modifier
 499    */
 500
 501   const u32 gid = get_global_id (0);
 502   const u32 lid = get_local_id (0);
 503   const u32 lsz = get_local_size (0);
 504
 505   /**
 506    * sbox, kbox
 507    */
 508
 509   __local u32 s_SPtrans[8][64];
 510   __local u32 s_skb[8][64];
 511
 512   for (u32 i = lid; i < 64; i += lsz)
 513   {
 514     s_SPtrans[0][i] = c_SPtrans[0][i];
 515     s_SPtrans[1][i] = c_SPtrans[1][i];
 516     s_SPtrans[2][i] = c_SPtrans[2][i];
 517     s_SPtrans[3][i] = c_SPtrans[3][i];
 518     s_SPtrans[4][i] = c_SPtrans[4][i];
 519     s_SPtrans[5][i] = c_SPtrans[5][i];
 520     s_SPtrans[6][i] = c_SPtrans[6][i];
 521     s_SPtrans[7][i] = c_SPtrans[7][i];
 522
 523     s_skb[0][i] = c_skb[0][i];
 524     s_skb[1][i] = c_skb[1][i];
 525     s_skb[2][i] = c_skb[2][i];
 526     s_skb[3][i] = c_skb[3][i];
 527     s_skb[4][i] = c_skb[4][i];
 528     s_skb[5][i] = c_skb[5][i];
 529     s_skb[6][i] = c_skb[6][i];
 530     s_skb[7][i] = c_skb[7][i];
 531   }
 532
 533   barrier (CLK_LOCAL_MEM_FENCE);
 534
 535   if (gid >= gid_max) return;
 536
 537   /**
 538    * base
 539    */
 540
 541   u32 pw_buf0[4];
 542   u32 pw_buf1[4];
 543
 544   pw_buf0[0] = pws[gid].i[0];
 545   pw_buf0[1] = pws[gid].i[1];
 546   pw_buf0[2] = pws[gid].i[2];
 547   pw_buf0[3] = pws[gid].i[3];
 548   pw_buf1[0] = pws[gid].i[4];
 549   pw_buf1[1] = pws[gid].i[5];
 550   pw_buf1[2] = pws[gid].i[6];
 551   pw_buf1[3] = pws[gid].i[7];
 552
 553   const u32 pw_l_len = pws[gid].pw_len;
 554
 555   /**
 556    * salt
 557    */
 558
 559   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 560   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 561   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 562
 563   /**
 564    * loop
 565    */
 566
 567   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 568   {
 569     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 570
 571     const u32x pw_len = pw_l_len + pw_r_len;
 572
 573     /**
 574      * concat password candidate
 575      */
 576
 577     u32x wordl0[4] = { 0 };
 578     u32x wordl1[4] = { 0 };
 579     u32x wordl2[4] = { 0 };
 580     u32x wordl3[4] = { 0 };
 581
 582     wordl0[0] = pw_buf0[0];
 583     wordl0[1] = pw_buf0[1];
 584     wordl0[2] = pw_buf0[2];
 585     wordl0[3] = pw_buf0[3];
 586     wordl1[0] = pw_buf1[0];
 587     wordl1[1] = pw_buf1[1];
 588     wordl1[2] = pw_buf1[2];
 589     wordl1[3] = pw_buf1[3];
 590
 591     u32x wordr0[4] = { 0 };
 592     u32x wordr1[4] = { 0 };
 593     u32x wordr2[4] = { 0 };
 594     u32x wordr3[4] = { 0 };
 595
 596     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 597     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 598     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 599     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 600     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 601     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 602     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 603     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 604
 605     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 606     {
 607       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 608     }
 609     else
 610     {
 611       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 612     }
 613
 614     u32x w0[4];
 615     u32x w1[4];
 616     u32x w2[4];
 617     u32x w3[4];
 618
 619     w0[0] = wordl0[0] | wordr0[0];
 620     w0[1] = wordl0[1] | wordr0[1];
 621     w0[2] = wordl0[2] | wordr0[2];
 622     w0[3] = wordl0[3] | wordr0[3];
 623     w1[0] = wordl1[0] | wordr1[0];
 624     w1[1] = wordl1[1] | wordr1[1];
 625     w1[2] = wordl1[2] | wordr1[2];
 626     w1[3] = wordl1[3] | wordr1[3];
 627     w2[0] = wordl2[0] | wordr2[0];
 628     w2[1] = wordl2[1] | wordr2[1];
 629     w2[2] = wordl2[2] | wordr2[2];
 630     w2[3] = wordl2[3] | wordr2[3];
 631     w3[0] = wordl3[0] | wordr3[0];
 632     w3[1] = wordl3[1] | wordr3[1];
 633     w3[2] = wordl3[2] | wordr3[2];
 634     w3[3] = wordl3[3] | wordr3[3];
 635
 636     u32x w0_t[4];
 637     u32x w1_t[4];
 638     u32x w2_t[4];
 639     u32x w3_t[4];
 640
 641     make_unicode (w0, w0_t, w1_t);
 642     make_unicode (w1, w2_t, w3_t);
 643
 644     w3_t[2] = pw_len * 8 * 2;
 645     w3_t[3] = 0;
 646
 647     u32x a = MD4M_A;
 648     u32x b = MD4M_B;
 649     u32x c = MD4M_C;
 650     u32x d = MD4M_D;
 651
 652     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 653     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 654     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 655     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 656     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 657     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 658     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 659     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 660     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 661     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 662     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 663     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 664     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 665     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 666     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 667     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 668
 669     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 670     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 671     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 672     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 673     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 674     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 675     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 676     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 677     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 678     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 679     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 680     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 681     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 682     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 683     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 684     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 685
 686     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 687     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 688     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 689     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 690     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 691     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 692     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 693     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 694     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 695     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 696     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 697     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 698     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 699     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 700
 701     if (MATCHES_NONE_VS (((d + MD4M_D) >> 16), s2)) continue;
 702
 703     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 704     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 705
 706     a += MD4M_A;
 707     b += MD4M_B;
 708     c += MD4M_C;
 709     d += MD4M_D;
 710
 711     /**
 712      * DES1
 713      */
 714
 715     u32x key[2];
 716
 717     transform_netntlmv1_key (a, b, key);
 718
 719     u32x Kc[16];
 720     u32x Kd[16];
 721
 722     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 723
 724     u32x data[2];
 725
 726     data[0] = s0;
 727     data[1] = s1;
 728
 729     u32x iv1[2];
 730
 731     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
 732
 733     /**
 734      * DES2
 735      */
 736
 737     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
 738
 739     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 740
 741     u32x iv2[2];
 742
 743     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
 744
 745     /**
 746      * compare
 747      */
 748
 749     COMPARE_M_SIMD (iv1[0], iv1[1], iv2[0], iv2[1]);
 750   }
 751 }
 752
 753 __kernel void m05500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 754 {
 755 }
 756
 757 __kernel void m05500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 758 {
 759 }
 760
 761 __kernel void m05500_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 762 {
 763   /**
 764    * modifier
 765    */
 766
 767   const u32 gid = get_global_id (0);
 768   const u32 lid = get_local_id (0);
 769   const u32 lsz = get_local_size (0);
 770
 771   /**
 772    * sbox, kbox
 773    */
 774
 775   __local u32 s_SPtrans[8][64];
 776   __local u32 s_skb[8][64];
 777
 778   for (u32 i = lid; i < 64; i += lsz)
 779   {
 780     s_SPtrans[0][i] = c_SPtrans[0][i];
 781     s_SPtrans[1][i] = c_SPtrans[1][i];
 782     s_SPtrans[2][i] = c_SPtrans[2][i];
 783     s_SPtrans[3][i] = c_SPtrans[3][i];
 784     s_SPtrans[4][i] = c_SPtrans[4][i];
 785     s_SPtrans[5][i] = c_SPtrans[5][i];
 786     s_SPtrans[6][i] = c_SPtrans[6][i];
 787     s_SPtrans[7][i] = c_SPtrans[7][i];
 788
 789     s_skb[0][i] = c_skb[0][i];
 790     s_skb[1][i] = c_skb[1][i];
 791     s_skb[2][i] = c_skb[2][i];
 792     s_skb[3][i] = c_skb[3][i];
 793     s_skb[4][i] = c_skb[4][i];
 794     s_skb[5][i] = c_skb[5][i];
 795     s_skb[6][i] = c_skb[6][i];
 796     s_skb[7][i] = c_skb[7][i];
 797   }
 798
 799   barrier (CLK_LOCAL_MEM_FENCE);
 800
 801   if (gid >= gid_max) return;
 802
 803   /**
 804    * base
 805    */
 806
 807   u32 pw_buf0[4];
 808   u32 pw_buf1[4];
 809
 810   pw_buf0[0] = pws[gid].i[0];
 811   pw_buf0[1] = pws[gid].i[1];
 812   pw_buf0[2] = pws[gid].i[2];
 813   pw_buf0[3] = pws[gid].i[3];
 814   pw_buf1[0] = pws[gid].i[4];
 815   pw_buf1[1] = pws[gid].i[5];
 816   pw_buf1[2] = pws[gid].i[6];
 817   pw_buf1[3] = pws[gid].i[7];
 818
 819   const u32 pw_l_len = pws[gid].pw_len;
 820
 821   /**
 822    * salt
 823    */
 824
 825   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 826   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 827   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 828
 829   /**
 830    * digest
 831    */
 832
 833   const u32 search[4] =
 834   {
 835     digests_buf[digests_offset].digest_buf[DGST_R0],
 836     digests_buf[digests_offset].digest_buf[DGST_R1],
 837     digests_buf[digests_offset].digest_buf[DGST_R2],
 838     digests_buf[digests_offset].digest_buf[DGST_R3]
 839   };
 840
 841   /**
 842    * loop
 843    */
 844
 845   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 846   {
 847     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 848
 849     const u32x pw_len = pw_l_len + pw_r_len;
 850
 851     /**
 852      * concat password candidate
 853      */
 854
 855     u32x wordl0[4] = { 0 };
 856     u32x wordl1[4] = { 0 };
 857     u32x wordl2[4] = { 0 };
 858     u32x wordl3[4] = { 0 };
 859
 860     wordl0[0] = pw_buf0[0];
 861     wordl0[1] = pw_buf0[1];
 862     wordl0[2] = pw_buf0[2];
 863     wordl0[3] = pw_buf0[3];
 864     wordl1[0] = pw_buf1[0];
 865     wordl1[1] = pw_buf1[1];
 866     wordl1[2] = pw_buf1[2];
 867     wordl1[3] = pw_buf1[3];
 868
 869     u32x wordr0[4] = { 0 };
 870     u32x wordr1[4] = { 0 };
 871     u32x wordr2[4] = { 0 };
 872     u32x wordr3[4] = { 0 };
 873
 874     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 875     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 876     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 877     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 878     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 879     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 880     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 881     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 882
 883     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 884     {
 885       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 886     }
 887     else
 888     {
 889       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 890     }
 891
 892     u32x w0[4];
 893     u32x w1[4];
 894     u32x w2[4];
 895     u32x w3[4];
 896
 897     w0[0] = wordl0[0] | wordr0[0];
 898     w0[1] = wordl0[1] | wordr0[1];
 899     w0[2] = wordl0[2] | wordr0[2];
 900     w0[3] = wordl0[3] | wordr0[3];
 901     w1[0] = wordl1[0] | wordr1[0];
 902     w1[1] = wordl1[1] | wordr1[1];
 903     w1[2] = wordl1[2] | wordr1[2];
 904     w1[3] = wordl1[3] | wordr1[3];
 905     w2[0] = wordl2[0] | wordr2[0];
 906     w2[1] = wordl2[1] | wordr2[1];
 907     w2[2] = wordl2[2] | wordr2[2];
 908     w2[3] = wordl2[3] | wordr2[3];
 909     w3[0] = wordl3[0] | wordr3[0];
 910     w3[1] = wordl3[1] | wordr3[1];
 911     w3[2] = wordl3[2] | wordr3[2];
 912     w3[3] = wordl3[3] | wordr3[3];
 913
 914     u32x w0_t[4];
 915     u32x w1_t[4];
 916     u32x w2_t[4];
 917     u32x w3_t[4];
 918
 919     make_unicode (w0, w0_t, w1_t);
 920     make_unicode (w1, w2_t, w3_t);
 921
 922     w3_t[2] = pw_len * 8 * 2;
 923     w3_t[3] = 0;
 924
 925     u32x a = MD4M_A;
 926     u32x b = MD4M_B;
 927     u32x c = MD4M_C;
 928     u32x d = MD4M_D;
 929
 930     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 931     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 932     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 933     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 934     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 935     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 936     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 937     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 938     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 939     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 940     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 941     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 942     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 943     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 944     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 945     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 946
 947     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 948     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 949     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 950     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 951     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 952     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 953     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 954     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 955     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 956     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 957     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 958     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 959     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 960     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 961     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 962     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 963
 964     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 965     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 966     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 967     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 968     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 969     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 970     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 971     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 972     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 973     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 974     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 975     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 976     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 977     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 978
 979     if (MATCHES_NONE_VS (((d + MD4M_D) >> 16), s2)) continue;
 980
 981     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 982     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 983
 984     a += MD4M_A;
 985     b += MD4M_B;
 986     c += MD4M_C;
 987     d += MD4M_D;
 988
 989     /**
 990      * DES1
 991      */
 992
 993     u32x key[2];
 994
 995     transform_netntlmv1_key (a, b, key);
 996
 997     u32x Kc[16];
 998     u32x Kd[16];
 999
1000     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
1001
1002     u32x data[2];
1003
1004     data[0] = s0;
1005     data[1] = s1;
1006
1007     u32x iv1[2];
1008
1009     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
1010
1011     /**
1012      * DES2
1013      */
1014
1015     /*
1016     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
1017
1018     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
1019
1020     u32x iv2[2];
1021
1022     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
1023     */
1024
1025     u32x iv2[2];
1026
1027     iv2[0] = search[2];
1028     iv2[1] = search[3];
1029
1030     /**
1031      * compare
1032      */
1033
1034     COMPARE_S_SIMD (iv1[0], iv1[1], iv2[0], iv2[1]);
1035   }
1036 }
1037
1038 __kernel void m05500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1039 {
1040 }
1041
1042 __kernel void m05500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1043 {
1044 }