OpenCL/m03000_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "check_single_comp4.c"
  23 #define COMPARE_M "check_multi_comp4.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   {
  48     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  49     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  50     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  51     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  52     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  53     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  54     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  55     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  56     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  57     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  58     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  59     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  60     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  61     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  62     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  63     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  64   },
  65   {
  66     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  67     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  68     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  69     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  70     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  71     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  72     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  73     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  74     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  75     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  76     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  77     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  78     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  79     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  80     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  81     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  82   },
  83   {
  84     0x04000001, 0x04040100, 0x00000100, 0x04000101,
  85     0x00040001, 0x04000000, 0x04000101, 0x00040100,
  86     0x04000100, 0x00040000, 0x04040000, 0x00000001,
  87     0x04040101, 0x00000101, 0x00000001, 0x04040001,
  88     0x00000000, 0x00040001, 0x04040100, 0x00000100,
  89     0x00000101, 0x04040101, 0x00040000, 0x04000001,
  90     0x04040001, 0x04000100, 0x00040101, 0x04040000,
  91     0x00040100, 0x00000000, 0x04000000, 0x00040101,
  92     0x04040100, 0x00000100, 0x00000001, 0x00040000,
  93     0x00000101, 0x00040001, 0x04040000, 0x04000101,
  94     0x00000000, 0x04040100, 0x00040100, 0x04040001,
  95     0x00040001, 0x04000000, 0x04040101, 0x00000001,
  96     0x00040101, 0x04000001, 0x04000000, 0x04040101,
  97     0x00040000, 0x04000100, 0x04000101, 0x00040100,
  98     0x04000100, 0x00000000, 0x04040001, 0x00000101,
  99     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 100   },
 101   {
 102     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 103     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 104     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 105     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 106     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 107     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 108     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 109     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 110     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 111     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 112     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 113     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 114     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 115     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 116     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 117     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 118   },
 119   {
 120     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 121     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 122     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 123     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 124     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 125     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 126     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 127     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 128     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 129     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 130     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 131     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 132     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 133     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 134     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 135     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 136   },
 137   {
 138     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 139     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 140     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 141     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 142     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 143     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 144     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 145     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 146     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 147     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 148     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 149     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 150     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 151     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 152     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 153     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 154   },
 155   {
 156     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 157     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 158     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 159     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 160     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 161     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 162     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 163     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 164     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 165     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 166     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 167     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 168     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 169     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 170     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 171     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 172   },
 173   {
 174     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 175     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 176     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 177     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 178     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 179     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 180     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 181     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 182     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 183     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 184     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 185     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 186     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 187     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 188     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 189     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 190   },
 191 };
 192
 193 __constant u32 c_skb[8][64] =
 194 {
 195   {
 196     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 197     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 198     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 199     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 200     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 201     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 202     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 203     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 204     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 205     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 206     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 207     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 208     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 209     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 210     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 211   },
 212   {
 213     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 214     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 215     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 216     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 217     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 218     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 219     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 220     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 221     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 222     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 223     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 224     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 225     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 226     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 227     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 228     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 229   },
 230   {
 231     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 232     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 233     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 234     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 235     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 236     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 237     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 238     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 239     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 240     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 241     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 242     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 243     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 244     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 245     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 246     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 247   },
 248   {
 249     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 250     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 251     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 252     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 253     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 254     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 255     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 256     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 257     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 258     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 259     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 260     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 261     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 262     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 263     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 264     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 265   },
 266   {
 267     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 268     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 269     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 270     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 271     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 272     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 273     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 274     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 275     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 276     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 277     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 278     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 279     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 280     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 281     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 282     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 283   },
 284   {
 285     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 286     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 287     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 288     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 289     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 290     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 291     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 292     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 293     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 294     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 295     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 296     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 297     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 298     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 299     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 300     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 301   },
 302   {
 303     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 304     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 305     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 306     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 307     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 308     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 309     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 310     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 311     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 312     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 313     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 314     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 315     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 316     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 317     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 318     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 319   },
 320   {
 321     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 322     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 323     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 324     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 325     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 326     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 327     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 328     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 329     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 330     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 331     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 332     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 333     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 334     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 335     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 336     0x00002822, 0x04002822, 0x00042822, 0x04042822
 337   },
 338 };
 339
 340 #define LM_IV_0_IP_RR3 0x2400b807
 341 #define LM_IV_1_IP_RR3 0xaa190747
 342
 343 #define BOX(i,n,S) (S)[(n)][(i)]
 344
 345 static void _des_crypt_encrypt (u32 iv[2], u32 data[2], u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 346 {
 347   u32 r = data[0];
 348   u32 l = data[1];
 349
 350   #pragma unroll 16
 351   for (u32 i = 0; i < 16; i += 2)
 352   {
 353     u32 u;
 354     u32 t;
 355
 356     u = Kc[i + 0] ^ rotl32 (r, 30u);
 357     t = Kd[i + 0] ^ rotl32 (r, 26u);
 358
 359     l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 360        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 361        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 362        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 363        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 364        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 365        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 366        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 367
 368     u = Kc[i + 1] ^ rotl32 (l, 30u);
 369     t = Kd[i + 1] ^ rotl32 (l, 26u);
 370
 371     r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 372        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 373        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 374        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 375        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 376        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 377        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 378        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 379   }
 380
 381   iv[0] = rotl32 (l, 29);
 382   iv[1] = rotl32 (r, 29);
 383 }
 384
 385 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 386 {
 387   u32 tt;
 388
 389   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 390   HPERM_OP (c,    tt, 2, 0xcccc0000);
 391   HPERM_OP (d,    tt, 2, 0xcccc0000);
 392   PERM_OP  (d, c, tt, 1, 0x55555555);
 393   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 394   PERM_OP  (d, c, tt, 1, 0x55555555);
 395
 396   d = ((d & 0x000000ff) << 16)
 397     | ((d & 0x0000ff00) <<  0)
 398     | ((d & 0x00ff0000) >> 16)
 399     | ((c & 0xf0000000) >>  4);
 400
 401   c = c & 0x0fffffff;
 402
 403   #pragma unroll 16
 404   for (u32 i = 0; i < 16; i++)
 405   {
 406     if ((i < 2) || (i == 8) || (i == 15))
 407     {
 408       c = ((c >> 1) | (c << 27));
 409       d = ((d >> 1) | (d << 27));
 410     }
 411     else
 412     {
 413       c = ((c >> 2) | (c << 26));
 414       d = ((d >> 2) | (d << 26));
 415     }
 416
 417     c = c & 0x0fffffff;
 418     d = d & 0x0fffffff;
 419
 420     const u32 c00 = (c >>  0) & 0x0000003f;
 421     const u32 c06 = (c >>  6) & 0x00383003;
 422     const u32 c07 = (c >>  7) & 0x0000003c;
 423     const u32 c13 = (c >> 13) & 0x0000060f;
 424     const u32 c20 = (c >> 20) & 0x00000001;
 425
 426     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 427           | BOX (((c06 >>  0) & 0xff)
 428                 |((c07 >>  0) & 0xff), 1, s_skb)
 429           | BOX (((c13 >>  0) & 0xff)
 430                 |((c06 >>  8) & 0xff), 2, s_skb)
 431           | BOX (((c20 >>  0) & 0xff)
 432                 |((c13 >>  8) & 0xff)
 433                 |((c06 >> 16) & 0xff), 3, s_skb);
 434
 435     const u32 d00 = (d >>  0) & 0x00003c3f;
 436     const u32 d07 = (d >>  7) & 0x00003f03;
 437     const u32 d21 = (d >> 21) & 0x0000000f;
 438     const u32 d22 = (d >> 22) & 0x00000030;
 439
 440     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 441           | BOX (((d07 >>  0) & 0xff)
 442                 |((d00 >>  8) & 0xff), 5, s_skb)
 443           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 444           | BOX (((d21 >>  0) & 0xff)
 445                 |((d22 >>  0) & 0xff), 7, s_skb);
 446
 447     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 448     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 449   }
 450 }
 451
 452 static void transform_netntlmv1_key (const u32 w0, const u32 w1, u32 out[2])
 453 {
 454   const uchar4 t0 = as_uchar4 (w0);
 455   const uchar4 t1 = as_uchar4 (w1);
 456
 457   uchar4 k0;
 458   uchar4 k1;
 459
 460   k0.s0 =                (t0.s0 >> 0);
 461   k0.s1 = (t0.s0 << 7) | (t0.s1 >> 1);
 462   k0.s2 = (t0.s1 << 6) | (t0.s2 >> 2);
 463   k0.s3 = (t0.s2 << 5) | (t0.s3 >> 3);
 464   k1.s0 = (t0.s3 << 4) | (t1.s0 >> 4);
 465   k1.s1 = (t1.s0 << 3) | (t1.s1 >> 5);
 466   k1.s2 = (t1.s1 << 2) | (t1.s2 >> 6);
 467   k1.s3 = (t1.s2 << 1);
 468
 469   out[0] = as_uint (k0);
 470   out[1] = as_uint (k1);
 471 }
 472
 473 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 474 {
 475   /**
 476    * modifier
 477    */
 478
 479   const u32 lid = get_local_id (0);
 480
 481   /**
 482    * base
 483    */
 484
 485   const u32 gid = get_global_id (0);
 486
 487   u32 pw_buf[4];
 488
 489   pw_buf[0] = pws[gid].i[ 0];
 490   pw_buf[1] = pws[gid].i[ 1];
 491   pw_buf[2] = 0;
 492   pw_buf[3] = 0;
 493
 494   const u32 pw_len = pws[gid].pw_len;
 495
 496   /**
 497    * sbox, kbox
 498    */
 499
 500   __local u32 s_SPtrans[8][64];
 501   __local u32 s_skb[8][64];
 502
 503   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 504   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 505   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 506   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 507   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 508   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 509   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 510   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 511
 512   s_skb[0][lid] = c_skb[0][lid];
 513   s_skb[1][lid] = c_skb[1][lid];
 514   s_skb[2][lid] = c_skb[2][lid];
 515   s_skb[3][lid] = c_skb[3][lid];
 516   s_skb[4][lid] = c_skb[4][lid];
 517   s_skb[5][lid] = c_skb[5][lid];
 518   s_skb[6][lid] = c_skb[6][lid];
 519   s_skb[7][lid] = c_skb[7][lid];
 520
 521   barrier (CLK_LOCAL_MEM_FENCE);
 522
 523   if (gid >= gid_max) return;
 524
 525   /**
 526    * main
 527    */
 528
 529   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 530   {
 531     u32 w0[4];
 532
 533     w0[0] = pw_buf[0];
 534     w0[1] = pw_buf[1];
 535     w0[2] = pw_buf[2];
 536     w0[3] = pw_buf[3];
 537
 538     u32 w1[4];
 539
 540     w1[0] = 0;
 541     w1[1] = 0;
 542     w1[2] = 0;
 543     w1[3] = 0;
 544
 545     u32 w2[4];
 546
 547     w2[0] = 0;
 548     w2[1] = 0;
 549     w2[2] = 0;
 550     w2[3] = 0;
 551
 552     u32 w3[4];
 553
 554     w3[0] = 0;
 555     w3[1] = 0;
 556     w3[2] = 0;
 557     w3[3] = 0;
 558
 559     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 560
 561     out_len = (out_len >= 7) ? 7 : out_len;
 562
 563     u32 key[2];
 564
 565     transform_netntlmv1_key (w0[0], w0[1], key);
 566
 567     const u32 c = key[0];
 568     const u32 d = key[1];
 569
 570     u32 Kc[16];
 571     u32 Kd[16];
 572
 573     _des_crypt_keysetup (c, d, Kc, Kd, s_skb);
 574
 575     u32 data[2];
 576
 577     data[0] = LM_IV_0_IP_RR3;
 578     data[1] = LM_IV_1_IP_RR3;
 579
 580     u32 iv[2];
 581
 582     _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 583
 584     const u32 r0 = iv[0];
 585     const u32 r1 = iv[1];
 586     const u32 r2 = 0;
 587     const u32 r3 = 0;
 588
 589     #include COMPARE_M
 590   }
 591 }
 592
 593 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 594 {
 595 }
 596
 597 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 598 {
 599 }
 600
 601 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 602 {
 603   /**
 604    * modifier
 605    */
 606
 607   const u32 lid = get_local_id (0);
 608
 609   /**
 610    * base
 611    */
 612
 613   const u32 gid = get_global_id (0);
 614
 615   u32 pw_buf[4];
 616
 617   pw_buf[0] = pws[gid].i[ 0];
 618   pw_buf[1] = pws[gid].i[ 1];
 619   pw_buf[2] = 0;
 620   pw_buf[3] = 0;
 621
 622   const u32 pw_len = pws[gid].pw_len;
 623
 624   /**
 625    * sbox, kbox
 626    */
 627
 628   __local u32 s_SPtrans[8][64];
 629   __local u32 s_skb[8][64];
 630
 631   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 632   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 633   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 634   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 635   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 636   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 637   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 638   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 639
 640   s_skb[0][lid] = c_skb[0][lid];
 641   s_skb[1][lid] = c_skb[1][lid];
 642   s_skb[2][lid] = c_skb[2][lid];
 643   s_skb[3][lid] = c_skb[3][lid];
 644   s_skb[4][lid] = c_skb[4][lid];
 645   s_skb[5][lid] = c_skb[5][lid];
 646   s_skb[6][lid] = c_skb[6][lid];
 647   s_skb[7][lid] = c_skb[7][lid];
 648
 649   barrier (CLK_LOCAL_MEM_FENCE);
 650
 651   if (gid >= gid_max) return;
 652
 653   /**
 654    * digest
 655    */
 656
 657   const u32 search[4] =
 658   {
 659     digests_buf[digests_offset].digest_buf[DGST_R0],
 660     digests_buf[digests_offset].digest_buf[DGST_R1],
 661     digests_buf[digests_offset].digest_buf[DGST_R2],
 662     digests_buf[digests_offset].digest_buf[DGST_R3]
 663   };
 664
 665   /**
 666    * main
 667    */
 668
 669   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 670   {
 671     u32 w0[4];
 672
 673     w0[0] = pw_buf[0];
 674     w0[1] = pw_buf[1];
 675     w0[2] = pw_buf[2];
 676     w0[3] = pw_buf[3];
 677
 678     u32 w1[4];
 679
 680     w1[0] = 0;
 681     w1[1] = 0;
 682     w1[2] = 0;
 683     w1[3] = 0;
 684
 685     u32 w2[4];
 686
 687     w2[0] = 0;
 688     w2[1] = 0;
 689     w2[2] = 0;
 690     w2[3] = 0;
 691
 692     u32 w3[4];
 693
 694     w3[0] = 0;
 695     w3[1] = 0;
 696     w3[2] = 0;
 697     w3[3] = 0;
 698
 699     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 700
 701     out_len = (out_len >= 7) ? 7 : out_len;
 702
 703     u32 key[2];
 704
 705     transform_netntlmv1_key (w0[0], w0[1], key);
 706
 707     const u32 c = key[0];
 708     const u32 d = key[1];
 709
 710     u32 Kc[16];
 711     u32 Kd[16];
 712
 713     _des_crypt_keysetup (c, d, Kc, Kd, s_skb);
 714
 715     u32 data[2];
 716
 717     data[0] = LM_IV_0_IP_RR3;
 718     data[1] = LM_IV_1_IP_RR3;
 719
 720     u32 iv[2];
 721
 722     _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 723
 724     const u32 r0 = iv[0];
 725     const u32 r1 = iv[1];
 726     const u32 r2 = 0;
 727     const u32 r3 = 0;
 728
 729     #include COMPARE_S
 730   }
 731 }
 732
 733 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 734 {
 735 }
 736
 737 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m03000_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 738 {
 739 }