OpenCL/m12400.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19
  20 #define COMPARE_S "check_single_comp4.c"
  21 #define COMPARE_M "check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   /* nibble 0 */
  64   0x00820200, 0x00020000, 0x80800000, 0x80820200,
  65   0x00800000, 0x80020200, 0x80020000, 0x80800000,
  66   0x80020200, 0x00820200, 0x00820000, 0x80000200,
  67   0x80800200, 0x00800000, 0x00000000, 0x80020000,
  68   0x00020000, 0x80000000, 0x00800200, 0x00020200,
  69   0x80820200, 0x00820000, 0x80000200, 0x00800200,
  70   0x80000000, 0x00000200, 0x00020200, 0x80820000,
  71   0x00000200, 0x80800200, 0x80820000, 0x00000000,
  72   0x00000000, 0x80820200, 0x00800200, 0x80020000,
  73   0x00820200, 0x00020000, 0x80000200, 0x00800200,
  74   0x80820000, 0x00000200, 0x00020200, 0x80800000,
  75   0x80020200, 0x80000000, 0x80800000, 0x00820000,
  76   0x80820200, 0x00020200, 0x00820000, 0x80800200,
  77   0x00800000, 0x80000200, 0x80020000, 0x00000000,
  78   0x00020000, 0x00800000, 0x80800200, 0x00820200,
  79   0x80000000, 0x80820000, 0x00000200, 0x80020200,
  80   /* nibble 1 */
  81   0x10042004, 0x00000000, 0x00042000, 0x10040000,
  82   0x10000004, 0x00002004, 0x10002000, 0x00042000,
  83   0x00002000, 0x10040004, 0x00000004, 0x10002000,
  84   0x00040004, 0x10042000, 0x10040000, 0x00000004,
  85   0x00040000, 0x10002004, 0x10040004, 0x00002000,
  86   0x00042004, 0x10000000, 0x00000000, 0x00040004,
  87   0x10002004, 0x00042004, 0x10042000, 0x10000004,
  88   0x10000000, 0x00040000, 0x00002004, 0x10042004,
  89   0x00040004, 0x10042000, 0x10002000, 0x00042004,
  90   0x10042004, 0x00040004, 0x10000004, 0x00000000,
  91   0x10000000, 0x00002004, 0x00040000, 0x10040004,
  92   0x00002000, 0x10000000, 0x00042004, 0x10002004,
  93   0x10042000, 0x00002000, 0x00000000, 0x10000004,
  94   0x00000004, 0x10042004, 0x00042000, 0x10040000,
  95   0x10040004, 0x00040000, 0x00002004, 0x10002000,
  96   0x10002004, 0x00000004, 0x10040000, 0x00042000,
  97   /* nibble 2 */
  98   0x41000000, 0x01010040, 0x00000040, 0x41000040,
  99   0x40010000, 0x01000000, 0x41000040, 0x00010040,
 100   0x01000040, 0x00010000, 0x01010000, 0x40000000,
 101   0x41010040, 0x40000040, 0x40000000, 0x41010000,
 102   0x00000000, 0x40010000, 0x01010040, 0x00000040,
 103   0x40000040, 0x41010040, 0x00010000, 0x41000000,
 104   0x41010000, 0x01000040, 0x40010040, 0x01010000,
 105   0x00010040, 0x00000000, 0x01000000, 0x40010040,
 106   0x01010040, 0x00000040, 0x40000000, 0x00010000,
 107   0x40000040, 0x40010000, 0x01010000, 0x41000040,
 108   0x00000000, 0x01010040, 0x00010040, 0x41010000,
 109   0x40010000, 0x01000000, 0x41010040, 0x40000000,
 110   0x40010040, 0x41000000, 0x01000000, 0x41010040,
 111   0x00010000, 0x01000040, 0x41000040, 0x00010040,
 112   0x01000040, 0x00000000, 0x41010000, 0x40000040,
 113   0x41000000, 0x40010040, 0x00000040, 0x01010000,
 114   /* nibble 3 */
 115   0x00100402, 0x04000400, 0x00000002, 0x04100402,
 116   0x00000000, 0x04100000, 0x04000402, 0x00100002,
 117   0x04100400, 0x04000002, 0x04000000, 0x00000402,
 118   0x04000002, 0x00100402, 0x00100000, 0x04000000,
 119   0x04100002, 0x00100400, 0x00000400, 0x00000002,
 120   0x00100400, 0x04000402, 0x04100000, 0x00000400,
 121   0x00000402, 0x00000000, 0x00100002, 0x04100400,
 122   0x04000400, 0x04100002, 0x04100402, 0x00100000,
 123   0x04100002, 0x00000402, 0x00100000, 0x04000002,
 124   0x00100400, 0x04000400, 0x00000002, 0x04100000,
 125   0x04000402, 0x00000000, 0x00000400, 0x00100002,
 126   0x00000000, 0x04100002, 0x04100400, 0x00000400,
 127   0x04000000, 0x04100402, 0x00100402, 0x00100000,
 128   0x04100402, 0x00000002, 0x04000400, 0x00100402,
 129   0x00100002, 0x00100400, 0x04100000, 0x04000402,
 130   0x00000402, 0x04000000, 0x04000002, 0x04100400,
 131   /* nibble 4 */
 132   0x02000000, 0x00004000, 0x00000100, 0x02004108,
 133   0x02004008, 0x02000100, 0x00004108, 0x02004000,
 134   0x00004000, 0x00000008, 0x02000008, 0x00004100,
 135   0x02000108, 0x02004008, 0x02004100, 0x00000000,
 136   0x00004100, 0x02000000, 0x00004008, 0x00000108,
 137   0x02000100, 0x00004108, 0x00000000, 0x02000008,
 138   0x00000008, 0x02000108, 0x02004108, 0x00004008,
 139   0x02004000, 0x00000100, 0x00000108, 0x02004100,
 140   0x02004100, 0x02000108, 0x00004008, 0x02004000,
 141   0x00004000, 0x00000008, 0x02000008, 0x02000100,
 142   0x02000000, 0x00004100, 0x02004108, 0x00000000,
 143   0x00004108, 0x02000000, 0x00000100, 0x00004008,
 144   0x02000108, 0x00000100, 0x00000000, 0x02004108,
 145   0x02004008, 0x02004100, 0x00000108, 0x00004000,
 146   0x00004100, 0x02004008, 0x02000100, 0x00000108,
 147   0x00000008, 0x00004108, 0x02004000, 0x02000008,
 148   /* nibble 5 */
 149   0x20000010, 0x00080010, 0x00000000, 0x20080800,
 150   0x00080010, 0x00000800, 0x20000810, 0x00080000,
 151   0x00000810, 0x20080810, 0x00080800, 0x20000000,
 152   0x20000800, 0x20000010, 0x20080000, 0x00080810,
 153   0x00080000, 0x20000810, 0x20080010, 0x00000000,
 154   0x00000800, 0x00000010, 0x20080800, 0x20080010,
 155   0x20080810, 0x20080000, 0x20000000, 0x00000810,
 156   0x00000010, 0x00080800, 0x00080810, 0x20000800,
 157   0x00000810, 0x20000000, 0x20000800, 0x00080810,
 158   0x20080800, 0x00080010, 0x00000000, 0x20000800,
 159   0x20000000, 0x00000800, 0x20080010, 0x00080000,
 160   0x00080010, 0x20080810, 0x00080800, 0x00000010,
 161   0x20080810, 0x00080800, 0x00080000, 0x20000810,
 162   0x20000010, 0x20080000, 0x00080810, 0x00000000,
 163   0x00000800, 0x20000010, 0x20000810, 0x20080800,
 164   0x20080000, 0x00000810, 0x00000010, 0x20080010,
 165   /* nibble 6 */
 166   0x00001000, 0x00000080, 0x00400080, 0x00400001,
 167   0x00401081, 0x00001001, 0x00001080, 0x00000000,
 168   0x00400000, 0x00400081, 0x00000081, 0x00401000,
 169   0x00000001, 0x00401080, 0x00401000, 0x00000081,
 170   0x00400081, 0x00001000, 0x00001001, 0x00401081,
 171   0x00000000, 0x00400080, 0x00400001, 0x00001080,
 172   0x00401001, 0x00001081, 0x00401080, 0x00000001,
 173   0x00001081, 0x00401001, 0x00000080, 0x00400000,
 174   0x00001081, 0x00401000, 0x00401001, 0x00000081,
 175   0x00001000, 0x00000080, 0x00400000, 0x00401001,
 176   0x00400081, 0x00001081, 0x00001080, 0x00000000,
 177   0x00000080, 0x00400001, 0x00000001, 0x00400080,
 178   0x00000000, 0x00400081, 0x00400080, 0x00001080,
 179   0x00000081, 0x00001000, 0x00401081, 0x00400000,
 180   0x00401080, 0x00000001, 0x00001001, 0x00401081,
 181   0x00400001, 0x00401080, 0x00401000, 0x00001001,
 182   /* nibble 7 */
 183   0x08200020, 0x08208000, 0x00008020, 0x00000000,
 184   0x08008000, 0x00200020, 0x08200000, 0x08208020,
 185   0x00000020, 0x08000000, 0x00208000, 0x00008020,
 186   0x00208020, 0x08008020, 0x08000020, 0x08200000,
 187   0x00008000, 0x00208020, 0x00200020, 0x08008000,
 188   0x08208020, 0x08000020, 0x00000000, 0x00208000,
 189   0x08000000, 0x00200000, 0x08008020, 0x08200020,
 190   0x00200000, 0x00008000, 0x08208000, 0x00000020,
 191   0x00200000, 0x00008000, 0x08000020, 0x08208020,
 192   0x00008020, 0x08000000, 0x00000000, 0x00208000,
 193   0x08200020, 0x08008020, 0x08008000, 0x00200020,
 194   0x08208000, 0x00000020, 0x00200020, 0x08008000,
 195   0x08208020, 0x00200000, 0x08200000, 0x08000020,
 196   0x00208000, 0x00008020, 0x08008020, 0x08200000,
 197   0x00000020, 0x08208000, 0x00208020, 0x00000000,
 198   0x08000000, 0x08200020, 0x00008000, 0x00208020
 199 };
 200
 201 __constant u32 c_skb[8][64] =
 202 {
 203   /* for C bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 204   0x00000000, 0x00000010, 0x20000000, 0x20000010,
 205   0x00010000, 0x00010010, 0x20010000, 0x20010010,
 206   0x00000800, 0x00000810, 0x20000800, 0x20000810,
 207   0x00010800, 0x00010810, 0x20010800, 0x20010810,
 208   0x00000020, 0x00000030, 0x20000020, 0x20000030,
 209   0x00010020, 0x00010030, 0x20010020, 0x20010030,
 210   0x00000820, 0x00000830, 0x20000820, 0x20000830,
 211   0x00010820, 0x00010830, 0x20010820, 0x20010830,
 212   0x00080000, 0x00080010, 0x20080000, 0x20080010,
 213   0x00090000, 0x00090010, 0x20090000, 0x20090010,
 214   0x00080800, 0x00080810, 0x20080800, 0x20080810,
 215   0x00090800, 0x00090810, 0x20090800, 0x20090810,
 216   0x00080020, 0x00080030, 0x20080020, 0x20080030,
 217   0x00090020, 0x00090030, 0x20090020, 0x20090030,
 218   0x00080820, 0x00080830, 0x20080820, 0x20080830,
 219   0x00090820, 0x00090830, 0x20090820, 0x20090830,
 220   /* for C bits (numbered as per FIPS 46) 7 8 10 11 12 13 */
 221   0x00000000, 0x02000000, 0x00002000, 0x02002000,
 222   0x00200000, 0x02200000, 0x00202000, 0x02202000,
 223   0x00000004, 0x02000004, 0x00002004, 0x02002004,
 224   0x00200004, 0x02200004, 0x00202004, 0x02202004,
 225   0x00000400, 0x02000400, 0x00002400, 0x02002400,
 226   0x00200400, 0x02200400, 0x00202400, 0x02202400,
 227   0x00000404, 0x02000404, 0x00002404, 0x02002404,
 228   0x00200404, 0x02200404, 0x00202404, 0x02202404,
 229   0x10000000, 0x12000000, 0x10002000, 0x12002000,
 230   0x10200000, 0x12200000, 0x10202000, 0x12202000,
 231   0x10000004, 0x12000004, 0x10002004, 0x12002004,
 232   0x10200004, 0x12200004, 0x10202004, 0x12202004,
 233   0x10000400, 0x12000400, 0x10002400, 0x12002400,
 234   0x10200400, 0x12200400, 0x10202400, 0x12202400,
 235   0x10000404, 0x12000404, 0x10002404, 0x12002404,
 236   0x10200404, 0x12200404, 0x10202404, 0x12202404,
 237   /* for C bits (numbered as per FIPS 46) 14 15 16 17 19 20 */
 238   0x00000000, 0x00000001, 0x00040000, 0x00040001,
 239   0x01000000, 0x01000001, 0x01040000, 0x01040001,
 240   0x00000002, 0x00000003, 0x00040002, 0x00040003,
 241   0x01000002, 0x01000003, 0x01040002, 0x01040003,
 242   0x00000200, 0x00000201, 0x00040200, 0x00040201,
 243   0x01000200, 0x01000201, 0x01040200, 0x01040201,
 244   0x00000202, 0x00000203, 0x00040202, 0x00040203,
 245   0x01000202, 0x01000203, 0x01040202, 0x01040203,
 246   0x08000000, 0x08000001, 0x08040000, 0x08040001,
 247   0x09000000, 0x09000001, 0x09040000, 0x09040001,
 248   0x08000002, 0x08000003, 0x08040002, 0x08040003,
 249   0x09000002, 0x09000003, 0x09040002, 0x09040003,
 250   0x08000200, 0x08000201, 0x08040200, 0x08040201,
 251   0x09000200, 0x09000201, 0x09040200, 0x09040201,
 252   0x08000202, 0x08000203, 0x08040202, 0x08040203,
 253   0x09000202, 0x09000203, 0x09040202, 0x09040203,
 254   /* for C bits (numbered as per FIPS 46) 21 23 24 26 27 28 */
 255   0x00000000, 0x00100000, 0x00000100, 0x00100100,
 256   0x00000008, 0x00100008, 0x00000108, 0x00100108,
 257   0x00001000, 0x00101000, 0x00001100, 0x00101100,
 258   0x00001008, 0x00101008, 0x00001108, 0x00101108,
 259   0x04000000, 0x04100000, 0x04000100, 0x04100100,
 260   0x04000008, 0x04100008, 0x04000108, 0x04100108,
 261   0x04001000, 0x04101000, 0x04001100, 0x04101100,
 262   0x04001008, 0x04101008, 0x04001108, 0x04101108,
 263   0x00020000, 0x00120000, 0x00020100, 0x00120100,
 264   0x00020008, 0x00120008, 0x00020108, 0x00120108,
 265   0x00021000, 0x00121000, 0x00021100, 0x00121100,
 266   0x00021008, 0x00121008, 0x00021108, 0x00121108,
 267   0x04020000, 0x04120000, 0x04020100, 0x04120100,
 268   0x04020008, 0x04120008, 0x04020108, 0x04120108,
 269   0x04021000, 0x04121000, 0x04021100, 0x04121100,
 270   0x04021008, 0x04121008, 0x04021108, 0x04121108,
 271   /* for D bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 272   0x00000000, 0x10000000, 0x00010000, 0x10010000,
 273   0x00000004, 0x10000004, 0x00010004, 0x10010004,
 274   0x20000000, 0x30000000, 0x20010000, 0x30010000,
 275   0x20000004, 0x30000004, 0x20010004, 0x30010004,
 276   0x00100000, 0x10100000, 0x00110000, 0x10110000,
 277   0x00100004, 0x10100004, 0x00110004, 0x10110004,
 278   0x20100000, 0x30100000, 0x20110000, 0x30110000,
 279   0x20100004, 0x30100004, 0x20110004, 0x30110004,
 280   0x00001000, 0x10001000, 0x00011000, 0x10011000,
 281   0x00001004, 0x10001004, 0x00011004, 0x10011004,
 282   0x20001000, 0x30001000, 0x20011000, 0x30011000,
 283   0x20001004, 0x30001004, 0x20011004, 0x30011004,
 284   0x00101000, 0x10101000, 0x00111000, 0x10111000,
 285   0x00101004, 0x10101004, 0x00111004, 0x10111004,
 286   0x20101000, 0x30101000, 0x20111000, 0x30111000,
 287   0x20101004, 0x30101004, 0x20111004, 0x30111004,
 288   /* for D bits (numbered as per FIPS 46) 8 9 11 12 13 14 */
 289   0x00000000, 0x08000000, 0x00000008, 0x08000008,
 290   0x00000400, 0x08000400, 0x00000408, 0x08000408,
 291   0x00020000, 0x08020000, 0x00020008, 0x08020008,
 292   0x00020400, 0x08020400, 0x00020408, 0x08020408,
 293   0x00000001, 0x08000001, 0x00000009, 0x08000009,
 294   0x00000401, 0x08000401, 0x00000409, 0x08000409,
 295   0x00020001, 0x08020001, 0x00020009, 0x08020009,
 296   0x00020401, 0x08020401, 0x00020409, 0x08020409,
 297   0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 298   0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 299   0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 300   0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 301   0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 302   0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 303   0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 304   0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 305   /* for D bits (numbered as per FIPS 46) 16 17 18 19 20 21 */
 306   0x00000000, 0x00000100, 0x00080000, 0x00080100,
 307   0x01000000, 0x01000100, 0x01080000, 0x01080100,
 308   0x00000010, 0x00000110, 0x00080010, 0x00080110,
 309   0x01000010, 0x01000110, 0x01080010, 0x01080110,
 310   0x00200000, 0x00200100, 0x00280000, 0x00280100,
 311   0x01200000, 0x01200100, 0x01280000, 0x01280100,
 312   0x00200010, 0x00200110, 0x00280010, 0x00280110,
 313   0x01200010, 0x01200110, 0x01280010, 0x01280110,
 314   0x00000200, 0x00000300, 0x00080200, 0x00080300,
 315   0x01000200, 0x01000300, 0x01080200, 0x01080300,
 316   0x00000210, 0x00000310, 0x00080210, 0x00080310,
 317   0x01000210, 0x01000310, 0x01080210, 0x01080310,
 318   0x00200200, 0x00200300, 0x00280200, 0x00280300,
 319   0x01200200, 0x01200300, 0x01280200, 0x01280300,
 320   0x00200210, 0x00200310, 0x00280210, 0x00280310,
 321   0x01200210, 0x01200310, 0x01280210, 0x01280310,
 322   /* for D bits (numbered as per FIPS 46) 22 23 24 25 27 28 */
 323   0x00000000, 0x04000000, 0x00040000, 0x04040000,
 324   0x00000002, 0x04000002, 0x00040002, 0x04040002,
 325   0x00002000, 0x04002000, 0x00042000, 0x04042000,
 326   0x00002002, 0x04002002, 0x00042002, 0x04042002,
 327   0x00000020, 0x04000020, 0x00040020, 0x04040020,
 328   0x00000022, 0x04000022, 0x00040022, 0x04040022,
 329   0x00002020, 0x04002020, 0x00042020, 0x04042020,
 330   0x00002022, 0x04002022, 0x00042022, 0x04042022,
 331   0x00000800, 0x04000800, 0x00040800, 0x04040800,
 332   0x00000802, 0x04000802, 0x00040802, 0x04040802,
 333   0x00002800, 0x04002800, 0x00042800, 0x04042800,
 334   0x00002802, 0x04002802, 0x00042802, 0x04042802,
 335   0x00000820, 0x04000820, 0x00040820, 0x04040820,
 336   0x00000822, 0x04000822, 0x00040822, 0x04040822,
 337   0x00002820, 0x04002820, 0x00042820, 0x04042820,
 338   0x00002822, 0x04002822, 0x00042822, 0x04042822
 339 };
 340
 341 #ifdef VECT_SIZE1
 342 #define BOX(i,n,S) (u32x) ((S)[(n)][(i)])
 343 #endif
 344
 345 #ifdef VECT_SIZE2
 346 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 347 #endif
 348
 349 #ifdef VECT_SIZE4
 350 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 351 #endif
 352
 353 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 354 {
 355   u32 tt;
 356
 357   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 358   HPERM_OP (c,    tt, 2, 0xcccc0000);
 359   HPERM_OP (d,    tt, 2, 0xcccc0000);
 360   PERM_OP  (d, c, tt, 1, 0x55555555);
 361   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 362   PERM_OP  (d, c, tt, 1, 0x55555555);
 363
 364   d = ((d & 0x000000ff) << 16)
 365     | ((d & 0x0000ff00) <<  0)
 366     | ((d & 0x00ff0000) >> 16)
 367     | ((c & 0xf0000000) >>  4);
 368
 369   c = c & 0x0fffffff;
 370
 371   #pragma unroll
 372   for (u32 i = 0; i < 16; i++)
 373   {
 374     const u32 shifts3s0[16] = {  1,  1,  2,  2,  2,  2,  2,  2,  1,  2,  2,  2,  2,  2,  2,  1 };
 375     const u32 shifts3s1[16] = { 27, 27, 26, 26, 26, 26, 26, 26, 27, 26, 26, 26, 26, 26, 26, 27 };
 376
 377     c = c >> shifts3s0[i] | c << shifts3s1[i];
 378     d = d >> shifts3s0[i] | d << shifts3s1[i];
 379
 380     c = c & 0x0fffffff;
 381     d = d & 0x0fffffff;
 382
 383     const u32 c00 = (c >>  0) & 0x0000003f;
 384     const u32 c06 = (c >>  6) & 0x00383003;
 385     const u32 c07 = (c >>  7) & 0x0000003c;
 386     const u32 c13 = (c >> 13) & 0x0000060f;
 387     const u32 c20 = (c >> 20) & 0x00000001;
 388
 389     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 390             | BOX (((c06 >>  0) & 0xff)
 391                   |((c07 >>  0) & 0xff), 1, s_skb)
 392             | BOX (((c13 >>  0) & 0xff)
 393                   |((c06 >>  8) & 0xff), 2, s_skb)
 394             | BOX (((c20 >>  0) & 0xff)
 395                   |((c13 >>  8) & 0xff)
 396                   |((c06 >> 16) & 0xff), 3, s_skb);
 397
 398     const u32 d00 = (d >>  0) & 0x00003c3f;
 399     const u32 d07 = (d >>  7) & 0x00003f03;
 400     const u32 d21 = (d >> 21) & 0x0000000f;
 401     const u32 d22 = (d >> 22) & 0x00000030;
 402
 403     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 404             | BOX (((d07 >>  0) & 0xff)
 405                   |((d00 >>  8) & 0xff), 5, s_skb)
 406             | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 407             | BOX (((d21 >>  0) & 0xff)
 408                   |((d22 >>  0) & 0xff), 7, s_skb);
 409
 410     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 411     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 412   }
 413 }
 414
 415 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 rounds, u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 416 {
 417   u32 tt;
 418
 419   const u32 E0 = ((mask >>  0) & 0x003f)
 420                 | ((mask >>  4) & 0x3f00);
 421   const u32 E1 = ((mask >>  2) & 0x03f0)
 422                 | ((mask >>  6) & 0xf000)
 423                 | ((mask >> 22) & 0x0003);
 424
 425   u32 r = iv[0];
 426   u32 l = iv[1];
 427
 428   for (u32 i = 0; i < rounds; i++)
 429   {
 430     #pragma unroll
 431     for (u32 j = 0; j < 16; j++)
 432     {
 433       /* sbox */
 434       u32 t = r ^ (r >> 16);
 435
 436       u32 u = t;
 437
 438       // u
 439       u = u & E0;
 440
 441       tt = (u << 16);
 442
 443       u = u ^ r;
 444       u = u ^ tt;
 445       u = u ^ Kc[j];
 446
 447       // t
 448
 449       t = t & E1;
 450
 451       tt = (t << 16);
 452
 453       t = t ^ r;
 454       t = t ^ tt;
 455       t = rotl32 (t, 28u);
 456       t = t ^ Kd[j];
 457
 458       const u32 um = u & 0x3f3f3f3f;
 459       const u32 tm = t & 0x3f3f3f3f;
 460
 461       l ^= BOX (((um >>  0) & 0xff), 0, s_SPtrans)
 462          | BOX (((um >>  8) & 0xff), 2, s_SPtrans)
 463          | BOX (((um >> 16) & 0xff), 4, s_SPtrans)
 464          | BOX (((um >> 24) & 0xff), 6, s_SPtrans)
 465          | BOX (((tm >>  0) & 0xff), 1, s_SPtrans)
 466          | BOX (((tm >>  8) & 0xff), 3, s_SPtrans)
 467          | BOX (((tm >> 16) & 0xff), 5, s_SPtrans)
 468          | BOX (((tm >> 24) & 0xff), 7, s_SPtrans);
 469
 470       tt = l;
 471       l  = r;
 472       r  = tt;
 473     }
 474
 475     tt = l;
 476     l  = r;
 477     r  = tt;
 478   }
 479
 480   iv[0] = r;
 481   iv[1] = l;
 482 }
 483
 484 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_init (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 485 {
 486   /**
 487    * base
 488    */
 489
 490   const u32 gid = get_global_id (0);
 491   const u32 lid = get_local_id (0);
 492
 493   /**
 494    * sbox
 495    */
 496
 497   __local u32 s_SPtrans[8][64];
 498
 499   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 500   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 501   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 502   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 503   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 504   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 505   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 506   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 507
 508   __local u32 s_skb[8][64];
 509
 510   s_skb[0][lid] = c_skb[0][lid];
 511   s_skb[1][lid] = c_skb[1][lid];
 512   s_skb[2][lid] = c_skb[2][lid];
 513   s_skb[3][lid] = c_skb[3][lid];
 514   s_skb[4][lid] = c_skb[4][lid];
 515   s_skb[5][lid] = c_skb[5][lid];
 516   s_skb[6][lid] = c_skb[6][lid];
 517   s_skb[7][lid] = c_skb[7][lid];
 518
 519   barrier (CLK_LOCAL_MEM_FENCE);
 520
 521   if (gid >= gid_max) return;
 522
 523   /**
 524    * word
 525    */
 526
 527   u32 w[16];
 528
 529   w[ 0] = pws[gid].i[ 0];
 530   w[ 1] = pws[gid].i[ 1];
 531   w[ 2] = pws[gid].i[ 2];
 532   w[ 3] = pws[gid].i[ 3];
 533   w[ 4] = pws[gid].i[ 4];
 534   w[ 5] = pws[gid].i[ 5];
 535   w[ 6] = pws[gid].i[ 6];
 536   w[ 7] = pws[gid].i[ 7];
 537   w[ 8] = pws[gid].i[ 8];
 538   w[ 9] = pws[gid].i[ 9];
 539   w[10] = pws[gid].i[10];
 540   w[11] = pws[gid].i[11];
 541   w[12] = pws[gid].i[12];
 542   w[13] = pws[gid].i[13];
 543   w[14] = pws[gid].i[14];
 544   w[15] = pws[gid].i[15];
 545
 546   u32 pw_len = pws[gid].pw_len;
 547
 548   u32 tt;
 549
 550   u32 Kc[16];
 551   u32 Kd[16];
 552
 553
 554   u32 out[2];
 555
 556   out[0] = (w[0] << 1) & 0xfefefefe;
 557   out[1] = (w[1] << 1) & 0xfefefefe;
 558
 559   for (u32 i = 8, j = 2; i < pw_len; i += 8, j += 2)
 560   {
 561     _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 562
 563     IP (out[0], out[1], tt);
 564
 565     out[0] = rotr32 (out[0], 31);
 566     out[1] = rotr32 (out[1], 31);
 567
 568     _des_crypt_encrypt (out, 0, 1, Kc, Kd, s_SPtrans);
 569
 570     out[0] = rotl32 (out[0], 31);
 571     out[1] = rotl32 (out[1], 31);
 572
 573     FP (out[1], out[0], tt);
 574
 575     const u32 R = (w[j + 0] << 1) & 0xfefefefe;
 576     const u32 L = (w[j + 1] << 1) & 0xfefefefe;
 577
 578     out[0] ^= R;
 579     out[1] ^= L;
 580   }
 581
 582   /*
 583   out[0] = (out[0] & 0xfefefefe) >> 1;
 584   out[1] = (out[1] & 0xfefefefe) >> 1;
 585
 586   out[0] = (out[0] << 1) & 0xfefefefe;
 587   out[1] = (out[1] << 1) & 0xfefefefe;
 588   */
 589
 590   _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 591
 592   tmps[gid].Kc[ 0] = Kc[ 0];
 593   tmps[gid].Kc[ 1] = Kc[ 1];
 594   tmps[gid].Kc[ 2] = Kc[ 2];
 595   tmps[gid].Kc[ 3] = Kc[ 3];
 596   tmps[gid].Kc[ 4] = Kc[ 4];
 597   tmps[gid].Kc[ 5] = Kc[ 5];
 598   tmps[gid].Kc[ 6] = Kc[ 6];
 599   tmps[gid].Kc[ 7] = Kc[ 7];
 600   tmps[gid].Kc[ 8] = Kc[ 8];
 601   tmps[gid].Kc[ 9] = Kc[ 9];
 602   tmps[gid].Kc[10] = Kc[10];
 603   tmps[gid].Kc[11] = Kc[11];
 604   tmps[gid].Kc[12] = Kc[12];
 605   tmps[gid].Kc[13] = Kc[13];
 606   tmps[gid].Kc[14] = Kc[14];
 607   tmps[gid].Kc[15] = Kc[15];
 608
 609   tmps[gid].Kd[ 0] = Kd[ 0];
 610   tmps[gid].Kd[ 1] = Kd[ 1];
 611   tmps[gid].Kd[ 2] = Kd[ 2];
 612   tmps[gid].Kd[ 3] = Kd[ 3];
 613   tmps[gid].Kd[ 4] = Kd[ 4];
 614   tmps[gid].Kd[ 5] = Kd[ 5];
 615   tmps[gid].Kd[ 6] = Kd[ 6];
 616   tmps[gid].Kd[ 7] = Kd[ 7];
 617   tmps[gid].Kd[ 8] = Kd[ 8];
 618   tmps[gid].Kd[ 9] = Kd[ 9];
 619   tmps[gid].Kd[10] = Kd[10];
 620   tmps[gid].Kd[11] = Kd[11];
 621   tmps[gid].Kd[12] = Kd[12];
 622   tmps[gid].Kd[13] = Kd[13];
 623   tmps[gid].Kd[14] = Kd[14];
 624   tmps[gid].Kd[15] = Kd[15];
 625
 626   tmps[gid].iv[0] = 0;
 627   tmps[gid].iv[1] = 0;
 628 }
 629
 630 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_loop (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 631 {
 632   /**
 633    * base
 634    */
 635
 636   const u32 gid = get_global_id (0);
 637   const u32 lid = get_local_id (0);
 638
 639   /**
 640    * sbox
 641    */
 642
 643   __local u32 s_SPtrans[8][64];
 644
 645   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 646   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 647   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 648   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 649   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 650   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 651   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 652   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 653
 654   barrier (CLK_LOCAL_MEM_FENCE);
 655
 656   if (gid >= gid_max) return;
 657
 658   u32 Kc[16];
 659
 660   Kc[ 0] = tmps[gid].Kc[ 0];
 661   Kc[ 1] = tmps[gid].Kc[ 1];
 662   Kc[ 2] = tmps[gid].Kc[ 2];
 663   Kc[ 3] = tmps[gid].Kc[ 3];
 664   Kc[ 4] = tmps[gid].Kc[ 4];
 665   Kc[ 5] = tmps[gid].Kc[ 5];
 666   Kc[ 6] = tmps[gid].Kc[ 6];
 667   Kc[ 7] = tmps[gid].Kc[ 7];
 668   Kc[ 8] = tmps[gid].Kc[ 8];
 669   Kc[ 9] = tmps[gid].Kc[ 9];
 670   Kc[10] = tmps[gid].Kc[10];
 671   Kc[11] = tmps[gid].Kc[11];
 672   Kc[12] = tmps[gid].Kc[12];
 673   Kc[13] = tmps[gid].Kc[13];
 674   Kc[14] = tmps[gid].Kc[14];
 675   Kc[15] = tmps[gid].Kc[15];
 676
 677   u32 Kd[16];
 678
 679   Kd[ 0] = tmps[gid].Kd[ 0];
 680   Kd[ 1] = tmps[gid].Kd[ 1];
 681   Kd[ 2] = tmps[gid].Kd[ 2];
 682   Kd[ 3] = tmps[gid].Kd[ 3];
 683   Kd[ 4] = tmps[gid].Kd[ 4];
 684   Kd[ 5] = tmps[gid].Kd[ 5];
 685   Kd[ 6] = tmps[gid].Kd[ 6];
 686   Kd[ 7] = tmps[gid].Kd[ 7];
 687   Kd[ 8] = tmps[gid].Kd[ 8];
 688   Kd[ 9] = tmps[gid].Kd[ 9];
 689   Kd[10] = tmps[gid].Kd[10];
 690   Kd[11] = tmps[gid].Kd[11];
 691   Kd[12] = tmps[gid].Kd[12];
 692   Kd[13] = tmps[gid].Kd[13];
 693   Kd[14] = tmps[gid].Kd[14];
 694   Kd[15] = tmps[gid].Kd[15];
 695
 696   u32 iv[2];
 697
 698   iv[0] = tmps[gid].iv[0];
 699   iv[1] = tmps[gid].iv[1];
 700
 701   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 702
 703   _des_crypt_encrypt (iv, mask, loop_cnt, Kc, Kd, s_SPtrans);
 704
 705   tmps[gid].Kc[ 0] = Kc[ 0];
 706   tmps[gid].Kc[ 1] = Kc[ 1];
 707   tmps[gid].Kc[ 2] = Kc[ 2];
 708   tmps[gid].Kc[ 3] = Kc[ 3];
 709   tmps[gid].Kc[ 4] = Kc[ 4];
 710   tmps[gid].Kc[ 5] = Kc[ 5];
 711   tmps[gid].Kc[ 6] = Kc[ 6];
 712   tmps[gid].Kc[ 7] = Kc[ 7];
 713   tmps[gid].Kc[ 8] = Kc[ 8];
 714   tmps[gid].Kc[ 9] = Kc[ 9];
 715   tmps[gid].Kc[10] = Kc[10];
 716   tmps[gid].Kc[11] = Kc[11];
 717   tmps[gid].Kc[12] = Kc[12];
 718   tmps[gid].Kc[13] = Kc[13];
 719   tmps[gid].Kc[14] = Kc[14];
 720   tmps[gid].Kc[15] = Kc[15];
 721
 722   tmps[gid].Kd[ 0] = Kd[ 0];
 723   tmps[gid].Kd[ 1] = Kd[ 1];
 724   tmps[gid].Kd[ 2] = Kd[ 2];
 725   tmps[gid].Kd[ 3] = Kd[ 3];
 726   tmps[gid].Kd[ 4] = Kd[ 4];
 727   tmps[gid].Kd[ 5] = Kd[ 5];
 728   tmps[gid].Kd[ 6] = Kd[ 6];
 729   tmps[gid].Kd[ 7] = Kd[ 7];
 730   tmps[gid].Kd[ 8] = Kd[ 8];
 731   tmps[gid].Kd[ 9] = Kd[ 9];
 732   tmps[gid].Kd[10] = Kd[10];
 733   tmps[gid].Kd[11] = Kd[11];
 734   tmps[gid].Kd[12] = Kd[12];
 735   tmps[gid].Kd[13] = Kd[13];
 736   tmps[gid].Kd[14] = Kd[14];
 737   tmps[gid].Kd[15] = Kd[15];
 738
 739   tmps[gid].iv[0] = iv[0];
 740   tmps[gid].iv[1] = iv[1];
 741 }
 742
 743 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_comp (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 744 {
 745   /**
 746    * base
 747    */
 748
 749   const u32 gid = get_global_id (0);
 750
 751   if (gid >= gid_max) return;
 752
 753   const u32 lid = get_local_id (0);
 754
 755   const u32 r0 = tmps[gid].iv[0];
 756   const u32 r1 = tmps[gid].iv[1];
 757   const u32 r2 = 0;
 758   const u32 r3 = 0;
 759
 760   #define il_pos 0
 761
 762   #include COMPARE_M
 763 }