OpenCL/m12400.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19
  20 #define COMPARE_S "check_single_comp4.c"
  21 #define COMPARE_M "check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   /* nibble 0 */
  64   0x00820200, 0x00020000, 0x80800000, 0x80820200,
  65   0x00800000, 0x80020200, 0x80020000, 0x80800000,
  66   0x80020200, 0x00820200, 0x00820000, 0x80000200,
  67   0x80800200, 0x00800000, 0x00000000, 0x80020000,
  68   0x00020000, 0x80000000, 0x00800200, 0x00020200,
  69   0x80820200, 0x00820000, 0x80000200, 0x00800200,
  70   0x80000000, 0x00000200, 0x00020200, 0x80820000,
  71   0x00000200, 0x80800200, 0x80820000, 0x00000000,
  72   0x00000000, 0x80820200, 0x00800200, 0x80020000,
  73   0x00820200, 0x00020000, 0x80000200, 0x00800200,
  74   0x80820000, 0x00000200, 0x00020200, 0x80800000,
  75   0x80020200, 0x80000000, 0x80800000, 0x00820000,
  76   0x80820200, 0x00020200, 0x00820000, 0x80800200,
  77   0x00800000, 0x80000200, 0x80020000, 0x00000000,
  78   0x00020000, 0x00800000, 0x80800200, 0x00820200,
  79   0x80000000, 0x80820000, 0x00000200, 0x80020200,
  80   /* nibble 1 */
  81   0x10042004, 0x00000000, 0x00042000, 0x10040000,
  82   0x10000004, 0x00002004, 0x10002000, 0x00042000,
  83   0x00002000, 0x10040004, 0x00000004, 0x10002000,
  84   0x00040004, 0x10042000, 0x10040000, 0x00000004,
  85   0x00040000, 0x10002004, 0x10040004, 0x00002000,
  86   0x00042004, 0x10000000, 0x00000000, 0x00040004,
  87   0x10002004, 0x00042004, 0x10042000, 0x10000004,
  88   0x10000000, 0x00040000, 0x00002004, 0x10042004,
  89   0x00040004, 0x10042000, 0x10002000, 0x00042004,
  90   0x10042004, 0x00040004, 0x10000004, 0x00000000,
  91   0x10000000, 0x00002004, 0x00040000, 0x10040004,
  92   0x00002000, 0x10000000, 0x00042004, 0x10002004,
  93   0x10042000, 0x00002000, 0x00000000, 0x10000004,
  94   0x00000004, 0x10042004, 0x00042000, 0x10040000,
  95   0x10040004, 0x00040000, 0x00002004, 0x10002000,
  96   0x10002004, 0x00000004, 0x10040000, 0x00042000,
  97   /* nibble 2 */
  98   0x41000000, 0x01010040, 0x00000040, 0x41000040,
  99   0x40010000, 0x01000000, 0x41000040, 0x00010040,
 100   0x01000040, 0x00010000, 0x01010000, 0x40000000,
 101   0x41010040, 0x40000040, 0x40000000, 0x41010000,
 102   0x00000000, 0x40010000, 0x01010040, 0x00000040,
 103   0x40000040, 0x41010040, 0x00010000, 0x41000000,
 104   0x41010000, 0x01000040, 0x40010040, 0x01010000,
 105   0x00010040, 0x00000000, 0x01000000, 0x40010040,
 106   0x01010040, 0x00000040, 0x40000000, 0x00010000,
 107   0x40000040, 0x40010000, 0x01010000, 0x41000040,
 108   0x00000000, 0x01010040, 0x00010040, 0x41010000,
 109   0x40010000, 0x01000000, 0x41010040, 0x40000000,
 110   0x40010040, 0x41000000, 0x01000000, 0x41010040,
 111   0x00010000, 0x01000040, 0x41000040, 0x00010040,
 112   0x01000040, 0x00000000, 0x41010000, 0x40000040,
 113   0x41000000, 0x40010040, 0x00000040, 0x01010000,
 114   /* nibble 3 */
 115   0x00100402, 0x04000400, 0x00000002, 0x04100402,
 116   0x00000000, 0x04100000, 0x04000402, 0x00100002,
 117   0x04100400, 0x04000002, 0x04000000, 0x00000402,
 118   0x04000002, 0x00100402, 0x00100000, 0x04000000,
 119   0x04100002, 0x00100400, 0x00000400, 0x00000002,
 120   0x00100400, 0x04000402, 0x04100000, 0x00000400,
 121   0x00000402, 0x00000000, 0x00100002, 0x04100400,
 122   0x04000400, 0x04100002, 0x04100402, 0x00100000,
 123   0x04100002, 0x00000402, 0x00100000, 0x04000002,
 124   0x00100400, 0x04000400, 0x00000002, 0x04100000,
 125   0x04000402, 0x00000000, 0x00000400, 0x00100002,
 126   0x00000000, 0x04100002, 0x04100400, 0x00000400,
 127   0x04000000, 0x04100402, 0x00100402, 0x00100000,
 128   0x04100402, 0x00000002, 0x04000400, 0x00100402,
 129   0x00100002, 0x00100400, 0x04100000, 0x04000402,
 130   0x00000402, 0x04000000, 0x04000002, 0x04100400,
 131   /* nibble 4 */
 132   0x02000000, 0x00004000, 0x00000100, 0x02004108,
 133   0x02004008, 0x02000100, 0x00004108, 0x02004000,
 134   0x00004000, 0x00000008, 0x02000008, 0x00004100,
 135   0x02000108, 0x02004008, 0x02004100, 0x00000000,
 136   0x00004100, 0x02000000, 0x00004008, 0x00000108,
 137   0x02000100, 0x00004108, 0x00000000, 0x02000008,
 138   0x00000008, 0x02000108, 0x02004108, 0x00004008,
 139   0x02004000, 0x00000100, 0x00000108, 0x02004100,
 140   0x02004100, 0x02000108, 0x00004008, 0x02004000,
 141   0x00004000, 0x00000008, 0x02000008, 0x02000100,
 142   0x02000000, 0x00004100, 0x02004108, 0x00000000,
 143   0x00004108, 0x02000000, 0x00000100, 0x00004008,
 144   0x02000108, 0x00000100, 0x00000000, 0x02004108,
 145   0x02004008, 0x02004100, 0x00000108, 0x00004000,
 146   0x00004100, 0x02004008, 0x02000100, 0x00000108,
 147   0x00000008, 0x00004108, 0x02004000, 0x02000008,
 148   /* nibble 5 */
 149   0x20000010, 0x00080010, 0x00000000, 0x20080800,
 150   0x00080010, 0x00000800, 0x20000810, 0x00080000,
 151   0x00000810, 0x20080810, 0x00080800, 0x20000000,
 152   0x20000800, 0x20000010, 0x20080000, 0x00080810,
 153   0x00080000, 0x20000810, 0x20080010, 0x00000000,
 154   0x00000800, 0x00000010, 0x20080800, 0x20080010,
 155   0x20080810, 0x20080000, 0x20000000, 0x00000810,
 156   0x00000010, 0x00080800, 0x00080810, 0x20000800,
 157   0x00000810, 0x20000000, 0x20000800, 0x00080810,
 158   0x20080800, 0x00080010, 0x00000000, 0x20000800,
 159   0x20000000, 0x00000800, 0x20080010, 0x00080000,
 160   0x00080010, 0x20080810, 0x00080800, 0x00000010,
 161   0x20080810, 0x00080800, 0x00080000, 0x20000810,
 162   0x20000010, 0x20080000, 0x00080810, 0x00000000,
 163   0x00000800, 0x20000010, 0x20000810, 0x20080800,
 164   0x20080000, 0x00000810, 0x00000010, 0x20080010,
 165   /* nibble 6 */
 166   0x00001000, 0x00000080, 0x00400080, 0x00400001,
 167   0x00401081, 0x00001001, 0x00001080, 0x00000000,
 168   0x00400000, 0x00400081, 0x00000081, 0x00401000,
 169   0x00000001, 0x00401080, 0x00401000, 0x00000081,
 170   0x00400081, 0x00001000, 0x00001001, 0x00401081,
 171   0x00000000, 0x00400080, 0x00400001, 0x00001080,
 172   0x00401001, 0x00001081, 0x00401080, 0x00000001,
 173   0x00001081, 0x00401001, 0x00000080, 0x00400000,
 174   0x00001081, 0x00401000, 0x00401001, 0x00000081,
 175   0x00001000, 0x00000080, 0x00400000, 0x00401001,
 176   0x00400081, 0x00001081, 0x00001080, 0x00000000,
 177   0x00000080, 0x00400001, 0x00000001, 0x00400080,
 178   0x00000000, 0x00400081, 0x00400080, 0x00001080,
 179   0x00000081, 0x00001000, 0x00401081, 0x00400000,
 180   0x00401080, 0x00000001, 0x00001001, 0x00401081,
 181   0x00400001, 0x00401080, 0x00401000, 0x00001001,
 182   /* nibble 7 */
 183   0x08200020, 0x08208000, 0x00008020, 0x00000000,
 184   0x08008000, 0x00200020, 0x08200000, 0x08208020,
 185   0x00000020, 0x08000000, 0x00208000, 0x00008020,
 186   0x00208020, 0x08008020, 0x08000020, 0x08200000,
 187   0x00008000, 0x00208020, 0x00200020, 0x08008000,
 188   0x08208020, 0x08000020, 0x00000000, 0x00208000,
 189   0x08000000, 0x00200000, 0x08008020, 0x08200020,
 190   0x00200000, 0x00008000, 0x08208000, 0x00000020,
 191   0x00200000, 0x00008000, 0x08000020, 0x08208020,
 192   0x00008020, 0x08000000, 0x00000000, 0x00208000,
 193   0x08200020, 0x08008020, 0x08008000, 0x00200020,
 194   0x08208000, 0x00000020, 0x00200020, 0x08008000,
 195   0x08208020, 0x00200000, 0x08200000, 0x08000020,
 196   0x00208000, 0x00008020, 0x08008020, 0x08200000,
 197   0x00000020, 0x08208000, 0x00208020, 0x00000000,
 198   0x08000000, 0x08200020, 0x00008000, 0x00208020
 199 };
 200
 201 __constant u32 c_skb[8][64] =
 202 {
 203   /* for C bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 204   0x00000000, 0x00000010, 0x20000000, 0x20000010,
 205   0x00010000, 0x00010010, 0x20010000, 0x20010010,
 206   0x00000800, 0x00000810, 0x20000800, 0x20000810,
 207   0x00010800, 0x00010810, 0x20010800, 0x20010810,
 208   0x00000020, 0x00000030, 0x20000020, 0x20000030,
 209   0x00010020, 0x00010030, 0x20010020, 0x20010030,
 210   0x00000820, 0x00000830, 0x20000820, 0x20000830,
 211   0x00010820, 0x00010830, 0x20010820, 0x20010830,
 212   0x00080000, 0x00080010, 0x20080000, 0x20080010,
 213   0x00090000, 0x00090010, 0x20090000, 0x20090010,
 214   0x00080800, 0x00080810, 0x20080800, 0x20080810,
 215   0x00090800, 0x00090810, 0x20090800, 0x20090810,
 216   0x00080020, 0x00080030, 0x20080020, 0x20080030,
 217   0x00090020, 0x00090030, 0x20090020, 0x20090030,
 218   0x00080820, 0x00080830, 0x20080820, 0x20080830,
 219   0x00090820, 0x00090830, 0x20090820, 0x20090830,
 220   /* for C bits (numbered as per FIPS 46) 7 8 10 11 12 13 */
 221   0x00000000, 0x02000000, 0x00002000, 0x02002000,
 222   0x00200000, 0x02200000, 0x00202000, 0x02202000,
 223   0x00000004, 0x02000004, 0x00002004, 0x02002004,
 224   0x00200004, 0x02200004, 0x00202004, 0x02202004,
 225   0x00000400, 0x02000400, 0x00002400, 0x02002400,
 226   0x00200400, 0x02200400, 0x00202400, 0x02202400,
 227   0x00000404, 0x02000404, 0x00002404, 0x02002404,
 228   0x00200404, 0x02200404, 0x00202404, 0x02202404,
 229   0x10000000, 0x12000000, 0x10002000, 0x12002000,
 230   0x10200000, 0x12200000, 0x10202000, 0x12202000,
 231   0x10000004, 0x12000004, 0x10002004, 0x12002004,
 232   0x10200004, 0x12200004, 0x10202004, 0x12202004,
 233   0x10000400, 0x12000400, 0x10002400, 0x12002400,
 234   0x10200400, 0x12200400, 0x10202400, 0x12202400,
 235   0x10000404, 0x12000404, 0x10002404, 0x12002404,
 236   0x10200404, 0x12200404, 0x10202404, 0x12202404,
 237   /* for C bits (numbered as per FIPS 46) 14 15 16 17 19 20 */
 238   0x00000000, 0x00000001, 0x00040000, 0x00040001,
 239   0x01000000, 0x01000001, 0x01040000, 0x01040001,
 240   0x00000002, 0x00000003, 0x00040002, 0x00040003,
 241   0x01000002, 0x01000003, 0x01040002, 0x01040003,
 242   0x00000200, 0x00000201, 0x00040200, 0x00040201,
 243   0x01000200, 0x01000201, 0x01040200, 0x01040201,
 244   0x00000202, 0x00000203, 0x00040202, 0x00040203,
 245   0x01000202, 0x01000203, 0x01040202, 0x01040203,
 246   0x08000000, 0x08000001, 0x08040000, 0x08040001,
 247   0x09000000, 0x09000001, 0x09040000, 0x09040001,
 248   0x08000002, 0x08000003, 0x08040002, 0x08040003,
 249   0x09000002, 0x09000003, 0x09040002, 0x09040003,
 250   0x08000200, 0x08000201, 0x08040200, 0x08040201,
 251   0x09000200, 0x09000201, 0x09040200, 0x09040201,
 252   0x08000202, 0x08000203, 0x08040202, 0x08040203,
 253   0x09000202, 0x09000203, 0x09040202, 0x09040203,
 254   /* for C bits (numbered as per FIPS 46) 21 23 24 26 27 28 */
 255   0x00000000, 0x00100000, 0x00000100, 0x00100100,
 256   0x00000008, 0x00100008, 0x00000108, 0x00100108,
 257   0x00001000, 0x00101000, 0x00001100, 0x00101100,
 258   0x00001008, 0x00101008, 0x00001108, 0x00101108,
 259   0x04000000, 0x04100000, 0x04000100, 0x04100100,
 260   0x04000008, 0x04100008, 0x04000108, 0x04100108,
 261   0x04001000, 0x04101000, 0x04001100, 0x04101100,
 262   0x04001008, 0x04101008, 0x04001108, 0x04101108,
 263   0x00020000, 0x00120000, 0x00020100, 0x00120100,
 264   0x00020008, 0x00120008, 0x00020108, 0x00120108,
 265   0x00021000, 0x00121000, 0x00021100, 0x00121100,
 266   0x00021008, 0x00121008, 0x00021108, 0x00121108,
 267   0x04020000, 0x04120000, 0x04020100, 0x04120100,
 268   0x04020008, 0x04120008, 0x04020108, 0x04120108,
 269   0x04021000, 0x04121000, 0x04021100, 0x04121100,
 270   0x04021008, 0x04121008, 0x04021108, 0x04121108,
 271   /* for D bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 272   0x00000000, 0x10000000, 0x00010000, 0x10010000,
 273   0x00000004, 0x10000004, 0x00010004, 0x10010004,
 274   0x20000000, 0x30000000, 0x20010000, 0x30010000,
 275   0x20000004, 0x30000004, 0x20010004, 0x30010004,
 276   0x00100000, 0x10100000, 0x00110000, 0x10110000,
 277   0x00100004, 0x10100004, 0x00110004, 0x10110004,
 278   0x20100000, 0x30100000, 0x20110000, 0x30110000,
 279   0x20100004, 0x30100004, 0x20110004, 0x30110004,
 280   0x00001000, 0x10001000, 0x00011000, 0x10011000,
 281   0x00001004, 0x10001004, 0x00011004, 0x10011004,
 282   0x20001000, 0x30001000, 0x20011000, 0x30011000,
 283   0x20001004, 0x30001004, 0x20011004, 0x30011004,
 284   0x00101000, 0x10101000, 0x00111000, 0x10111000,
 285   0x00101004, 0x10101004, 0x00111004, 0x10111004,
 286   0x20101000, 0x30101000, 0x20111000, 0x30111000,
 287   0x20101004, 0x30101004, 0x20111004, 0x30111004,
 288   /* for D bits (numbered as per FIPS 46) 8 9 11 12 13 14 */
 289   0x00000000, 0x08000000, 0x00000008, 0x08000008,
 290   0x00000400, 0x08000400, 0x00000408, 0x08000408,
 291   0x00020000, 0x08020000, 0x00020008, 0x08020008,
 292   0x00020400, 0x08020400, 0x00020408, 0x08020408,
 293   0x00000001, 0x08000001, 0x00000009, 0x08000009,
 294   0x00000401, 0x08000401, 0x00000409, 0x08000409,
 295   0x00020001, 0x08020001, 0x00020009, 0x08020009,
 296   0x00020401, 0x08020401, 0x00020409, 0x08020409,
 297   0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 298   0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 299   0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 300   0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 301   0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 302   0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 303   0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 304   0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 305   /* for D bits (numbered as per FIPS 46) 16 17 18 19 20 21 */
 306   0x00000000, 0x00000100, 0x00080000, 0x00080100,
 307   0x01000000, 0x01000100, 0x01080000, 0x01080100,
 308   0x00000010, 0x00000110, 0x00080010, 0x00080110,
 309   0x01000010, 0x01000110, 0x01080010, 0x01080110,
 310   0x00200000, 0x00200100, 0x00280000, 0x00280100,
 311   0x01200000, 0x01200100, 0x01280000, 0x01280100,
 312   0x00200010, 0x00200110, 0x00280010, 0x00280110,
 313   0x01200010, 0x01200110, 0x01280010, 0x01280110,
 314   0x00000200, 0x00000300, 0x00080200, 0x00080300,
 315   0x01000200, 0x01000300, 0x01080200, 0x01080300,
 316   0x00000210, 0x00000310, 0x00080210, 0x00080310,
 317   0x01000210, 0x01000310, 0x01080210, 0x01080310,
 318   0x00200200, 0x00200300, 0x00280200, 0x00280300,
 319   0x01200200, 0x01200300, 0x01280200, 0x01280300,
 320   0x00200210, 0x00200310, 0x00280210, 0x00280310,
 321   0x01200210, 0x01200310, 0x01280210, 0x01280310,
 322   /* for D bits (numbered as per FIPS 46) 22 23 24 25 27 28 */
 323   0x00000000, 0x04000000, 0x00040000, 0x04040000,
 324   0x00000002, 0x04000002, 0x00040002, 0x04040002,
 325   0x00002000, 0x04002000, 0x00042000, 0x04042000,
 326   0x00002002, 0x04002002, 0x00042002, 0x04042002,
 327   0x00000020, 0x04000020, 0x00040020, 0x04040020,
 328   0x00000022, 0x04000022, 0x00040022, 0x04040022,
 329   0x00002020, 0x04002020, 0x00042020, 0x04042020,
 330   0x00002022, 0x04002022, 0x00042022, 0x04042022,
 331   0x00000800, 0x04000800, 0x00040800, 0x04040800,
 332   0x00000802, 0x04000802, 0x00040802, 0x04040802,
 333   0x00002800, 0x04002800, 0x00042800, 0x04042800,
 334   0x00002802, 0x04002802, 0x00042802, 0x04042802,
 335   0x00000820, 0x04000820, 0x00040820, 0x04040820,
 336   0x00000822, 0x04000822, 0x00040822, 0x04040822,
 337   0x00002820, 0x04002820, 0x00042820, 0x04042820,
 338   0x00002822, 0x04002822, 0x00042822, 0x04042822
 339 };
 340
 341 #define BOX(i,n,S) (S)[(n)][(i)]
 342
 343 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 344 {
 345   u32 tt;
 346
 347   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 348   HPERM_OP (c,    tt, 2, 0xcccc0000);
 349   HPERM_OP (d,    tt, 2, 0xcccc0000);
 350   PERM_OP  (d, c, tt, 1, 0x55555555);
 351   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 352   PERM_OP  (d, c, tt, 1, 0x55555555);
 353
 354   d = ((d & 0x000000ff) << 16)
 355     | ((d & 0x0000ff00) <<  0)
 356     | ((d & 0x00ff0000) >> 16)
 357     | ((c & 0xf0000000) >>  4);
 358
 359   c = c & 0x0fffffff;
 360
 361   #pragma unroll
 362   for (u32 i = 0; i < 16; i++)
 363   {
 364     const u32 shifts3s0[16] = {  1,  1,  2,  2,  2,  2,  2,  2,  1,  2,  2,  2,  2,  2,  2,  1 };
 365     const u32 shifts3s1[16] = { 27, 27, 26, 26, 26, 26, 26, 26, 27, 26, 26, 26, 26, 26, 26, 27 };
 366
 367     c = c >> shifts3s0[i] | c << shifts3s1[i];
 368     d = d >> shifts3s0[i] | d << shifts3s1[i];
 369
 370     c = c & 0x0fffffff;
 371     d = d & 0x0fffffff;
 372
 373     const u32 c00 = (c >>  0) & 0x0000003f;
 374     const u32 c06 = (c >>  6) & 0x00383003;
 375     const u32 c07 = (c >>  7) & 0x0000003c;
 376     const u32 c13 = (c >> 13) & 0x0000060f;
 377     const u32 c20 = (c >> 20) & 0x00000001;
 378
 379     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 380             | BOX (((c06 >>  0) & 0xff)
 381                   |((c07 >>  0) & 0xff), 1, s_skb)
 382             | BOX (((c13 >>  0) & 0xff)
 383                   |((c06 >>  8) & 0xff), 2, s_skb)
 384             | BOX (((c20 >>  0) & 0xff)
 385                   |((c13 >>  8) & 0xff)
 386                   |((c06 >> 16) & 0xff), 3, s_skb);
 387
 388     const u32 d00 = (d >>  0) & 0x00003c3f;
 389     const u32 d07 = (d >>  7) & 0x00003f03;
 390     const u32 d21 = (d >> 21) & 0x0000000f;
 391     const u32 d22 = (d >> 22) & 0x00000030;
 392
 393     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 394             | BOX (((d07 >>  0) & 0xff)
 395                   |((d00 >>  8) & 0xff), 5, s_skb)
 396             | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 397             | BOX (((d21 >>  0) & 0xff)
 398                   |((d22 >>  0) & 0xff), 7, s_skb);
 399
 400     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 401     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 402   }
 403 }
 404
 405 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 rounds, u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 406 {
 407   u32 tt;
 408
 409   const u32 E0 = ((mask >>  0) & 0x003f)
 410                 | ((mask >>  4) & 0x3f00);
 411   const u32 E1 = ((mask >>  2) & 0x03f0)
 412                 | ((mask >>  6) & 0xf000)
 413                 | ((mask >> 22) & 0x0003);
 414
 415   u32 r = iv[0];
 416   u32 l = iv[1];
 417
 418   for (u32 i = 0; i < rounds; i++)
 419   {
 420     #pragma unroll
 421     for (u32 j = 0; j < 16; j++)
 422     {
 423       /* sbox */
 424       u32 t = r ^ (r >> 16);
 425
 426       u32 u = t;
 427
 428       // u
 429       u = u & E0;
 430
 431       tt = (u << 16);
 432
 433       u = u ^ r;
 434       u = u ^ tt;
 435       u = u ^ Kc[j];
 436
 437       // t
 438
 439       t = t & E1;
 440
 441       tt = (t << 16);
 442
 443       t = t ^ r;
 444       t = t ^ tt;
 445       t = rotl32 (t, 28u);
 446       t = t ^ Kd[j];
 447
 448       const u32 um = u & 0x3f3f3f3f;
 449       const u32 tm = t & 0x3f3f3f3f;
 450
 451       l ^= BOX (((um >>  0) & 0xff), 0, s_SPtrans)
 452          | BOX (((um >>  8) & 0xff), 2, s_SPtrans)
 453          | BOX (((um >> 16) & 0xff), 4, s_SPtrans)
 454          | BOX (((um >> 24) & 0xff), 6, s_SPtrans)
 455          | BOX (((tm >>  0) & 0xff), 1, s_SPtrans)
 456          | BOX (((tm >>  8) & 0xff), 3, s_SPtrans)
 457          | BOX (((tm >> 16) & 0xff), 5, s_SPtrans)
 458          | BOX (((tm >> 24) & 0xff), 7, s_SPtrans);
 459
 460       tt = l;
 461       l  = r;
 462       r  = tt;
 463     }
 464
 465     tt = l;
 466     l  = r;
 467     r  = tt;
 468   }
 469
 470   iv[0] = r;
 471   iv[1] = l;
 472 }
 473
 474 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_init (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 475 {
 476   /**
 477    * base
 478    */
 479
 480   const u32 gid = get_global_id (0);
 481   const u32 lid = get_local_id (0);
 482
 483   /**
 484    * sbox
 485    */
 486
 487   __local u32 s_SPtrans[8][64];
 488
 489   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 490   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 491   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 492   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 493   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 494   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 495   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 496   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 497
 498   __local u32 s_skb[8][64];
 499
 500   s_skb[0][lid] = c_skb[0][lid];
 501   s_skb[1][lid] = c_skb[1][lid];
 502   s_skb[2][lid] = c_skb[2][lid];
 503   s_skb[3][lid] = c_skb[3][lid];
 504   s_skb[4][lid] = c_skb[4][lid];
 505   s_skb[5][lid] = c_skb[5][lid];
 506   s_skb[6][lid] = c_skb[6][lid];
 507   s_skb[7][lid] = c_skb[7][lid];
 508
 509   barrier (CLK_LOCAL_MEM_FENCE);
 510
 511   if (gid >= gid_max) return;
 512
 513   /**
 514    * word
 515    */
 516
 517   u32 w[16];
 518
 519   w[ 0] = pws[gid].i[ 0];
 520   w[ 1] = pws[gid].i[ 1];
 521   w[ 2] = pws[gid].i[ 2];
 522   w[ 3] = pws[gid].i[ 3];
 523   w[ 4] = pws[gid].i[ 4];
 524   w[ 5] = pws[gid].i[ 5];
 525   w[ 6] = pws[gid].i[ 6];
 526   w[ 7] = pws[gid].i[ 7];
 527   w[ 8] = pws[gid].i[ 8];
 528   w[ 9] = pws[gid].i[ 9];
 529   w[10] = pws[gid].i[10];
 530   w[11] = pws[gid].i[11];
 531   w[12] = pws[gid].i[12];
 532   w[13] = pws[gid].i[13];
 533   w[14] = pws[gid].i[14];
 534   w[15] = pws[gid].i[15];
 535
 536   u32 pw_len = pws[gid].pw_len;
 537
 538   u32 tt;
 539
 540   u32 Kc[16];
 541   u32 Kd[16];
 542
 543
 544   u32 out[2];
 545
 546   out[0] = (w[0] << 1) & 0xfefefefe;
 547   out[1] = (w[1] << 1) & 0xfefefefe;
 548
 549   for (u32 i = 8, j = 2; i < pw_len; i += 8, j += 2)
 550   {
 551     _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 552
 553     IP (out[0], out[1], tt);
 554
 555     out[0] = rotr32 (out[0], 31);
 556     out[1] = rotr32 (out[1], 31);
 557
 558     _des_crypt_encrypt (out, 0, 1, Kc, Kd, s_SPtrans);
 559
 560     out[0] = rotl32 (out[0], 31);
 561     out[1] = rotl32 (out[1], 31);
 562
 563     FP (out[1], out[0], tt);
 564
 565     const u32 R = (w[j + 0] << 1) & 0xfefefefe;
 566     const u32 L = (w[j + 1] << 1) & 0xfefefefe;
 567
 568     out[0] ^= R;
 569     out[1] ^= L;
 570   }
 571
 572   /*
 573   out[0] = (out[0] & 0xfefefefe) >> 1;
 574   out[1] = (out[1] & 0xfefefefe) >> 1;
 575
 576   out[0] = (out[0] << 1) & 0xfefefefe;
 577   out[1] = (out[1] << 1) & 0xfefefefe;
 578   */
 579
 580   _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 581
 582   tmps[gid].Kc[ 0] = Kc[ 0];
 583   tmps[gid].Kc[ 1] = Kc[ 1];
 584   tmps[gid].Kc[ 2] = Kc[ 2];
 585   tmps[gid].Kc[ 3] = Kc[ 3];
 586   tmps[gid].Kc[ 4] = Kc[ 4];
 587   tmps[gid].Kc[ 5] = Kc[ 5];
 588   tmps[gid].Kc[ 6] = Kc[ 6];
 589   tmps[gid].Kc[ 7] = Kc[ 7];
 590   tmps[gid].Kc[ 8] = Kc[ 8];
 591   tmps[gid].Kc[ 9] = Kc[ 9];
 592   tmps[gid].Kc[10] = Kc[10];
 593   tmps[gid].Kc[11] = Kc[11];
 594   tmps[gid].Kc[12] = Kc[12];
 595   tmps[gid].Kc[13] = Kc[13];
 596   tmps[gid].Kc[14] = Kc[14];
 597   tmps[gid].Kc[15] = Kc[15];
 598
 599   tmps[gid].Kd[ 0] = Kd[ 0];
 600   tmps[gid].Kd[ 1] = Kd[ 1];
 601   tmps[gid].Kd[ 2] = Kd[ 2];
 602   tmps[gid].Kd[ 3] = Kd[ 3];
 603   tmps[gid].Kd[ 4] = Kd[ 4];
 604   tmps[gid].Kd[ 5] = Kd[ 5];
 605   tmps[gid].Kd[ 6] = Kd[ 6];
 606   tmps[gid].Kd[ 7] = Kd[ 7];
 607   tmps[gid].Kd[ 8] = Kd[ 8];
 608   tmps[gid].Kd[ 9] = Kd[ 9];
 609   tmps[gid].Kd[10] = Kd[10];
 610   tmps[gid].Kd[11] = Kd[11];
 611   tmps[gid].Kd[12] = Kd[12];
 612   tmps[gid].Kd[13] = Kd[13];
 613   tmps[gid].Kd[14] = Kd[14];
 614   tmps[gid].Kd[15] = Kd[15];
 615
 616   tmps[gid].iv[0] = 0;
 617   tmps[gid].iv[1] = 0;
 618 }
 619
 620 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_loop (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 621 {
 622   /**
 623    * base
 624    */
 625
 626   const u32 gid = get_global_id (0);
 627   const u32 lid = get_local_id (0);
 628
 629   /**
 630    * sbox
 631    */
 632
 633   __local u32 s_SPtrans[8][64];
 634
 635   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 636   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 637   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 638   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 639   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 640   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 641   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 642   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 643
 644   barrier (CLK_LOCAL_MEM_FENCE);
 645
 646   if (gid >= gid_max) return;
 647
 648   u32 Kc[16];
 649
 650   Kc[ 0] = tmps[gid].Kc[ 0];
 651   Kc[ 1] = tmps[gid].Kc[ 1];
 652   Kc[ 2] = tmps[gid].Kc[ 2];
 653   Kc[ 3] = tmps[gid].Kc[ 3];
 654   Kc[ 4] = tmps[gid].Kc[ 4];
 655   Kc[ 5] = tmps[gid].Kc[ 5];
 656   Kc[ 6] = tmps[gid].Kc[ 6];
 657   Kc[ 7] = tmps[gid].Kc[ 7];
 658   Kc[ 8] = tmps[gid].Kc[ 8];
 659   Kc[ 9] = tmps[gid].Kc[ 9];
 660   Kc[10] = tmps[gid].Kc[10];
 661   Kc[11] = tmps[gid].Kc[11];
 662   Kc[12] = tmps[gid].Kc[12];
 663   Kc[13] = tmps[gid].Kc[13];
 664   Kc[14] = tmps[gid].Kc[14];
 665   Kc[15] = tmps[gid].Kc[15];
 666
 667   u32 Kd[16];
 668
 669   Kd[ 0] = tmps[gid].Kd[ 0];
 670   Kd[ 1] = tmps[gid].Kd[ 1];
 671   Kd[ 2] = tmps[gid].Kd[ 2];
 672   Kd[ 3] = tmps[gid].Kd[ 3];
 673   Kd[ 4] = tmps[gid].Kd[ 4];
 674   Kd[ 5] = tmps[gid].Kd[ 5];
 675   Kd[ 6] = tmps[gid].Kd[ 6];
 676   Kd[ 7] = tmps[gid].Kd[ 7];
 677   Kd[ 8] = tmps[gid].Kd[ 8];
 678   Kd[ 9] = tmps[gid].Kd[ 9];
 679   Kd[10] = tmps[gid].Kd[10];
 680   Kd[11] = tmps[gid].Kd[11];
 681   Kd[12] = tmps[gid].Kd[12];
 682   Kd[13] = tmps[gid].Kd[13];
 683   Kd[14] = tmps[gid].Kd[14];
 684   Kd[15] = tmps[gid].Kd[15];
 685
 686   u32 iv[2];
 687
 688   iv[0] = tmps[gid].iv[0];
 689   iv[1] = tmps[gid].iv[1];
 690
 691   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 692
 693   _des_crypt_encrypt (iv, mask, loop_cnt, Kc, Kd, s_SPtrans);
 694
 695   tmps[gid].Kc[ 0] = Kc[ 0];
 696   tmps[gid].Kc[ 1] = Kc[ 1];
 697   tmps[gid].Kc[ 2] = Kc[ 2];
 698   tmps[gid].Kc[ 3] = Kc[ 3];
 699   tmps[gid].Kc[ 4] = Kc[ 4];
 700   tmps[gid].Kc[ 5] = Kc[ 5];
 701   tmps[gid].Kc[ 6] = Kc[ 6];
 702   tmps[gid].Kc[ 7] = Kc[ 7];
 703   tmps[gid].Kc[ 8] = Kc[ 8];
 704   tmps[gid].Kc[ 9] = Kc[ 9];
 705   tmps[gid].Kc[10] = Kc[10];
 706   tmps[gid].Kc[11] = Kc[11];
 707   tmps[gid].Kc[12] = Kc[12];
 708   tmps[gid].Kc[13] = Kc[13];
 709   tmps[gid].Kc[14] = Kc[14];
 710   tmps[gid].Kc[15] = Kc[15];
 711
 712   tmps[gid].Kd[ 0] = Kd[ 0];
 713   tmps[gid].Kd[ 1] = Kd[ 1];
 714   tmps[gid].Kd[ 2] = Kd[ 2];
 715   tmps[gid].Kd[ 3] = Kd[ 3];
 716   tmps[gid].Kd[ 4] = Kd[ 4];
 717   tmps[gid].Kd[ 5] = Kd[ 5];
 718   tmps[gid].Kd[ 6] = Kd[ 6];
 719   tmps[gid].Kd[ 7] = Kd[ 7];
 720   tmps[gid].Kd[ 8] = Kd[ 8];
 721   tmps[gid].Kd[ 9] = Kd[ 9];
 722   tmps[gid].Kd[10] = Kd[10];
 723   tmps[gid].Kd[11] = Kd[11];
 724   tmps[gid].Kd[12] = Kd[12];
 725   tmps[gid].Kd[13] = Kd[13];
 726   tmps[gid].Kd[14] = Kd[14];
 727   tmps[gid].Kd[15] = Kd[15];
 728
 729   tmps[gid].iv[0] = iv[0];
 730   tmps[gid].iv[1] = iv[1];
 731 }
 732
 733 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12400_comp (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 734 {
 735   /**
 736    * base
 737    */
 738
 739   const u32 gid = get_global_id (0);
 740
 741   if (gid >= gid_max) return;
 742
 743   const u32 lid = get_local_id (0);
 744
 745   const u32 r0 = tmps[gid].iv[0];
 746   const u32 r1 = tmps[gid].iv[1];
 747   const u32 r2 = 0;
 748   const u32 r3 = 0;
 749
 750   #define il_pos 0
 751
 752   #include COMPARE_M
 753 }