                        O p e n   F a b r i c s   E n t e r p r i s e   D i s t r i b u t i o n   ( O F E D ) 
 
                                 E m u l e x   O C e 1 4 0 0 0   A d a p t e r   R E L E A S E   N O T E S 
 
 	 	 	           M a y   2 0 1 4 
 
 
 
 
 
 T h e   o c r d m a   a n d   b e 2 n e t   m o d u l e s   p r o v i d e   R D M A   a n d   N I C   s u p p o r t   f o r   t h e 
 
 E m u l e x   O C e 1 4 0 0 0   f a m i l y   o f   a d a p t e r s .   M a k e   s u r e   y o u   c h o o s e   t h e   ' o c r d m a ' 
 
 a n d   ' l i b o c r d m a '   o p t i o n s   w h i l e   b u i l d i n g   O F E D   r p m s . 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 N e w   f o r   O F E D - 3 . 1 2 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 -   A d d e d   R D M A   s u p p o r t   f o r   t h e   E m u l e x   O C e 1 4 0 0 0   f a m i l y   o f   a d a p t e r s . 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 S u p p o r t e d   O p e r a t i n g   S y s t e m s 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
     o       C P U   a r c h i t e c t u r e s : 
 
 	 -   x 8 6 _ 6 4 
 
 	 -   x 8 6 
 
 
 
     o       L i n u x   O p e r a t i n g   S y s t e m s : 
 
 	 -   R e d H a t   E L 6 . 4   	 	 2 . 6 . 3 2 - 3 5 8 . e l 6 
 
 	 -   R e d H a t   E L 6 . 5   	 	 2 . 6 . 3 2 - 4 3 1 . e l 6 
 
 	 -   S L E S 1 1   S P 3 	 	 3 . 0 . 7 6 - 0 . 9 . 1 
 
 	 -   k e r n e l . o r g 	 	 3 . 1 2 
 
 
 
             *   M i n i m a l   Q A   f o r   t h e s e   v e r s i o n s . 
 
 
 
 = = = = = = = = = = = = = = = = 
 
 S u p p o r t e d   C a r d s 
 
 = = = = = = = = = = = = = = = = 
 
 
 
 T h e   O C e 1 4 0 0 0   f a m i l y   o f   a d a p t e r s   a r e   s u p p o r t e d . 
 
   
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P r i o r i t y   F l o w   C o n t r o l   r e c o m m e n d a t i o n s 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 -   I f   t h e   H C A   p o r t   i s   c o n n e c t e d   t o   a   P F C   e n a b l e d   s w i t c h ,   t h e   O C e 1 4 0 0 0   a d a p t e r 
 
     i s   p r o g r a m m e d   t o   u s e   p r i o r i t y   5 .   C o n f i g u r e   t h e   p r i o r i t y - g r o u p s 
 
     a n d   s w i t c h   p o r t s   a c c o r d i n g l y . 
 
 
 
 -   I f   t h e   H C A   p o r t   i s   c o n n e c t e d   t o   a   P F C   e n a b l e d   s w i t c h ,   i t   i s 
 
     h i g h l y   r e c o m m e n d e d   t h a t   y o u   u s e   a   V L A N   i n t e r f a c e   f o r   t r a f f i c . 
 
     O n   a   n o n - V L A N   i n t e r f a c e   y o u   m a y   s e e   p a c k e t   d r o p s . 
 
 
 
 -   I n   b a c k - t o - b a c k   c o n f i g u r a t i o n s   P F C   i s   d i s a b l e d   b y   d e f a u l t . 
 
 
 
 = = = = = = = = = = = = = = = = = = = = 
 
 E r r a t a   ( O p e n   I s s u e s ) 
 
 = = = = = = = = = = = = = = = = = = = = 
 
 
 
 -   A n   N F S - R D M A   c a b l e   p u l l   t e s t   d u r i n g   a c t i v e   t r a f f i c   w i l l   c a u s e   a   s y s t e m   c r a s h . 
 
     T h i s   i s   d u e   t o   a   b u g   i n   t h e   n f s - r d m a   c o d e . 
 
     O F E D - B U G : 
 
     h t t p : / / b u g s . o p e n f a b r i c s . o r g / b u g z i l l a / s h o w _ b u g . c g i ? i d = 2 4 8 9 
 
 
 
 -   T h e   N F S - R D M A   m o d u l e   l e a k s   M R s . 
 
     O F E D - B U G : 
 
     h t t p : / / b u g s . o p e n f a b r i c s . o r g / b u g z i l l a / s h o w _ b u g . c g i ? i d = 2 4 9 0 
 
 
 
 -   F o r   a   4 0 G b   a d a p t e r ,   i b v _ d e v i n f o   - v   w i l l   d i s p l a y : 
 
     a c t i v e _ w i d t h :                       4 X   ( 2 ) 
 
     a c t i v e _ s p e e d :                       1 0 . 0   G b p s   ( 4 ) 
 
 
 
     4 x   *   1 0   =   4 0 G 
 
     l i n k - w i d t h   i s   n o t   a p p l i c a b l e   t o   R o C E .   i b v _ d e v i n f o   n e e d s   a   f i x . 
 
 
 
 = = = = = = = = = = = = = = = = = 
 
 U p d a t i n g   F i r m w a r e 
 
 = = = = = = = = = = = = = = = = = 
 
 
 
 F i r m w a r e   v e r s i o n   1 0 . 2 . x   i n c l u d e s   n e w   f e a t u r e s   t h a t   r e q u i r e d   n e w 
 
 f l a s h   r e g i o n s   t o   s u p p o r t   t h e m .   F i r m w a r e   v e r s i o n s   e a r l i e r   t h a n   1 0 . 0 . 8 0 3 . 3 7 
 
 d i d   n o t   h a v e   t h e   a b i l i t y   t o   c o n f i g u r e   t h e   f l a s h   r e g i o n s   t o   s u p p o r t   t h e s e   
 
 n e w   f e a t u r e s . 
 
 
 
 N o t e   1 :   D o   n o t   u s e   a n y   i n b o x   L i n u x   d r i v e r s   t o   u p d a t e   f r o m   a n y   v e r s i o n   o f   
 
 	 1 0 . 0 . x   f i r m w a r e   t o   a n y   v e r s i o n   o f   1 0 . 2 . x   f i r m w a r e . 
 
 
 
 N o t e   2 :   I f   y o u   a r e   u s i n g   o u t - o f - b o x   L i n u x   d r i v e r s   a n d   y o u   a r e   u p d a t i n g   
 
 	 f r o m   a   f i r m w a r e   v e r s i o n   e a r l i e r   t h a n   1 0 . 0 . 8 0 3 . 3 7 ,   y o u   m u s t   f i r s t   
 
 	 u p d a t e   t h e   o u t - o f - b o x   L i n u x   d r i v e r   t o   v e r s i o n   1 0 . 2 . x ,   a n d   t h e n   
 
 	 p e r f o r m   t h e   f i r m w a r e   u p d a t e   p r o c e d u r e   t w i c e . 
 
 
 
 N o t e   3 :   I f   y o u   a r e   u s i n g   o u t - o f - b o x   L i n u x   d r i v e r s   a n d   y o u   a r e   u p d a t i n g   
 
 	 f r o m   f i r m w a r e   v e r s i o n   1 0 . 0 . 8 0 3 . 3 7   o r   l a t e r ,   y o u   m u s t   f i r s t   u p d a t e   
 
 	 t h e   o u t - o f - b o x   L i n u x   d r i v e r   t o   v e r s i o n   1 0 . 2 . x .   I t   i s   n o t   n e c e s s a r y   
 
 	 t o   p e r f o r m   t h e   f i r m w a r e   u p d a t e   p r o c e d u r e   t w i c e . 
 
 
 
 N o t e   4 :   A f t e r   y o u   h a v e   u p d a t e d   t h e   f i r m w a r e ,   y o u   m u s t   n o t   d o w n g r a d e   i t   t o   
 
 	 a   v e r s i o n   e a r l i e r   t h a n   1 0 . 0 . 8 0 3 . 3 7 . 
 
 
 
 -   G e t   o c 1 4 - 1 0 . 2 . 2 9 8 . 0 . u f i   o r   l a t e r   f i r m w a r e   f r o m   w w w . e m u l e x . c o m . 
 
 -   C o p y   t h e   f i r m w a r e   f i l e   i n t o   / l i b / f i r m w a r e 
 
 -   R u n :   e t h t o o l   - f   e t h X   < f w - i m a g e - f i l e n a m e > 
 
 -   R e b o o t   t h e   m a c h i n e . 
 
 
 
 T h e   d r i v e r   i n   t h i s   d i s t r i b u t i o n   h a s   b e e n   t e s t e d   w i t h   v e r s i o n s   1 0 . 2 . 1 4 5 . 0   a n d 
 
 1 0 . 2 . 2 9 8 . 0 . 
 
 
 
 e g : 
 
 
 
 #   c p   < p a t h - t o > / o c 1 4 - 1 0 . 2 . 3 0 0 . 0 . u f i   / l i b / f i r m w a r e / 
 
 #   e t h t o o l   - f   e t h 2   o c 1 4 - 1 0 . 2 . 3 0 0 . 0 . u f i 
 
 #   r e b o o t 
 
 
 
 = = = = = = = = = = = = = 
 
 O p e n M P I : 
 
 = = = = = = = = = = = = = 
 
 F r o m   t h e   O F E D - 3 . 5   p a c k a g e   o n w a r d s ,   O p e n M P I   i s   n o t   a   p a r t   o f   t h e   O F E D 
 
 p a c k a g e .   Y o u   m u s t   m a n u a l l y   d o w n l o a d   a n d   i n s t a l l   i t . 
 
 
 
 -   D o w n l o a d   t h e   l a t e s t   O p e n M P I   r e l e a s e d   S R P M   f r o m   t h e   f o l l o w i n g   l o c a t i o n . 
 
     h t t p : / / w w w . o p e n - m p i . o r g / s o f t w a r e / o m p i 
 
 
 
 -   B u i l d   O p e n M P I   u s i n g   t h e   f o l l o w i n g   s t e p s : 
 
     . / c o n f i g u r e   - - w i t h - o p e n i b 
 
     m a k e 
 
     m a k e   i n s t a l l 
 
 
 
 -   U s e   t h e   f o l l o w i n g   p a r a m e t e r s   w h i l e   r u n n i n g   a n   M P I   a p p l i c a t i o n : 
 
     - - m c a   b t l   o p e n i b , s e l f , s m   - - m c a   p m l   o b 1   - - m c a   b t l _ o p e n i b _ f l a g s   3 0 6   - - m c a 
 
     b t l _ o p e n i b _ r e c e i v e _ q u e u e s   P , 6 5 5 3 6 , 1 2 0 , 6 4 , 3 2   - - m c a   b t l _ o p e n i b _ c p c _ i n c l u d e 
 
     r d m a c m 
 
 
 
     e g : 
 
     m p i r u n   - n p   8   - h o s t f i l e   < p a t h   t o   h o s t f i l e >   - - m c a   b t l   o p e n i b , s e l f , s m   - - m c a   p m l   o b 1   \ 
 
 	 - - m c a   b t l _ o p e n i b _ f l a g s   3 0 6   - - m c a   b t l _ o p e n i b _ r e c e i v e _ q u e u e s   P , 6 5 5 3 6 , 1 2 0 , 6 4 , 3 2   \ 
 
 	 - - m c a   b t l _ o p e n i b _ c p c _ i n c l u d e   r d m a c m   < p a t h   t o   M P I   a p p l i c a t i o n > 
 
 
 
 -   F o r   f u r t h e r   d e t a i l s   r e f e r   t o   t h e   O p e n M P I   d o c u m e n t a t i o n . 
 
 
 
 = = = = = = = = = = = = = 
 
 M V A P I C H 2 : 
 
 = = = = = = = = = = = = = 
 
 F r o m   t h e   O F E D - 3 . 5   p a c k a g e   o n w a r d s ,   M V A P I C H 2   i s   n o t   a   p a r t   o f   t h e   O F E D 
 
 p a c k a g e .   Y o u   m u s t   m a n u a l l y   d o w n l o a d   a n d   i n s t a l l   i t . 
 
 
 
 -   D o w n l o a d   t h e   l a t e s t   M V A P I C H 2   r e l e a s e d   S R P M   f r o m   t h e   f o l l o w i n g   l o c a t i o n : 
 
     h t t p : / / m v a p i c h . c s e . o h i o - s t a t e . e d u / d o w n l o a d / m v a p i c h 2 / 
 
 
 
 -   B u i l d   M V A P I C H 2   w i t h   t h e   f o l l o w i n g   c o n f i g u r e   o p t i o n s 
 
     . / c o n f i g u r e   - - p r e f i x = / u s r   - - w i t h - d e v i c e = c h 3 : m r a i l   - - w i t h - r d m a = g e n 2   - - s y s c o n f d i r = / e t c   - - l i b d i r = / u s r / l i b 6 4 
 
     m a k e 
 
     m a k e   i n s t a l l 
 
 -   U s e   t h e   f o l l o w i n g   - e n v   o p t i o n s   t o   r u n   t h e   M P I   j o b   i n   t h e   m p i r u n   c o m m a n d : 
 
     " - e n v   M V 2 _ U S E _ R D M A O E   1   - e n v   M V 2 _ U S E _ R D M A _ C M   1   - e n v   M V 2 _ U S E _ S H A R E D _ M E M   1   
 
     - e n v   M V 2 _ U S E _ B L O C K I N G   0   - e n v   M V 2 _ I B A _ H C A   o c r d m a 0 " 
 
     e g : 
 
     m p i r u n   - n p   8   - f   < P a t h   t o   h o s t f i l e >   - e n v   M V 2 _ U S E _ R D M A O E   1   - e n v   M V 2 _ U S E _ R D M A _ C M   1   \ 
 
 	 - e n v   M V 2 _ D E F A U L T _ M A X _ C Q _ S I Z E   1 2 8   - e n v   M V 2 _ U S E _ S R Q   0   - e n v   M V 2 _ M X _ S E N D _ W R   6 4   \ 
 
 	 - e n v   M V 2 _ M A X _ R E C V _ W R   6 4   - e n v   M V 2 _ U S E _ S H A R E D _ M E M   1   - e n v   M V 2 _ U S E _ B L O C K I N G   0   \ 
 
 	 - e n v   M V 2 _ I B A _ H C A   o c r d m a 0   < p a t h   t o   M P I   a p p l i c a t i o n > 
 
 
 
 -   F o r   f u r t h e r   d e t a i l s   r e f e r   t o   t h e   M V A P I C H 2   d o c u m e n t a t i o n . 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 T e s t i n g   c o n n e c t i v i t y   w i t h   p i n g   a n d   r p i n g : 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 -   m o d p r o b e   b e 2 n e t 
 
 -   C o n f i g u r e   t h e   E t h e r n e t   i n t e r f a c e s   f o r   t h e   E m u l e x   d e v i c e . 
 
 -   C o n f i g u r e   t h e   I P   a d d r e s s   t o   t h e   i n t e r f a c e s . 
 
 -   m o d p r o b e   o c r d m a 
 
 -   i b v _ d e v i n f o   s h o u l d   d i s p l a y   t h e   o c r d m a   d e v i c e   i n   a n   a c t i v e   s t a t e . 
 
 -   p i n g   < I P   o f   p e e r   E m u l e x   d e v i c e >   s h o u l d   s u c c e e d . 
 
 
 
 T e s t   R D M A   c o n n e c t i v i t y ,   u s i n g   t h e   r p i n g   c o m m a n d .   I t   i s   i n c l u d e d   i n   t h e 
 
 l i b r d m a c m - u t i l s   r p m : 
 
 
 
 O n   t h e   s e r v e r   m a c h i n e : 
 
 
 
 #   r p i n g   - s   - p   9 9 9 9 
 
 
 
 O n   t h e   c l i e n t   m a c h i n e : 
 
 
 
 #   r p i n g   - c   - V v C 1 0   - a   s e r v e r _ i p _ a d d r   - p   9 9 9 9 
 
 
 
 Y o u   s h o u l d   s e e   p i n g   d a t a   l i k e   t h i s   o n   t h e   c l i e n t : 
 
 
 
 p i n g   d a t a :   r d m a - p i n g - 0 :   A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r 
 
 p i n g   d a t a :   r d m a - p i n g - 1 :   B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s 
 
 p i n g   d a t a :   r d m a - p i n g - 2 :   C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t 
 
 p i n g   d a t a :   r d m a - p i n g - 3 :   D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u 
 
 p i n g   d a t a :   r d m a - p i n g - 4 :   E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v 
 
 p i n g   d a t a :   r d m a - p i n g - 5 :   F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w 
 
 p i n g   d a t a :   r d m a - p i n g - 6 :   G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x 
 
 p i n g   d a t a :   r d m a - p i n g - 7 :   H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y 
 
 p i n g   d a t a :   r d m a - p i n g - 8 :   I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z 
 
 p i n g   d a t a :   r d m a - p i n g - 9 :   J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z A 
 
 c l i e n t   D I S C O N N E C T   E V E N T . . . 
 
 
 
 
 
 