You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-16 - 22:02

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Tue Jun 16, 2026 12:45:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
564199663,44cyclictest4478-21ssh12:35:150
565899603,29cyclictest28147-21ssh11:00:122
5641995837,7cyclictest12-21ksoftirqd/007:25:130
564199533,34cyclictest8373-21ssh11:25:120
564199524,8cyclictest131rcu_preempt10:30:110
565899511,26cyclictest24402-21ssh12:10:132
565899501,32cyclictest6378-21ssh12:00:122
564199481,33cyclictest29822-21ssh11:55:140
5667994436,5cyclictest35966irq/58-eth010:10:143
566799433,3cyclictest0-21swapper/311:25:113
565899421,33cyclictest11829-21ssh11:45:112
564999411,31cyclictest17349-21ssh11:30:131
564999411,31cyclictest17349-21ssh11:30:121
5649994026,10cyclictest32634-21apt-get08:45:121
566799383,21cyclictest35966irq/58-eth009:20:143
566799372,3cyclictest0-21swapper/311:15:133
5667993718,12cyclictest35966irq/58-eth009:55:343
5667993718,12cyclictest35966irq/58-eth009:55:333
565899371,27cyclictest13729-21ssh11:10:112
566799367,24cyclictest35966irq/58-eth010:55:133
564199365,6cyclictest131rcu_preempt12:30:120
564199363,8cyclictest131rcu_preempt08:45:140
565899340,19cyclictest20809-21ssh11:50:142
566799332,3cyclictest36066irq/59-eth009:35:133
565899339,9cyclictest24099-21diskmemload12:29:312
564199332,23cyclictest2895-21ssh10:10:140
566799322,11cyclictest0-21swapper/311:05:123
566799321,7cyclictest0-21swapper/309:45:103
566799321,6cyclictest0-21swapper/312:00:113
564199323,22cyclictest29964-21ssh10:25:140
564199322,22cyclictest26346-21/usr/sbin/munin10:05:300
564199322,19cyclictest12-21ksoftirqd/008:55:130
566799314,23cyclictest0-21swapper/312:35:133
566799312,3cyclictest0-21swapper/312:25:153
566799312,2cyclictest0-21swapper/307:35:133
566799312,21cyclictest35966irq/58-eth012:30:123
565899319,13cyclictest27-21ksoftirqd/207:10:262
565899314,10cyclictest27-21ksoftirqd/208:15:212
564199314,3cyclictest131rcu_preempt11:20:140
564199313,17cyclictest12-21ksoftirqd/009:45:110
564199312,21cyclictest23736-21ssh10:55:300
564199311,22cyclictest13730-21ssh09:40:150
566799304,22cyclictest35966irq/58-eth009:50:133
565899302,20cyclictest22776-21ssh11:15:142
565899302,20cyclictest15369-21ssh12:05:142
5649993017,6cyclictest7178-21apt-get07:45:131
5649993014,9cyclictest0-21swapper/112:05:131
564199303,3cyclictest131rcu_preempt12:20:120
566799295,18cyclictest0-21swapper/309:40:143
566799292,20cyclictest0-21swapper/311:50:153
566799292,20cyclictest0-21swapper/310:35:123
566799292,20cyclictest0-21swapper/310:35:113
566799291,7cyclictest0-21swapper/311:00:133
566799291,7cyclictest0-21swapper/310:30:123
566799291,2cyclictest0-21swapper/310:20:143
565899294,15cyclictest27-21ksoftirqd/209:46:422
5658992911,12cyclictest0-21swapper/212:33:212
5649992917,9cyclictest29905-21apt-get07:35:131
5649992916,8cyclictest0-21swapper/107:40:131
564199292,19cyclictest25142-21ssh10:20:290
564199292,19cyclictest14584-21cat10:50:300
566799284,14cyclictest35966irq/58-eth010:50:143
566799282,5cyclictest0-21swapper/309:30:133
566799281,6cyclictest0-21swapper/308:40:123
566799281,5cyclictest0-21swapper/311:49:543
565899286,8cyclictest27-21ksoftirqd/210:29:102
565899285,13cyclictest131rcu_preempt10:16:202
565899285,12cyclictest131rcu_preempt10:51:242
565899284,7cyclictest27-21ksoftirqd/209:35:052
565899282,11cyclictest0-21swapper/207:40:142
5658992814,10cyclictest0-21swapper/210:45:142
5658992812,6cyclictest0-21swapper/211:06:162
565899281,20cyclictest2868-21ssh11:40:152
5658992811,11cyclictest0-21swapper/209:32:072
564999283,5cyclictest21-21ksoftirqd/109:40:211
5649992815,10cyclictest6566-21apt-get10:30:121
564199286,12cyclictest0-21swapper/009:55:130
564199286,12cyclictest0-21swapper/009:55:120
566799274,20cyclictest0-21swapper/311:40:013
566799274,20cyclictest0-21swapper/311:40:003
566799273,15cyclictest0-21swapper/310:49:303
566799272,3cyclictest0-21swapper/312:15:143
566799271,5cyclictest0-21swapper/309:10:223
566799271,3cyclictest0-21swapper/310:40:133
566799271,3cyclictest0-21swapper/308:30:123
566799271,3cyclictest0-21swapper/307:15:113
566799271,23cyclictest0-21swapper/312:10:123
565899279,12cyclictest0-21swapper/211:58:202
565899276,8cyclictest27-21ksoftirqd/209:55:372
565899276,8cyclictest27-21ksoftirqd/209:55:362
565899276,8cyclictest27-21ksoftirqd/209:18:352
565899276,7cyclictest27-21ksoftirqd/210:22:572
565899276,12cyclictest27-21ksoftirqd/210:32:582
565899276,11cyclictest27-21ksoftirqd/210:39:082
565899276,11cyclictest27-21ksoftirqd/210:39:072
565899275,8cyclictest27-21ksoftirqd/212:24:272
565899275,14cyclictest27-21ksoftirqd/208:45:132
565899271,16cyclictest19111-21ssh10:55:132
5658992711,10cyclictest27-21ksoftirqd/211:20:142
5658992710,11cyclictest0-21swapper/209:27:572
564199273,12cyclictest31686-21ssh09:50:130
564199272,19cyclictest9326-21ssh10:49:300
564199271,5cyclictest131rcu_preempt09:35:130
564199271,18cyclictest10111-21ssh09:20:160
566799263,16cyclictest0-21swapper/310:05:303
566799262,17cyclictest0-21swapper/310:28:303
566799261,4cyclictest0-21swapper/308:00:133
566799261,3cyclictest0-21swapper/308:15:173
565899267,8cyclictest27-21ksoftirqd/209:22:022
565899265,13cyclictest27-21ksoftirqd/212:37:442
565899265,13cyclictest27-21ksoftirqd/212:17:022
565899264,7cyclictest27-21ksoftirqd/211:37:012
565899264,7cyclictest27-21ksoftirqd/211:37:002
565899264,12cyclictest27-21ksoftirqd/209:44:152
565899263,3cyclictest27-21ksoftirqd/210:05:132
565899263,16cyclictest27346irq/40-dwc2_hso09:00:132
565899262,20cyclictest10954-21ssh10:14:212
565899261,21cyclictest24887-21ls08:00:222
565899261,15cyclictest27-21ksoftirqd/207:45:192
565899260,5cyclictest27-21ksoftirqd/209:10:222
564999263,4cyclictest21-21ksoftirqd/112:30:261
5649992619,3cyclictest27742-21apt-get08:40:131
5649992618,4cyclictest5842-21apt-get07:10:121
564199262,17cyclictest24883-21ssh11:50:310
566799256,15cyclictest0-21swapper/311:40:153
566799253,13cyclictest35966irq/58-eth012:20:133
566799251,5cyclictest0-21swapper/312:05:323
566799251,5cyclictest0-21swapper/307:40:133
566799251,4cyclictest0-21swapper/311:55:173
566799251,3cyclictest0-21swapper/311:20:183
566799251,15cyclictest35966irq/58-eth007:45:123
565899257,12cyclictest27-21ksoftirqd/210:41:322
565899256,12cyclictest27-21ksoftirqd/210:01:022
565899255,8cyclictest27-21ksoftirqd/209:50:142
565899255,11cyclictest131rcu_preempt07:50:252
565899254,8cyclictest27-21ksoftirqd/211:27:032
565899253,13cyclictest0-21swapper/208:50:132
565899253,10cyclictest131rcu_preempt08:10:212
564999256,5cyclictest21-21ksoftirqd/107:35:021
564999255,6cyclictest21-21ksoftirqd/110:25:171
564999254,4cyclictest21-21ksoftirqd/111:25:151
564999253,16cyclictest4710-21ssh11:05:111
5649992518,3cyclictest20920-21apt-get10:20:141
5649992516,3cyclictest9896-21apt-get08:55:111
566799242,7cyclictest0-21swapper/310:15:123
566799242,2cyclictest0-21swapper/311:10:173
566799241,6cyclictest0-21swapper/311:34:003
566799241,6cyclictest0-21swapper/311:33:593
566799241,6cyclictest0-21swapper/308:35:253
566799241,6cyclictest0-21swapper/308:20:123
566799241,5cyclictest0-21swapper/310:03:583
566799241,5cyclictest0-21swapper/308:05:293
566799241,3cyclictest0-21swapper/309:25:163
566799241,3cyclictest0-21swapper/309:15:153
566799241,3cyclictest0-21swapper/307:50:293
565899246,10cyclictest27-21ksoftirqd/208:55:272
5658992413,8cyclictest22914-21apt-get08:35:142
5658992410,10cyclictest21645-21sshd11:30:302
5658992410,10cyclictest21645-21sshd11:30:292
564999245,11cyclictest22764-21kworker/u8:211:15:131
564999243,5cyclictest21-21ksoftirqd/109:50:121
564999243,5cyclictest21-21ksoftirqd/109:10:281
564999243,4cyclictest21-21ksoftirqd/112:00:311
564999241,19cyclictest1213-21sh10:45:131
564199242,6cyclictest0-21swapper/010:01:290
564199242,16cyclictest6388-21ssh12:00:120
564199241,17cyclictest24666-21rm10:40:140
566799231,6cyclictest0-21swapper/308:55:193
566799231,5cyclictest0-21swapper/309:05:173
566799231,5cyclictest0-21swapper/308:45:223
566799231,5cyclictest0-21swapper/308:30:023
566799231,4cyclictest0-21swapper/307:10:213
566799231,3cyclictest0-21swapper/308:50:293
566799231,3cyclictest0-21swapper/307:25:173
565899233,12cyclictest131rcu_preempt07:20:262
565899232,5cyclictest0-21swapper/208:25:232
564999236,7cyclictest21-21ksoftirqd/110:38:021
564999236,7cyclictest21-21ksoftirqd/110:38:011
564999235,5cyclictest21-21ksoftirqd/112:16:161
564999235,4cyclictest21-21ksoftirqd/111:00:311
564999235,4cyclictest21-21ksoftirqd/108:10:221
564999234,5cyclictest21-21ksoftirqd/109:36:341
564999234,4cyclictest201rcuc/111:24:301
564999232,5cyclictest21-21ksoftirqd/110:11:481
564999232,4cyclictest21-21ksoftirqd/112:38:331
5649992317,3cyclictest15480-21apt-get07:20:131
5649992311,9cyclictest14260-21ssh11:45:211
5649992311,8cyclictest0-21swapper/110:50:131
564999231,10cyclictest0-21swapper/110:43:321
5649992310,10cyclictest5908-21ssh11:40:231
564999230,6cyclictest25357-21kthreadcore09:45:211
564999230,5cyclictest21-21ksoftirqd/112:25:311
564199235,13cyclictest12-21ksoftirqd/010:15:130
564199232,15cyclictest17322-21apt-get11:30:130
564199232,15cyclictest17322-21apt-get11:30:120
564199232,14cyclictest964-21ssh12:15:140
5641992315,6cyclictest0-21swapper/011:09:310
5641992312,7cyclictest536-21usb-storage07:45:110
564199231,19cyclictest19307-21ls12:05:290
566799221,6cyclictest0-21swapper/307:55:163
566799221,5cyclictest0-21swapper/309:05:023
566799221,5cyclictest0-21swapper/308:10:163
566799221,5cyclictest0-21swapper/307:20:293
566799221,4cyclictest0-21swapper/307:35:023
565899226,3cyclictest0-21swapper/207:35:302
565899223,9cyclictest27-21ksoftirqd/208:05:232
565899221,3cyclictest27-21ksoftirqd/207:35:012
5658992213,7cyclictest0-21swapper/207:55:302
5658992212,8cyclictest261rcuc/207:15:272
564999227,8cyclictest18104-21apt-get08:30:141
564999224,5cyclictest21-21ksoftirqd/111:57:561
564999224,4cyclictest21-21ksoftirqd/108:55:011
564999223,4cyclictest21-21ksoftirqd/109:25:201
564999223,4cyclictest201rcuc/109:19:541
564999222,6cyclictest16742-21date07:55:011
564999222,4cyclictest21-21ksoftirqd/109:56:561
564999222,4cyclictest21-21ksoftirqd/109:56:551
564999222,4cyclictest201rcuc/111:11:511
5649992217,3cyclictest201rcuc/110:57:071
5649992217,3cyclictest201rcuc/109:20:511
564999221,18cyclictest16822-21apt-get07:55:111
564199225,10cyclictest0-21swapper/008:25:130
5641992215,4cyclictest0-21swapper/011:45:110
564199221,18cyclictest19497-21find09:05:120
564199221,17cyclictest23179-21ls09:25:280
565899215,12cyclictest24238-21ssh09:10:022
565899214,9cyclictest27-21ksoftirqd/208:23:512
564999214,7cyclictest15478-21ntp_192.168.11410:15:211
564999214,5cyclictest21-21ksoftirqd/110:01:541
564999213,5cyclictest21-21ksoftirqd/111:36:001
564999213,5cyclictest21-21ksoftirqd/111:35:591
564999213,5cyclictest21-21ksoftirqd/108:15:221
564999212,4cyclictest21-21ksoftirqd/112:14:291
5649992114,3cyclictest21628-21apt-get08:00:121
5649992111,7cyclictest20392-21cron11:50:021
564999210,5cyclictest24236-21grep09:10:011
564999210,3cyclictest0-21swapper/109:31:281
564199213,10cyclictest15698-21sh10:35:140
564199213,10cyclictest15698-21sh10:35:130
564199212,16cyclictest1781-21kthreadcore08:10:220
5641992112,6cyclictest0-21swapper/007:15:250
5641992111,8cyclictest31794-21sshd09:13:300
566799201,3cyclictest0-21swapper/307:10:013
565899209,8cyclictest0-21swapper/207:25:152
565899202,4cyclictest27-21ksoftirqd/208:30:282
565899201,10cyclictest27724-21/usr/sbin/munin08:40:152
564999203,4cyclictest21-21ksoftirqd/112:23:271
564999203,4cyclictest21-21ksoftirqd/108:20:141
564999201,4cyclictest21-21ksoftirqd/108:25:211
5649992013,4cyclictest10676-21apt-get07:15:101
5649992010,7cyclictest27124-21kthreadcore10:05:201
564199202,13cyclictest12-21ksoftirqd/012:25:150
564199202,12cyclictest0-21swapper/012:10:120
564199201,4cyclictest0-21swapper/011:40:330
564199201,10cyclictest30055-21find11:35:290
564199201,10cyclictest30055-21find11:35:280
564199200,17cyclictest6973-21latency08:15:220
564999193,3cyclictest21-21ksoftirqd/108:08:481
564199197,5cyclictest12-21ksoftirqd/007:20:120
564199197,3cyclictest131rcu_preempt11:10:250
564199191,3cyclictest131rcu_preempt07:10:300
5641991912,5cyclictest0-21swapper/007:35:290
5641991910,6cyclictest27932-21ssh11:15:530
565899181,14cyclictest5707-21latency_hist07:10:022
564999181,4cyclictest21-21ksoftirqd/109:00:291
564999180,4cyclictest21-21ksoftirqd/107:25:151
564199189,6cyclictest26806-21grep08:35:310
564199188,7cyclictest26160-21kthreadcore07:30:190
564199187,3cyclictest131rcu_preempt08:10:010
564199184,11cyclictest14499-21kthreadcore07:50:220
564199181,9cyclictest29176-21kthreadcore11:00:180
564199181,4cyclictest53646usb-storage08:50:100
564199181,14cyclictest5751-21grep07:10:010
564199181,14cyclictest17110-21tr09:00:200
564999173,3cyclictest131rcu_preempt08:35:221
564199178,7cyclictest21721-21diskstats08:00:160
564199176,8cyclictest21374-21cron08:00:010
564199171,3cyclictest0-21swapper/009:15:210
564199171,14cyclictest6985-21latency_hist07:45:020
564199171,13cyclictest28157-21apt-get09:30:120
564199162,9cyclictest0-21swapper/008:40:120
564199162,10cyclictest0-21swapper/008:30:130
564199161,13cyclictest8527-21apt-get08:20:110
564999149,3cyclictest5589-21latency_hist07:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional