You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-17 - 14:08

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #a, slot #8

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackaslot8s.osadl.org (updated Mon Aug 17, 2026 00:45:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
211542190150,16sleep00-21swapper/019:07:000
21343217499,24sleep30-21swapper/319:09:293
21357215157,33sleep20-21swapper/219:09:402
210882140103,26sleep10-21swapper/119:06:101
172292700,10sleep334-21ksoftirqd/321:40:003
150472660,2sleep1211rcuc/122:25:201
226612630,1sleep20-21swapper/222:06:552
313472600,4sleep00-21swapper/023:00:470
326772580,4sleep1211rcuc/121:26:371
90962550,2sleep30-21swapper/323:32:523
187042550,1sleep30-21swapper/321:16:283
146752520,2sleep00-21swapper/023:36:430
281192490,3sleep028117-21ssh22:35:150
247232490,1sleep10-21swapper/100:31:541
162492490,1sleep20-21swapper/223:38:172
64062480,3sleep012-21ksoftirqd/022:19:300
121502480,3sleep30-21swapper/320:00:243
143112470,8sleep122-21ksoftirqd/123:12:401
249252450,2sleep20-21swapper/223:20:192
39482440,2sleep00-21swapper/023:52:440
167752420,1sleep00-21swapper/021:39:330
220232410,3chrt22-21ksoftirqd/121:42:591
320742400,1sleep30-21swapper/300:37:293
7502350,10sleep334-21ksoftirqd/321:50:353
54642340,1sleep20-21swapper/222:42:032
191952340,3sleep228-21ksoftirqd/223:40:182
290882320,2sleep00-21swapper/023:23:550
2165899312,4cyclictest34-21ksoftirqd/323:00:003
183582310,2sleep20-21swapper/222:04:232
11242310,2sleep10-21swapper/121:50:571
88822300,1sleep20-21swapper/221:56:442
21658993025,4cyclictest331rcuc/322:50:013
170632300,2sleep1211rcuc/121:15:221
21658992925,3cyclictest331rcuc/322:40:533
131602290,2sleep30-21swapper/322:24:263
2165899287,4cyclictest34-21ksoftirqd/300:08:263
2165899286,10cyclictest34-21ksoftirqd/323:19:413
21658992811,9cyclictest34-21ksoftirqd/323:41:163
21658992811,9cyclictest34-21ksoftirqd/322:26:283
21656992818,8cyclictest30151-21rm00:11:561
2165899278,7cyclictest34-21ksoftirqd/323:35:243
2165899274,7cyclictest21560-21apt-get00:30:153
2165899272,18cyclictest8959-21runrttasks19:55:033
2165799277,7cyclictest17672-21cat21:40:102
170032270,8sleep122-21ksoftirqd/121:39:461
288092260,2sleep10-21swapper/123:00:001
2165899269,8cyclictest34-21ksoftirqd/323:07:593
2165899267,7cyclictest34-21ksoftirqd/321:45:233
2165899262,8cyclictest34-21ksoftirqd/323:55:073
21658992612,9cyclictest52950irq/141-enp3s0-23:45:033
2165899260,7cyclictest34-21ksoftirqd/321:25:423
2165699261,24cyclictest0-21swapper/119:14:111
140702260,1sleep30-21swapper/323:12:263
2165899258,8cyclictest34-21ksoftirqd/319:19:233
2165899257,10cyclictest34-21ksoftirqd/321:12:213
2165899255,10cyclictest34-21ksoftirqd/300:23:483
2165899253,8cyclictest34-21ksoftirqd/300:15:123
2165899252,6cyclictest331rcuc/300:10:433
21658992520,4cyclictest331rcuc/323:50:413
21658992518,6cyclictest331rcuc/322:09:173
2165899251,7cyclictest34-21ksoftirqd/323:01:013
2165899251,7cyclictest34-21ksoftirqd/321:32:383
2165899251,6cyclictest34-21ksoftirqd/321:55:433
2165899251,23cyclictest0-21swapper/319:14:093
21655992523,1cyclictest0-21swapper/019:13:550
2165899248,6cyclictest34-21ksoftirqd/300:01:143
2165899247,9cyclictest34-21ksoftirqd/322:38:253
2165899247,9cyclictest34-21ksoftirqd/320:16:303
2165899246,7cyclictest34-21ksoftirqd/322:30:213
2165899245,2cyclictest141rcu_preempt22:00:233
2165899245,11cyclictest34-21ksoftirqd/323:27:503
2165899242,7cyclictest34-21ksoftirqd/321:40:433
21658992420,3cyclictest331rcuc/320:49:533
21658992419,3cyclictest331rcuc/323:21:393
21658992410,7cyclictest141rcu_preempt22:47:173
21657992412,9cyclictest1333-21ssh23:03:122
21657992411,8cyclictest0-21swapper/223:55:132
227522230,1sleep00-21swapper/022:30:280
2165899237,3cyclictest141rcu_preempt20:22:143
2165899234,7cyclictest34-21ksoftirqd/320:05:243
2165899232,4cyclictest34-21ksoftirqd/319:20:243
21658992319,3cyclictest331rcuc/300:25:533
21658992319,3cyclictest331rcuc/300:25:533
2165899231,8cyclictest34-21ksoftirqd/319:40:133
2165899231,7cyclictest34-21ksoftirqd/322:17:473
2165899231,7cyclictest34-21ksoftirqd/322:12:503
21658992316,5cyclictest34-21ksoftirqd/319:55:003
21658992316,5cyclictest34-21ksoftirqd/319:40:003
21657992321,1cyclictest0-21swapper/219:14:282
2165799230,9cyclictest271052awk19:20:222
21656992313,7cyclictest4419-21memory23:05:171
21655992316,5cyclictest14565-21cut00:25:000
21655992314,6cyclictest5434-21cat21:55:010
21655992313,6cyclictest23408-21sort21:20:160
128072230,5sleep112809-21awk23:35:231
2165899225,9cyclictest34-21ksoftirqd/321:22:373
2165899222,7cyclictest34-21ksoftirqd/321:05:123
21658992217,4cyclictest34-21ksoftirqd/320:59:593
2165899221,6cyclictest34-21ksoftirqd/319:25:513
21657992213,6cyclictest7718-21cat22:20:142
21657992213,6cyclictest491-21unixbench_singl21:50:252
21657992212,7cyclictest3786-21sort21:30:002
21657992210,8cyclictest20180-21apt-get00:05:132
2165699221,8cyclictest75092cat23:55:201
21656992213,6cyclictest511-21apt22:15:121
2165599222,14cyclictest8959-21runrttasks19:55:030
2165599221,7cyclictest26957-21ssh00:10:140
161152220,9sleep012-21ksoftirqd/022:50:160
158932220,2sleep20-21swapper/222:50:132
271622210,3sleep10-21swapper/123:21:591
2165899210,7cyclictest34-21ksoftirqd/320:25:153
2165899210,7cyclictest34-21ksoftirqd/320:13:393
2165799219,10cyclictest0-21swapper/223:25:282
2165799216,13cyclictest15374-21grep00:25:172
2165799216,13cyclictest15374-21grep00:25:172
21657992112,6cyclictest13903-21tune2fs00:00:162
21657992111,6cyclictest52750irq/139-enp3s0-21:35:122
2165699219,8cyclictest22091-21apt-get20:25:131
2165699219,10cyclictest24182-21cut19:15:121
21656992113,6cyclictest26833-21fw_packets20:35:161
21656992112,3cyclictest25087-21sh22:32:481
2165699211,14cyclictest26214-21ssh22:10:111
2165599218,11cyclictest22285-21cron21:20:000
2165599214,12cyclictest75-21kswapd023:10:130
2165599211,6cyclictest0-21swapper/022:05:230
21655992112,7cyclictest11579-21seq21:11:070
21655992112,6cyclictest278-21systemd-journal19:50:000
312062200,3sleep20-21swapper/219:30:182
2165899207,3cyclictest141rcu_preempt19:49:563
2165899203,2cyclictest141rcu_preempt20:33:013
21658992010,7cyclictest278-21systemd-journal19:33:023
2165899200,6cyclictest331rcuc/321:04:013
2165799203,12cyclictest636-21runrttasks22:45:132
21657992015,3cyclictest28409-21cpuspeed_turbos19:25:142
21657992015,3cyclictest25930-21cron19:20:002
21657992014,4cyclictest28956-21sh00:10:442
21657992014,4cyclictest13466-21sh00:24:072
21657992013,5cyclictest15494-21dump-pmu-power21:15:002
21657992012,6cyclictest25019-21sed20:30:202
21657992012,5cyclictest1510-21unixbench-2d23:50:272
21657992011,7cyclictest28-21ksoftirqd/200:35:002
21657992011,7cyclictest27295-21cron22:35:002
21657992011,7cyclictest22745-21cat22:55:162
21657992011,7cyclictest1538-21sensors_temp20:50:232
21657992011,6cyclictest5493-21fw_packets23:30:182
21657992011,6cyclictest5004-21expr21:00:152
2165699202,13cyclictest7385-21apt-get22:20:131
2165699202,13cyclictest32351-21ssh23:50:141
21656992012,6cyclictest8476-21seq19:54:271
21656992012,6cyclictest7315-21seq22:43:531
21656992012,6cyclictest29346-21seq00:35:221
21656992012,6cyclictest15654-21ls00:25:191
21656992012,6cyclictest15654-21ls00:25:191
21656992012,6cyclictest14321-21memory00:00:201
21656992012,6cyclictest12922-21seq21:12:271
21656992011,6cyclictest29281-21load20:40:191
21656992011,6cyclictest29281-21load20:40:191
21656992011,6cyclictest19266-21grep20:15:261
21656992011,5cyclictest53050irq/142-enp3s0-22:00:131
21656992011,3cyclictest20866-21if_enp3s000:05:191
2165599209,7cyclictest26816-21grep23:45:230
2165599205,3cyclictest141rcu_preempt23:35:000
2165599203,8cyclictest245872cut20:30:170
2165599203,7cyclictest12998-40mandb00:00:000
2165599202,16cyclictest32557-21munin-plugin-st20:50:000
2165599201,8cyclictest272492sh22:58:270
2165599201,5cyclictest8717-21diskmemload23:28:320
21655992013,5cyclictest7621-21basename00:20:000
21655992012,6cyclictest29449-21awk00:35:230
21655992012,6cyclictest23462-21systemctl23:20:000
21655992012,6cyclictest22129-21seq23:42:250
21655992012,6cyclictest21753-21wc00:05:270
21655992012,5cyclictest27045-21sed22:10:180
21655992011,7cyclictest31795-21date19:30:240
21655992011,6cyclictest16480-21grep00:25:270
21655992011,6cyclictest16480-21grep00:25:270
21655992010,7cyclictest5200-21ntpq21:30:230
16592200,4sleep2271rcuc/222:15:212
2165899196,2cyclictest141rcu_preempt20:54:403
2165899192,4cyclictest0-21swapper/320:41:033
2165899192,4cyclictest0-21swapper/320:41:033
2165899191,6cyclictest34-21ksoftirqd/320:35:153
2165799199,8cyclictest560-21dbus-daemon20:15:012
21657991914,3cyclictest6961-21sh00:19:242
21657991914,3cyclictest16649-21cron23:15:002
21657991913,4cyclictest32685-21sh22:38:392
21657991913,4cyclictest25682-21processes21:45:222
21657991913,4cyclictest18603-21sh21:16:212
21657991912,5cyclictest23395-21tune2fs21:20:152
21657991912,4cyclictest8717-21diskmemload23:07:472
21657991912,4cyclictest23105-21sh23:19:422
21657991911,6cyclictest30836-21cat20:45:142
21657991911,6cyclictest13513-21grep20:05:132
2165799190,5cyclictest1271-21processes19:35:212
2165699199,7cyclictest8051-21apt-get00:20:141
2165699199,7cyclictest4510-21df_inode21:30:161
2165699199,7cyclictest24808-21hwlatdetect20:30:171
21656991914,3cyclictest2374-21apt19:40:121
21656991913,4cyclictest21341-21sh22:05:361
21656991912,5cyclictest6391-21seq21:02:531
21656991911,6cyclictest28077-21cat22:35:141
21656991911,6cyclictest25845-21perl23:45:141
21656991911,6cyclictest11030-21seq22:45:501
21656991911,6cyclictest10466-21grep19:55:261
21656991911,5cyclictest30272-21strings23:00:221
21656991910,6cyclictest31875-21switchtime20:45:251
2165599192,11cyclictest12639-21apt-get22:00:120
21655991913,4cyclictest12-21ksoftirqd/021:30:000
21655991912,4cyclictest636-21runrttasks21:57:520
21655991911,6cyclictest14320-21sed20:05:190
21655991911,5cyclictest10149-21wc22:45:230
2165799189,6cyclictest9214-21cat19:55:142
2165799182,11cyclictest2375-21apt-get19:40:132
21657991813,3cyclictest17772-21sh22:27:172
21657991812,4cyclictest31053-21sh00:36:282
21657991812,4cyclictest28-21ksoftirqd/219:55:002
21657991812,3cyclictest6896-21cpuspeed_turbos21:05:142
21657991811,5cyclictest5616-21sed21:30:262
21657991811,5cyclictest4560-21date21:00:012
21657991811,5cyclictest27618-21sed22:10:242
2165799181,12cyclictest25367-21ssh23:45:112
21657991810,6cyclictest22684-21cat20:25:182
21657991810,6cyclictest21345-21grep20:20:262
2165699189,7cyclictest17434-21seq20:13:571
2165699189,6cyclictest18386-21acpi23:40:111
2165699182,11cyclictest17113-21apt-get23:15:141
2165699181,8cyclictest4822-21ssh23:30:061
21656991813,3cyclictest7914-21sendmail_mailst21:05:231
21656991813,3cyclictest20657-21latency20:20:191
21656991812,4cyclictest29617-21sh21:48:471
21656991812,4cyclictest16525-21missed_timers22:50:191
21656991812,3cyclictest30540-21sh23:25:081
21656991811,5cyclictest3737-21seq00:16:111
21656991811,5cyclictest3405-21ntp_kernel_err20:55:211
21656991811,5cyclictest2085-21seq20:52:461
21656991811,5cyclictest13756-21expr20:05:141
21656991811,5cyclictest12310-21sensors20:00:251
21656991811,5cyclictest11821-21seq21:59:391
21656991810,6cyclictest25857-21seq21:21:351
21656991810,5cyclictest27170-21pmu-power19:20:221
2165599189,6cyclictest26558-21cat20:35:130
2165599184,2cyclictest141rcu_preempt21:45:150
2165599182,10cyclictest7411-21ssh22:20:130
21655991813,3cyclictest1144-21open_files19:35:200
21655991812,4cyclictest23978-21idleruntime-cro20:29:590
21655991811,5cyclictest18704-21awk21:40:190
21655991811,5cyclictest12621-21awk20:00:280
21655991810,6cyclictest5057-21ls23:05:230
21655991810,5cyclictest52850irq/140-enp3s0-22:25:140
73322170,3sleep012-21ksoftirqd/019:50:180
2165799179,6cyclictest19433-21seq20:17:062
2165799179,5cyclictest4625-21expr19:45:152
21657991711,4cyclictest26346-21/usr/sbin/munin20:35:202
2165699179,6cyclictest5632-21grep19:45:241
2165699179,6cyclictest30073-21seq19:28:031
21656991712,3cyclictest636-21runrttasks19:30:181
21656991712,3cyclictest1552-21timerwakeupswit19:35:231
2165599179,6cyclictest2727-21cat20:55:150
2165599179,6cyclictest14192-21uname00:00:180
2165599179,5cyclictest28604-21expr19:25:150
2165599179,5cyclictest2209-21cut22:40:130
2165599177,7cyclictest18888-21tr20:15:230
21655991712,3cyclictest25135-21sendmail_mailqu19:15:210
2165599171,12cyclictest21587-21taskset00:30:150
21655991710,5cyclictest27584-21sed19:20:260
2165799168,6cyclictest28607-21ls20:40:142
2165799168,6cyclictest28607-21ls20:40:132
2165799168,6cyclictest11488-21df_inode20:00:162
2165599169,5cyclictest29874-21grep20:40:250
2165599169,5cyclictest29874-21grep20:40:250
2165599169,5cyclictest16671-21cut20:10:230
2165599168,6cyclictest2475-21sed20:55:010
2165599168,6cyclictest20867-21ntp_states20:20:220
2165599163,7cyclictest6821-21apt-get21:05:110
21655991610,4cyclictest2690-21expr19:40:130
2165599157,6cyclictest4909-21expr21:00:150
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional