You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-19 - 22:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Wed Aug 19, 2026 12:45:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
236563999135107,25cyclictest37-21ksoftirqd/311:25:013
2365626998521,13cyclictest1-21systemd10:00:010
236563399819,4cyclictest131rcu_preempt08:30:032
236562699757,37cyclictest2447471-21rm11:45:180
2365626997571,2cyclictest0-21swapper/012:35:010
2365633997327,41cyclictest2467117-21sshd12:25:382
2365629996814,8cyclictest23-21ksoftirqd/112:35:011
2365626996834,4cyclictest2366132-21munin-run07:20:020
2365626996827,36cyclictest2368164-21sendmail08:00:010
2365626996823,12cyclictest2422691-21munin-run10:55:020
2365629996711,17cyclictest2446494-21ssh11:43:421
2365633996611,12cyclictest2371015-21modprobe08:55:002
2365629996614,11cyclictest23-21ksoftirqd/111:27:111
2365629996614,11cyclictest23-21ksoftirqd/111:27:111
2365626996644,20cyclictest0-21swapper/009:25:030
2365626996644,20cyclictest0-21swapper/009:25:030
2365626996629,11cyclictest2417841-21munin-run10:45:010
2365626996629,11cyclictest2417841-21munin-run10:45:000
2365626996529,4cyclictest2461732-21cron12:15:010
2365633996424,36cyclictest2441861-21sh11:34:162
2365633996422,37cyclictest2365714-21latency_hist07:10:012
236563399642,19cyclictest275-21dbus-daemon07:35:022
2365629996416,10cyclictest23-21ksoftirqd/109:25:031
236562699646,32cyclictest0-21swapper/009:18:370
2365626996419,41cyclictest16850irq/134-800000010:28:550
2365626996415,45cyclictest2388215-21ssh09:43:430
236563399633,17cyclictest2396072-21cron10:00:002
2365633996325,32cyclictest2466663-21latency_hist12:25:012
2365629996319,9cyclictest23-21ksoftirqd/110:04:061
2365626996320,37cyclictest3467602-21systemd-journal11:31:260
2365626996317,42cyclictest0-21swapper/010:36:400
2365626996312,46cyclictest2472720-21ssh12:37:190
2365626996311,36cyclictest2454965-21ssh12:00:410
2365633996236,22cyclictest1-21systemd08:05:002
2365633996229,30cyclictest2367865-21sed07:50:012
2365633996222,9cyclictest2439797-21date11:30:022
2365633996222,9cyclictest2439797-21date11:30:022
2365633996222,36cyclictest309-21in:imuxsock07:25:002
2365629996219,9cyclictest23-21ksoftirqd/111:17:291
2365629996219,9cyclictest23-21ksoftirqd/111:17:281
2365633996127,30cyclictest30-21ksoftirqd/209:31:232
2365633996127,30cyclictest30-21ksoftirqd/209:31:222
236563399612,15cyclictest2473852-21modprobe12:40:002
2365629996116,11cyclictest23-21ksoftirqd/109:42:411
2365629996114,10cyclictest23-21ksoftirqd/109:30:521
2365629996114,10cyclictest23-21ksoftirqd/109:30:511
236562699618,18cyclictest2398931-21ssh10:05:300
2365626996117,15cyclictest2450460-21rm11:51:410
2365626996114,43cyclictest2466426-21ssh12:24:360
2365626996113,33cyclictest0-21swapper/011:44:040
2365626996110,47cyclictest2453780-21ssh11:58:380
236563399605,12cyclictest2471465-21modprobe12:35:002
236563399604,19cyclictest2461745-21munin-plugin-st12:15:012
2365633996025,30cyclictest2415351-21latency_hist10:39:592
236563399602,16cyclictest275-21dbus-daemon10:10:012
2365633996020,5cyclictest2370746-21sshd08:48:252
2365633996019,12cyclictest30-21ksoftirqd/212:06:362
2365633996017,9cyclictest275-21dbus-daemon09:20:012
2365633996012,12cyclictest3467602-21systemd-journal11:44:402
2365633996010,10cyclictest275-21dbus-daemon10:55:012
236562999604,14cyclictest2390202-21ssh09:47:421
2365633995940,16cyclictest2444626-21systemctl11:40:012
236563399593,14cyclictest2367408-21grep07:45:012
236563399593,14cyclictest2367408-21grep07:45:012
2365633995926,29cyclictest2427965-21sh11:05:232
2365633995923,33cyclictest2368692-21latency_hist08:10:022
2365633995922,5cyclictest2407525-21sh10:23:232
236563399592,17cyclictest2454436-21ssh12:00:012
236563399592,17cyclictest2427574-21munin-run11:05:012
2365633995918,5cyclictest2372169-21sh09:10:172
2365629995916,8cyclictest23-21ksoftirqd/110:07:401
2365626995928,27cyclictest16850irq/134-800000009:46:400
2365626995925,29cyclictest16850irq/134-800000010:34:400
2365626995922,32cyclictest16850irq/134-800000011:22:350
2365639995818,6cyclictest131rcu_preempt09:40:003
236563399583,18cyclictest1-21systemd09:40:012
236563399583,17cyclictest2368252-21grep08:00:022
2365633995824,30cyclictest2433610-21sh11:17:132
2365633995824,30cyclictest2433610-21sh11:17:122
236563399582,20cyclictest2437354-21munin-run11:25:012
2365626995816,38cyclictest2439307-21ssh11:28:590
2365626995816,38cyclictest2439307-21ssh11:28:590
2365626995813,42cyclictest2386484-21latency_hist09:40:010
236563399578,9cyclictest0-21swapper/207:15:002
236563399574,14cyclictest2371559-21munin-run09:05:002
236563399573,16cyclictest2403460-21unin-run10:15:012
236563399573,16cyclictest2403460-21unin-run10:15:002
2365629995713,7cyclictest23-21ksoftirqd/112:26:451
2365626995739,13cyclictest2367106-21sshd07:38:380
2365626995728,13cyclictest2398237-21ssh10:04:210
2365626995721,32cyclictest0-21swapper/010:11:350
2365626995721,32cyclictest0-21swapper/010:11:350
2365626995715,38cyclictest0-21swapper/011:05:020
236563399563,17cyclictest2378404-21ssh09:23:252
236563399563,17cyclictest2378404-21ssh09:23:252
2365633995622,9cyclictest30-21ksoftirqd/209:52:012
2365629995615,9cyclictest23-21ksoftirqd/110:24:231
2365629995611,9cyclictest23-21ksoftirqd/112:20:041
2365629995610,9cyclictest23-21ksoftirqd/110:20:021
2365626995622,4cyclictest2433337-21sshd11:16:390
2365626995622,4cyclictest2433337-21sshd11:16:390
2365626995619,33cyclictest364-21snmpd12:08:270
2365626995619,31cyclictest48-21kcompactd010:50:020
2365626995618,34cyclictest309-21in:imuxsock09:30:000
2365626995614,10cyclictest1-21systemd11:00:010
236562699561,26cyclictest2468276-21rm12:28:200
2365633995524,8cyclictest30-21ksoftirqd/209:42:092
2365633995524,27cyclictest30-21ksoftirqd/210:45:032
2365633995524,27cyclictest30-21ksoftirqd/210:45:032
2365633995520,7cyclictest30-21ksoftirqd/209:26:162
2365633995518,4cyclictest2368941-21latency_hist08:15:012
2365629995523,10cyclictest23-21ksoftirqd/112:36:361
2365629995513,9cyclictest23-21ksoftirqd/111:49:301
2365626995528,12cyclictest2382246-21ssh09:31:130
2365626995528,12cyclictest2382246-21ssh09:31:130
2365626995521,31cyclictest12-21ksoftirqd/011:06:200
2365626995519,33cyclictest12-21ksoftirqd/011:14:510
2365626995519,33cyclictest12-21ksoftirqd/011:14:500
2365626995512,11cyclictest2392143-21ssh09:51:340
2365633995445,5cyclictest2376610-21kworker/2:312:18:252
2365633995433,14cyclictest275-21dbus-daemon08:30:002
236563399543,16cyclictest2425233-21cat11:00:022
2365633995427,23cyclictest30-21ksoftirqd/210:19:422
2365633995426,24cyclictest2456652-21sh12:04:372
2365633995424,9cyclictest30-21ksoftirqd/210:46:192
2365633995415,11cyclictest1-21systemd09:50:002
2365633995413,9cyclictest2404563-1kworker/u9:110:32:012
2365633995321,9cyclictest30-21ksoftirqd/211:48:042
2365633995321,10cyclictest30-21ksoftirqd/211:13:112
2365633995321,10cyclictest30-21ksoftirqd/211:13:112
2365633995320,8cyclictest30-21ksoftirqd/211:54:202
236562999535,15cyclictest2457918-21ssh12:06:531
2365629995312,9cyclictest23-21ksoftirqd/111:55:381
2365626995336,13cyclictest2368913-21sshd08:11:390
2365626995332,17cyclictest2373531-21ssh09:13:320
2365626995318,7cyclictest2444103-21ssh11:38:470
2365626995317,32cyclictest16850irq/134-800000012:17:400
2365626995315,33cyclictest2406281-21ssh10:20:280
2365639995210,10cyclictest37-21ksoftirqd/307:45:003
2365639995210,10cyclictest37-21ksoftirqd/307:45:003
2365633995243,6cyclictest2376610-21kworker/2:310:29:112
236563399524,19cyclictest2369214-21grep08:20:012
236563399523,18cyclictest2367132-21munin-plugin-st07:39:592
236562999529,6cyclictest2374124-21ssh09:14:581
2365629995214,8cyclictest23-21ksoftirqd/112:05:011
2365629995210,10cyclictest23-21ksoftirqd/111:37:071
2365626995237,11cyclictest2369485-21munin-run08:25:010
2365626995236,13cyclictest2371240-21sshd08:55:390
2365626995218,5cyclictest16850irq/134-800000010:15:250
2365626995212,10cyclictest3467602-21systemd-journal09:10:010
2365639995136,12cyclictest2459299-21systemd-run12:10:003
2365639995134,12cyclictest37-21ksoftirqd/311:30:003
2365639995134,12cyclictest37-21ksoftirqd/311:29:593
236562999513,12cyclictest2423793-21ssh10:57:031
2365626995137,10cyclictest2369963-21sshd08:33:220
2365639995020,21cyclictest37-21ksoftirqd/310:39:273
2365639995017,19cyclictest37-21ksoftirqd/310:28:283
2365633995041,6cyclictest2376610-21kworker/2:310:02:252
2365633995033,13cyclictest1-21systemd09:10:012
2365629995010,9cyclictest23-21ksoftirqd/109:35:491
2365629995010,13cyclictest0-21swapper/109:16:131
2365626995037,10cyclictest2370223-21sshd08:39:380
2365626995037,10cyclictest2370223-21sshd08:39:370
2365626995035,12cyclictest2367636-21sshd07:48:380
2365626995035,11cyclictest364-21snmpd07:10:100
2365626995034,12cyclictest2370498-21sshd08:43:390
2365626995020,24cyclictest2368441-21munin-plugin-st08:04:590
2365633994940,6cyclictest2366650-21kworker/2:108:25:032
236562999499,8cyclictest23-21ksoftirqd/110:47:091
236562999496,5cyclictest131rcu_preempt12:13:471
2365626994936,9cyclictest2366346-21sshd07:23:080
2365626994936,10cyclictest2371542-21sshd09:04:380
2365626994936,10cyclictest2370734-21sshd08:45:390
2365626994935,10cyclictest2367419-21munin-run07:45:020
2365626994935,10cyclictest2367419-21munin-run07:45:010
2365639994837,7cyclictest37-21ksoftirqd/312:40:013
2365639994835,8cyclictest3467602-21systemd-journal08:30:013
2365633994832,11cyclictest30-21ksoftirqd/208:40:012
2365633994832,11cyclictest30-21ksoftirqd/208:40:002
236562999485,7cyclictest23-21ksoftirqd/109:57:401
2365629994812,8cyclictest23-21ksoftirqd/110:40:021
2365626994834,10cyclictest2368660-21sshd08:06:380
2365639994727,15cyclictest3467602-21systemd-journal08:50:003
236563999471,9cyclictest0-21swapper/310:14:273
236563999471,9cyclictest0-21swapper/310:14:273
2365639994713,21cyclictest37-21ksoftirqd/310:59:363
236562999476,9cyclictest23-21ksoftirqd/109:24:181
236562999476,9cyclictest23-21ksoftirqd/109:24:181
2365626994731,12cyclictest12-21ksoftirqd/008:20:000
236562699472,40cyclictest2366646-21latency_hist07:30:010
236563999465,6cyclictest131rcu_preempt09:10:003
2365639994630,11cyclictest3467602-21systemd-journal08:10:003
236563999461,9cyclictest0-21swapper/310:32:363
236563999461,13cyclictest0-21swapper/309:50:583
236563399465,7cyclictest131rcu_preempt09:00:002
236562999467,8cyclictest23-21ksoftirqd/111:34:171
2365629994630,13cyclictest2401198-21ssh10:10:051
2365629994630,13cyclictest2401198-21ssh10:10:041
2365629994627,14cyclictest275-21dbus-daemon08:05:011
2365629994611,8cyclictest0-21swapper/111:52:071
2365626994634,9cyclictest2366850-21sshd07:33:090
2365626994628,14cyclictest364-21snmpd08:29:340
2365626994625,17cyclictest2371006-21sshd08:54:380
2365639994531,10cyclictest37-21ksoftirqd/307:25:013
2365639994529,12cyclictest275-21dbus-daemon08:40:013
2365639994529,12cyclictest275-21dbus-daemon08:40:013
236563999451,9cyclictest0-21swapper/311:55:543
236563999451,9cyclictest0-21swapper/309:58:143
236563999451,8cyclictest0-21swapper/312:34:103
236563999451,8cyclictest0-21swapper/310:46:193
236563999451,8cyclictest0-21swapper/309:20:253
236563999451,8cyclictest0-21swapper/309:20:243
236563999451,7cyclictest0-21swapper/311:02:403
236563999451,7cyclictest0-21swapper/310:21:483
236563999451,7cyclictest0-21swapper/309:29:043
236563999451,6cyclictest0-21swapper/311:53:293
2365629994535,7cyclictest2422700-21ssh10:55:021
236563999447,9cyclictest37-21ksoftirqd/311:07:573
236563999442,6cyclictest0-21swapper/311:11:373
236563999442,6cyclictest0-21swapper/311:11:373
236563999441,9cyclictest0-21swapper/312:16:163
236563999441,9cyclictest0-21swapper/311:42:133
236563999441,9cyclictest0-21swapper/311:35:363
236563999441,7cyclictest0-21swapper/312:28:583
236563999441,7cyclictest0-21swapper/311:48:383
236563999441,7cyclictest0-21swapper/310:18:563
236563999441,7cyclictest0-21swapper/310:07:573
236563999441,6cyclictest0-21swapper/310:51:163
236563999441,6cyclictest0-21swapper/309:30:563
236563999441,6cyclictest0-21swapper/309:30:553
236563999441,5cyclictest0-21swapper/311:17:253
236563999441,5cyclictest0-21swapper/311:17:243
2365633994427,11cyclictest309-21in:imuxsock08:40:032
236562999448,7cyclictest23-21ksoftirqd/108:17:381
2365629994428,14cyclictest2429473-21ssh11:08:491
2365629994427,14cyclictest2408858-21ssh10:25:511
2365629994421,16cyclictest275-21dbus-daemon08:15:011
2365629994411,7cyclictest0-21swapper/109:53:081
236563999432,5cyclictest131rcu_preempt09:50:013
236563999431,9cyclictest0-21swapper/310:02:053
236563999431,8cyclictest0-21swapper/312:04:403
236563999431,7cyclictest0-21swapper/310:40:523
236563999431,7cyclictest0-21swapper/310:40:513
236563999431,7cyclictest0-21swapper/309:43:403
236562999439,6cyclictest23-21ksoftirqd/111:11:481
236562999439,6cyclictest23-21ksoftirqd/111:11:481
2365629994328,12cyclictest2462208-21ssh12:15:401
2365629994326,13cyclictest2436275-21ssh11:22:401
2365629994326,13cyclictest2415809-21ssh10:40:321
2365629994326,13cyclictest2415809-21ssh10:40:311
2365629994324,15cyclictest364-21snmpd07:11:411
2365629994322,14cyclictest3467602-21systemd-journal07:50:001
236563999421,7cyclictest0-21swapper/309:19:073
236563999421,6cyclictest0-21swapper/312:20:253
2365629994227,13cyclictest2411047-21ssh10:30:081
2365629994227,12cyclictest2427438-21ssh11:04:451
2365629994223,12cyclictest275-21dbus-daemon07:30:011
2365626994225,13cyclictest0-21swapper/007:10:020
2365639994126,11cyclictest1-21systemd07:15:003
236563999411,6cyclictest0-21swapper/312:12:183
2365629994127,11cyclictest23-21ksoftirqd/108:25:011
2365629994124,12cyclictest275-21dbus-daemon07:20:011
2365629994121,16cyclictest3467602-21systemd-journal07:54:591
2365629994118,19cyclictest364-21snmpd08:33:411
236562999411,4cyclictest131rcu_preempt07:40:021
2365626994129,9cyclictest364-21snmpd07:50:230
236563999401,5cyclictest0-21swapper/311:30:163
2365633994023,12cyclictest3467602-21systemd-journal07:29:372
2365629994026,11cyclictest2371248-21sshd08:57:381
2365629994023,12cyclictest3467602-21systemd-journal08:30:011
2365639993928,8cyclictest37-21ksoftirqd/307:30:003
2365639993927,8cyclictest37-21ksoftirqd/308:00:013
2365639993927,10cyclictest37-21ksoftirqd/307:55:013
236563999391,7cyclictest0-21swapper/309:10:293
2365629993924,11cyclictest2370318-21sed08:40:021
2365629993924,11cyclictest2370318-21sed08:40:011
2365629993924,10cyclictest48-21kcompactd007:42:381
2365629993924,10cyclictest48-21kcompactd007:42:371
2365639993830,5cyclictest2366092-21sendmail07:20:003
236563999381,8cyclictest0-21swapper/308:53:253
2365633993821,11cyclictest309-21in:imuxsock07:17:012
236562999383,5cyclictest131rcu_preempt09:05:021
2365629993824,10cyclictest2370769-21munin-run08:50:011
2365629993824,10cyclictest0-21swapper/107:32:371
2365629993726,7cyclictest3467602-21systemd-journal07:56:011
2365629993725,9cyclictest364-21snmpd08:08:351
2365629993723,10cyclictest48-21kcompactd007:22:051
2365629993721,12cyclictest364-21snmpd08:43:431
2365629993717,16cyclictest364-21snmpd09:09:261
236563999363,8cyclictest2368443-21munin-run08:05:013
2365639993625,7cyclictest2356089-21kworker/3:207:50:013
2365639993619,13cyclictest2369216-21systemctl08:20:013
2365633993626,7cyclictest2367951-21latency_hist07:55:022
2365629993624,9cyclictest2371000-21sshd08:53:261
2365639993519,12cyclictest275-21dbus-daemon07:40:013
2365639993420,11cyclictest1-21systemd08:15:013
2365639993322,8cyclictest37-21ksoftirqd/308:30:553
2365639993321,9cyclictest37-21ksoftirqd/308:45:013
2365639993312,16cyclictest2371698-21grep09:05:023
2365639993222,8cyclictest37-21ksoftirqd/308:25:013
2365639993218,11cyclictest37-21ksoftirqd/308:56:243
2365629993221,9cyclictest23-21ksoftirqd/107:10:011
236563999309,6cyclictest131rcu_preempt07:35:003
2365639992515,7cyclictest37-21ksoftirqd/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional