You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-20 - 04:58

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Thu Aug 20, 2026 00:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2531839998159,18cyclictest12-21ksoftirqd/022:09:530
2531845997817,10cyclictest3467602-21systemd-journal21:15:011
253183999786,47cyclictest2538017-21diskmemload21:15:020
2531851997728,15cyclictest2538292-21ssh21:10:073
2531851997636,14cyclictest2545215-21ssh21:24:573
2531851997527,17cyclictest2581164-21ssh22:40:123
2531851997223,14cyclictest2569364-21sh22:15:183
2531851997125,16cyclictest2630823-21sh00:24:083
2531851997125,16cyclictest2630823-21sh00:24:073
2531847997121,44cyclictest3467602-21systemd-journal23:45:022
2531851997031,15cyclictest2633369-21ssh00:29:273
2531851997021,17cyclictest2549989-21cat21:35:013
253184799695,22cyclictest2623995-21modprobe00:10:002
2531839996962,3cyclictest0-21swapper/019:15:010
2531847996814,8cyclictest2617711-21sshd23:56:512
253183999682,59cyclictest275-21dbus-daemon21:25:010
2531847996730,30cyclictest2576138-21cron22:29:592
2531851996617,18cyclictest2636640-21ssh00:35:593
2531847996623,39cyclictest30-21ksoftirqd/221:51:322
2531847996623,39cyclictest30-21ksoftirqd/221:51:312
2531851996548,13cyclictest2613334-21ssh23:47:353
2531851996546,15cyclictest2574268-21ssh22:25:453
2531847996537,24cyclictest275-21dbus-daemon00:40:002
2531847996522,39cyclictest30-21ksoftirqd/200:27:092
253184799652,15cyclictest2587272-21sh22:53:252
253184799652,15cyclictest2587272-21sh22:53:242
2531839996518,34cyclictest12-21ksoftirqd/000:00:560
2531851996453,9cyclictest2578214-21ssh22:34:233
2531851996453,9cyclictest2578214-21ssh22:34:223
2531851996452,9cyclictest2563028-21ssh22:02:103
2531851996451,10cyclictest2557908-21ssh21:51:213
2531851996451,10cyclictest2557908-21ssh21:51:213
2531851996450,10cyclictest2599791-21ssh23:19:453
2531851996449,12cyclictest2614976-21ssh23:50:543
2531851996447,14cyclictest2561123-21ssh21:58:263
2531851996447,14cyclictest2556503-21ssh21:48:443
2531851996447,13cyclictest2634319-21ssh00:31:013
2531851996447,13cyclictest2593765-21ssh23:06:513
2531851996446,14cyclictest2625217-21ssh00:12:173
2531851996446,14cyclictest2536712-21sshd20:44:403
2531851996429,11cyclictest2588418-21ssh22:55:373
253184799644,21cyclictest2628775-21cron00:19:592
2531847996428,30cyclictest309-21in:imuxsock19:45:042
253184799642,10cyclictest2561844-21sendmail21:59:592
2531839996455,6cyclictest2531844-21sort19:10:020
2531839996424,10cyclictest0-21swapper/023:08:090
2531851996349,10cyclictest2595726-21ssh23:11:003
2531851996348,12cyclictest2610254-21ssh23:41:003
2531851996348,12cyclictest2605022-21ssh23:30:123
2531851996348,11cyclictest2620675-21ssh00:02:573
2531851996348,11cyclictest2532810-21sshd19:29:393
2531851996347,13cyclictest2586371-21ssh22:51:213
2531851996347,13cyclictest2586371-21ssh22:51:213
2531851996346,13cyclictest2621988-21ssh00:05:213
2531851996346,13cyclictest2617818-21ssh23:57:033
2531851996346,13cyclictest2603187-21ssh23:26:313
2531851996346,13cyclictest2603187-21ssh23:26:303
2531851996346,13cyclictest2546565-21ssh21:27:403
2531851996345,14cyclictest2626858-21ssh00:15:353
2531851996345,14cyclictest2601211-21ssh23:22:253
2531851996345,14cyclictest2590912-21sshd23:00:503
2531851996344,15cyclictest48-21kcompactd020:35:303
253184799632,19cyclictest2583230-21ssh22:45:022
2531847996319,39cyclictest2533330-21cron19:40:002
2531839996326,34cyclictest12-21ksoftirqd/022:38:060
2531839996326,17cyclictest25705131ssh22:18:050
2531851996254,4cyclictest2534409-21munin-run20:00:003
2531851996248,11cyclictest2553233-21ssh21:41:353
2531851996248,11cyclictest2553233-21ssh21:41:353
2531851996247,12cyclictest2541311-21ssh21:16:313
2531851996246,13cyclictest2572517-21ssh22:22:103
2531851996246,12cyclictest2579056-21ssh22:35:523
2531851996246,12cyclictest2550444-21ssh21:35:383
253184799623,10cyclictest2599979-21grep23:20:022
253184799622,17cyclictest2592418-21ssh23:04:202
253184799622,13cyclictest2595201-21latency_hist23:10:022
253184799622,11cyclictest2595446-21ssh23:10:122
253183999624,5cyclictest131rcu_preempt00:32:110
2531851996149,10cyclictest2567420-21ssh22:11:163
2531851996149,10cyclictest2567420-21ssh22:11:153
2531851996146,12cyclictest2564680-21ssh22:05:353
2531851996145,13cyclictest2583536-21ssh22:45:153
2531851996145,12cyclictest2535387-21sshd20:17:393
2531851996122,14cyclictest2609078-21ssh23:38:553
2531851996122,14cyclictest2609078-21ssh23:38:543
2531847996124,33cyclictest3467602-21systemd-journal21:09:482
253184799612,16cyclictest2540987-21ssh21:15:442
253184799612,15cyclictest2536166-21sshd20:31:392
2531847996115,42cyclictest1-21systemd23:35:012
2531847996115,41cyclictest2590470-21latency_hist23:00:012
253184799611,12cyclictest2539088-21ssh21:11:532
2531845996115,13cyclictest23-21ksoftirqd/100:08:261
2531839996126,32cyclictest12-21ksoftirqd/023:20:020
2531839996117,41cyclictest12-21ksoftirqd/022:41:060
253184799602,18cyclictest2531997-21sshd19:10:172
253184799602,16cyclictest2635903-21sshd00:34:502
2531847996019,38cyclictest2577418-21rm22:32:332
2531847996019,38cyclictest2577418-21rm22:32:322
253184799601,16cyclictest2536954-21sshd20:47:382
2531845996017,10cyclictest23-21ksoftirqd/119:15:011
2531839996022,35cyclictest12-21ksoftirqd/000:00:010
2531851995947,9cyclictest2537992-21sshd21:08:483
2531851995946,10cyclictest2535927-21sshd20:29:403
2531851995946,10cyclictest2535927-21sshd20:29:393
253184799595,8cyclictest2564244-21sh22:05:002
2531847995914,38cyclictest2614534-21ls23:50:022
253184799591,12cyclictest2566463-21ssh22:09:412
2531839995922,34cyclictest12-21ksoftirqd/022:15:020
2531839995922,34cyclictest12-21ksoftirqd/022:15:010
2531851995845,10cyclictest2533045-21sshd19:30:403
2531851995844,11cyclictest2537735-21sshd21:01:443
2531851995844,11cyclictest2532249-21sshd19:15:183
2531851995844,10cyclictest2532048-21munin-run19:15:013
2531851995843,11cyclictest2537452-21sshd20:55:403
253184799586,47cyclictest2585617-21unin-run22:50:012
253184799585,45cyclictest0-21swapper/219:55:012
253184799583,16cyclictest2545260-21munin-run21:25:002
253184799581,17cyclictest2532827-21munin-run19:30:012
253184799581,11cyclictest2534870-21sshd20:06:392
2531839995847,8cyclictest12-21ksoftirqd/000:25:020
2531839995847,8cyclictest12-21ksoftirqd/000:25:010
253183999584,33cyclictest131rcu_preempt23:49:320
2531839995811,9cyclictest12-21ksoftirqd/022:48:370
2531851995745,9cyclictest2536162-21sshd20:30:393
2531847995728,23cyclictest309-21in:imuxsock19:20:022
253184799572,7cyclictest3467602-21systemd-journal23:40:012
253184799572,7cyclictest3467602-21systemd-journal23:40:012
253184799571,11cyclictest364-21snmpd22:11:582
253184799571,11cyclictest364-21snmpd22:11:582
253184799571,11cyclictest2555100-21ssh21:45:282
2531847995710,4cyclictest2578736-21ssh22:35:112
253183999576,9cyclictest12-21ksoftirqd/021:32:040
2531839995728,13cyclictest2561702-21ssh21:59:460
2531839995718,35cyclictest2554791-21cat21:45:020
2531839995718,35cyclictest2554791-21cat21:45:010
2531851995646,6cyclictest2534877-21sshd20:08:403
2531851995644,9cyclictest2537215-21sshd20:54:393
2531851995644,9cyclictest2533298-21sshd19:35:403
2531851995638,14cyclictest364-21snmpd19:54:063
253184799562,15cyclictest2619909-21ssh00:01:132
253184799562,15cyclictest2545882-21ssh21:26:002
253184599564,8cyclictest23-21ksoftirqd/100:02:331
2531839995635,15cyclictest275-21dbus-daemon20:20:020
2531839995628,13cyclictest2636645-21ssh00:36:000
2531851995538,14cyclictest3467562-21sshd20:48:393
253184799554,12cyclictest311-21rs:main2
253184799553,42cyclictest2536445-21modprobe20:40:012
253184799552,17cyclictest2604025-21ssh23:28:252
253184799552,17cyclictest2604025-21ssh23:28:242
253184799552,17cyclictest1-21systemd20:15:012
2531847995513,9cyclictest2589478-1kworker/u9:200:23:562
2531847995513,9cyclictest2589478-1kworker/u9:200:23:552
253184799551,15cyclictest2602182-21ssh23:24:432
253184799551,14cyclictest2572040-21ssh22:21:062
2531847995511,39cyclictest0-21swapper/219:40:282
253184799551,11cyclictest364-21snmpd20:26:202
253184799551,11cyclictest364-21snmpd20:26:192
253184799551,11cyclictest120-21kswapd021:45:012
253184799551,11cyclictest120-21kswapd021:45:002
253184799551,10cyclictest364-21snmpd21:31:342
253184799551,10cyclictest2537452-21sshd20:55:392
253184599555,6cyclictest23-21ksoftirqd/121:33:531
2531845995517,10cyclictest23-21ksoftirqd/121:23:021
2531845995515,11cyclictest23-21ksoftirqd/122:45:011
2531845995512,11cyclictest23-21ksoftirqd/100:34:061
2531839995520,31cyclictest12-21ksoftirqd/021:10:040
2531839995518,33cyclictest12-21ksoftirqd/021:26:460
253184799544,10cyclictest3467602-21systemd-journal20:05:002
253184799542,16cyclictest2625764-21ssh00:13:372
253184799541,13cyclictest2569700-21ssh22:16:162
253184599547,10cyclictest23-21ksoftirqd/123:15:091
2531839995426,13cyclictest2577935-21ssh22:33:460
2531839995426,13cyclictest2577935-21ssh22:33:460
2531839995426,13cyclictest2552103-21ssh21:39:360
253183999541,37cyclictest2563139-21ssh22:02:320
253183999541,36cyclictest2602875-21ssh23:25:410
253183999541,36cyclictest2602875-21ssh23:25:410
2531851995346,4cyclictest2534618-21sshd20:01:383
253184799532,7cyclictest2535692-21munin-run20:25:002
253184799532,16cyclictest2534355-21cron20:00:002
253184799532,15cyclictest2537232-21munin-run20:55:002
253184799532,13cyclictest2616003-21ssh23:53:132
253184799531,14cyclictest3467602-21systemd-journal21:35:412
253184599537,7cyclictest23-21ksoftirqd/122:13:231
253184599537,7cyclictest23-21ksoftirqd/122:13:221
253184599536,8cyclictest23-21ksoftirqd/123:10:001
2531845995334,14cyclictest3467602-21systemd-journal20:25:011
2531845995311,7cyclictest23-21ksoftirqd/122:57:241
253183999539,38cyclictest3467602-21systemd-journal22:55:000
253183999539,38cyclictest3467602-21systemd-journal22:55:000
2531839995332,15cyclictest3467602-21systemd-journal19:35:000
2531839995329,9cyclictest2591311-21ssh23:01:420
253184599524,6cyclictest23-21ksoftirqd/121:20:001
2531845995242,7cyclictest23-21ksoftirqd/123:36:061
2531845995242,7cyclictest23-21ksoftirqd/123:36:051
253184599521,13cyclictest23-21ksoftirqd/123:28:241
253184599521,13cyclictest23-21ksoftirqd/123:28:231
253183999521,47cyclictest26074891ssh23:35:210
253183999521,47cyclictest26074891ssh23:35:200
2531851995144,4cyclictest2535150-21munin-run20:15:003
2531851995142,6cyclictest2532581-21systemd-run19:25:003
2531847995142,6cyclictest2536741-21kworker/2:021:05:002
2531847995111,4cyclictest0-21swapper/219:30:232
253184799511,11cyclictest2536742-21munin-run20:45:012
253184599519,9cyclictest23-21ksoftirqd/122:24:461
253184599517,11cyclictest23-21ksoftirqd/100:11:251
253184599516,7cyclictest23-21ksoftirqd/122:26:391
253184599516,7cyclictest23-21ksoftirqd/120:20:011
253183999518,35cyclictest0-21swapper/021:55:030
253183999518,35cyclictest0-21swapper/021:55:020
2531839995127,9cyclictest2595815-21ssh23:11:110
2531839995124,11cyclictest2589116-21ssh22:57:070
253183999512,10cyclictest151rcuc/022:20:190
2531839995117,23cyclictest12-21ksoftirqd/022:26:370
2531851995040,7cyclictest2533576-21sshd19:40:233
253184599506,11cyclictest23-21ksoftirqd/121:50:211
253184599506,11cyclictest23-21ksoftirqd/121:50:201
253184599503,12cyclictest23-21ksoftirqd/123:35:011
2531839995024,11cyclictest2607036-21ssh23:34:520
253183999502,33cyclictest2555089-21ssh21:45:270
253183999501,9cyclictest12-21ksoftirqd/023:24:260
2531839995014,32cyclictest16850irq/134-800000000:08:040
2531839995010,35cyclictest131rcu_preempt23:51:130
2531851994940,6cyclictest0-21swapper/320:25:003
253184799493,10cyclictest2535413-21latency_hist20:20:002
253184599496,6cyclictest23-21ksoftirqd/123:14:161
253184599496,14cyclictest23-21ksoftirqd/122:52:581
253184599496,14cyclictest23-21ksoftirqd/122:52:571
253184599494,7cyclictest23-21ksoftirqd/121:41:121
253184599494,7cyclictest23-21ksoftirqd/121:41:121
253184599494,7cyclictest23-21ksoftirqd/121:27:451
2531845994933,11cyclictest2580822-21cron22:40:011
2531839994919,26cyclictest12-21ksoftirqd/000:16:160
2531851994820,24cyclictest2533869-21sh19:50:003
253184599487,8cyclictest23-21ksoftirqd/123:05:011
253184599487,10cyclictest23-21ksoftirqd/100:35:151
253184599486,6cyclictest23-21ksoftirqd/122:02:101
253184599484,13cyclictest23-21ksoftirqd/100:23:181
253184599484,13cyclictest23-21ksoftirqd/100:23:181
2531845994835,9cyclictest1-21systemd21:40:011
2531839994819,13cyclictest2538173-21ssh21:10:040
253184599477,9cyclictest23-21ksoftirqd/100:29:441
253184599476,8cyclictest23-21ksoftirqd/123:58:001
253184599476,7cyclictest23-21ksoftirqd/122:05:571
253184599475,8cyclictest23-21ksoftirqd/100:17:091
253184599475,7cyclictest23-21ksoftirqd/123:40:371
253184599475,7cyclictest23-21ksoftirqd/121:55:321
2531845994720,9cyclictest23-21ksoftirqd/122:20:001
253183999479,33cyclictest2536459-21munin-run20:40:000
2531839994717,26cyclictest12-21ksoftirqd/019:25:010
253184599466,9cyclictest23-21ksoftirqd/123:53:021
253184599466,8cyclictest23-21ksoftirqd/122:48:471
253184599466,5cyclictest131rcu_preempt21:45:441
253184599465,8cyclictest23-21ksoftirqd/123:23:231
253184599464,7cyclictest23-21ksoftirqd/122:31:251
253184599464,7cyclictest23-21ksoftirqd/122:31:251
2531845994631,12cyclictest1-21systemd23:50:001
2531845994630,12cyclictest3467602-21systemd-journal19:50:251
253184599461,12cyclictest2536383-21latency_hist20:35:031
2531839994639,4cyclictest16950irq/224-800000019:40:000
2531839994639,4cyclictest16850irq/134-800000000:30:000
2531839994630,13cyclictest12-21ksoftirqd/000:13:170
253185199457,28cyclictest37-21ksoftirqd/319:10:013
253184599457,8cyclictest0-21swapper/120:35:091
2531845994529,12cyclictest275-21dbus-daemon19:20:011
253183999453,6cyclictest311-21rs:main0
253183999453,37cyclictest275-21dbus-daemon20:00:000
2531839994529,12cyclictest275-21dbus-daemon19:55:010
2531839994519,11cyclictest2610956-21ssh23:42:360
253184599447,6cyclictest0-21swapper/120:11:021
253184599446,9cyclictest23-21ksoftirqd/121:10:001
2531839994434,7cyclictest12-21ksoftirqd/020:29:530
2531839994434,7cyclictest12-21ksoftirqd/020:29:520
253183999442,7cyclictest275-21dbus-daemon20:50:000
253184799434,7cyclictest0-21swapper/219:10:012
253184599438,7cyclictest0-21swapper/119:20:451
2531839994333,6cyclictest19350irq/34-mmc119:45:020
253183999432,34cyclictest2537477-21modprobe21:00:000
253184599425,6cyclictest0-21swapper/119:35:281
253184599421,7cyclictest0-21swapper/119:46:121
2531839994219,17cyclictest275-21dbus-daemon20:45:010
2531845994110,8cyclictest0-21swapper/119:30:221
2531839994130,9cyclictest12-21ksoftirqd/020:22:250
2531839994128,10cyclictest3467602-21systemd-journal20:30:020
2531839994127,10cyclictest2537750-21cron21:05:000
253184599408,7cyclictest0-21swapper/119:59:421
253184599408,7cyclictest0-21swapper/119:28:021
253184599406,9cyclictest23-21ksoftirqd/120:45:331
2531845994027,9cyclictest3467602-21systemd-journal20:55:361
253184599401,6cyclictest2531936-21sed19:10:011
253184599401,11cyclictest23-21ksoftirqd/121:05:001
2531839994032,6cyclictest12-21ksoftirqd/020:52:400
2531839994031,6cyclictest12-21ksoftirqd/020:10:020
2531839994014,5cyclictest131rcu_preempt20:05:010
2531839994011,5cyclictest131rcu_preempt19:50:010
253184599397,7cyclictest0-21swapper/119:41:511
2531839993926,9cyclictest309-21in:imuxsock19:30:000
253184599389,6cyclictest0-21swapper/120:53:371
253184599389,5cyclictest0-21swapper/120:01:401
253184599367,7cyclictest0-21swapper/120:07:521
253184599361,7cyclictest0-21swapper/120:42:521
253184599361,7cyclictest0-21swapper/120:29:581
253184599361,7cyclictest0-21swapper/120:29:581
2531839993521,11cyclictest12-21ksoftirqd/020:15:010
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional