You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-26 - 17:22

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Thu Mar 26, 2026 12:45:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2075330998436,43cyclictest3467602-21systemd-journal11:20:011
2075330998436,43cyclictest3467602-21systemd-journal11:20:001
2075325998017,46cyclictest2155454-21ssh12:07:100
2075325997930,32cyclictest2147243-21ssh11:47:340
2075325997619,54cyclictest16850irq/134-800000011:14:570
2075325997541,30cyclictest16850irq/134-800000011:25:010
2075325997431,38cyclictest3467602-21systemd-journal10:01:580
2075325997427,43cyclictest2091646-21ssh09:34:200
207532599741,66cyclictest2111782-21ssh10:22:340
207532599741,2cyclictest0-21swapper/012:02:010
2075325997316,43cyclictest2096717-21ssh09:46:100
207533099726,21cyclictest2160659-21modprobe12:20:011
207532599722,65cyclictest2076286-21sshd07:26:230
207532599714,62cyclictest2088805-21kworker/u8:109:40:010
207532599701,8cyclictest2160801-21latency_hist12:20:010
207532599701,65cyclictest2101313-21ssh09:57:300
207532599701,5cyclictest2129535-21latency_hist11:05:020
207532599701,3cyclictest2080993-21systemd-run09:00:000
207532599692,61cyclictest2164050-21ssh12:27:470
207532599691,17cyclictest2107972-21ssh10:13:370
207532599682,6cyclictest2082789-21ssh09:12:530
207532599681,2cyclictest0-21swapper/011:30:020
207532599681,2cyclictest0-21swapper/011:30:010
207532599681,2cyclictest0-21swapper/010:34:220
207532599672,34cyclictest2161625-21ssh12:21:530
2075325996721,33cyclictest2084491-21ssh09:16:570
2075325996717,42cyclictest16850irq/134-800000009:51:000
2075325996717,34cyclictest16850irq/134-800000011:15:500
2075325996717,34cyclictest16850irq/134-800000011:15:490
2075325996711,51cyclictest12-21ksoftirqd/011:51:130
2075339996522,39cyclictest3467602-21systemd-journal10:11:023
2075330996513,18cyclictest2078119-21modprobe08:05:011
207532599652,58cyclictest16850irq/134-800000011:44:240
207532599652,58cyclictest0-21swapper/010:54:130
207532599652,57cyclictest2140138-21ssh11:30:150
2075339996426,33cyclictest37-21ksoftirqd/310:27:343
2075339996424,35cyclictest37-21ksoftirqd/311:25:303
2075339996424,35cyclictest37-21ksoftirqd/311:25:303
2075339996423,38cyclictest2085687-21systemd-run09:20:013
207532599645,47cyclictest216577550ssh12:31:490
2075325996432,28cyclictest19350irq/34-mmc111:00:000
2075325996423,26cyclictest2104760-21ssh10:05:320
2075325996423,26cyclictest2104760-21ssh10:05:310
207532599641,7cyclictest2077514-21latency_hist07:50:030
2075339996325,33cyclictest37-21ksoftirqd/310:39:303
207533999632,50cyclictest37-21ksoftirqd/312:35:013
207532599632,56cyclictest2075828-21munin-run07:20:000
207532599632,40cyclictest16850irq/134-800000010:49:260
2075325996316,44cyclictest2089591-21rm09:29:180
207532599631,2cyclictest0-21swapper/010:30:010
207532599631,28cyclictest2079677-21munin-plugin-st08:35:000
2075339996227,31cyclictest2078736-21latency_hist08:15:013
2075339996223,33cyclictest2081489-21diskmemload11:50:023
207533999622,17cyclictest2144030-21modprobe11:40:013
2075325996227,30cyclictest0-21swapper/011:40:010
207532599622,5cyclictest2152289-21munin-run12:00:010
207532599622,55cyclictest3467602-21systemd-journal12:39:020
207532599622,55cyclictest3467602-21systemd-journal12:39:010
207532599621,4cyclictest0-21swapper/007:35:000
207532599621,2cyclictest0-21swapper/010:44:070
207533999614,22cyclictest3467602-21systemd-journal11:05:003
207533999613,11cyclictest2078887-21modprobe08:20:013
2075339996124,33cyclictest2075912-21latency_hist07:20:023
2075339996120,9cyclictest37-21ksoftirqd/309:20:473
2075339996118,12cyclictest37-21ksoftirqd/311:41:213
2075330996129,12cyclictest23-21ksoftirqd/110:55:011
207532599612,49cyclictest16850irq/134-800000009:20:580
207532599612,12cyclictest2079939-21munin-run08:40:010
207532599611,8cyclictest2158540-21cron12:15:000
207532599611,2cyclictest0-21swapper/008:25:020
207532599611,19cyclictest2117175-21ssh10:35:280
207532599611,16cyclictest2095373-21ssh09:43:130
2075339996026,29cyclictest2127178-21latency_hist11:00:023
2075339996024,32cyclictest2140139-21sh11:30:153
207532599601,6cyclictest2129536-21latency_hist11:05:020
207532599601,2cyclictest0-21swapper/010:16:240
207533999595,14cyclictest275-21dbus-daemon09:40:013
2075339995925,30cyclictest37-21ksoftirqd/309:42:263
2075339995924,31cyclictest37-21ksoftirqd/312:06:543
207533599596,9cyclictest2081489-21diskmemload09:15:002
2075335995915,8cyclictest30-21ksoftirqd/210:35:022
207533099595,29cyclictest3467602-21systemd-journal11:40:001
207533099595,20cyclictest2079680-21munin-plugin-st08:35:011
207532599591,53cyclictest3467602-21systemd-journal07:42:310
207532599591,11cyclictest2078598-21sshd08:10:330
2075339995830,24cyclictest2136439-21sh11:21:353
2075339995824,30cyclictest2130176-21sh11:06:463
207533999582,18cyclictest2103534-21ssh10:02:443
2075339995817,5cyclictest2130479-21kworker/u8:011:19:213
2075339995817,5cyclictest2130479-21kworker/u8:011:19:213
2075330995830,8cyclictest23-21ksoftirqd/110:35:431
2075330995824,11cyclictest23-21ksoftirqd/109:17:211
207533999573,12cyclictest2162807-21cat12:25:013
207533999572,15cyclictest2076477-21latency_hist07:30:023
2075339995715,5cyclictest2083795-21latency_hist09:15:033
207532599572,50cyclictest2081239-21munin-run09:05:000
207532599571,5cyclictest2075539-21munin-run07:15:020
207532599571,51cyclictest2080686-21sshd08:52:450
207532599571,12cyclictest48-21kcompactd007:55:130
207532599571,11cyclictest2076067-21systemd-run07:25:010
207533999563,12cyclictest2160658-21modprobe12:20:003
2075339995624,28cyclictest37-21ksoftirqd/310:43:303
2075339995623,30cyclictest37-21ksoftirqd/312:11:583
207533999562,16cyclictest2152567-21sshd12:00:083
2075339995610,7cyclictest0-21swapper/309:50:023
207532599562,48cyclictest2080193-21cron08:45:000
207532599561,50cyclictest2078347-21sshd08:05:290
2075339995524,27cyclictest2098973-21sh09:51:433
2075339995523,27cyclictest37-21ksoftirqd/310:21:233
2075339995514,7cyclictest2116136-21sh10:33:133
2075335995517,8cyclictest30-21ksoftirqd/212:14:592
2075335995515,8cyclictest30-21ksoftirqd/210:16:032
2075339995424,27cyclictest37-21ksoftirqd/308:10:033
2075339995423,27cyclictest2164509-21sh12:29:043
2075339995423,10cyclictest37-21ksoftirqd/310:49:283
2075339995422,28cyclictest37-21ksoftirqd/309:28:233
2075339995418,5cyclictest2149239-21sh11:52:233
2075339995414,12cyclictest3467602-21systemd-journal08:00:033
2075335995412,10cyclictest30-21ksoftirqd/209:20:032
207532599541,5cyclictest2078874-21sshd08:18:440
207533999533,17cyclictest2081007-21cat09:00:023
207533999532,19cyclictest2133675-21sort11:15:023
207533999532,16cyclictest2079679-21munin-plugin-st08:35:003
2075339995317,6cyclictest2100515-21sh09:55:123
207533999531,17cyclictest364-21snmpd10:16:033
2075335995332,16cyclictest3467602-21systemd-journal09:50:012
207533099537,42cyclictest2152291-21sh12:00:011
207532599532,46cyclictest1-21systemd09:10:010
207532599531,7cyclictest2077563-21sshd07:50:200
207532599531,14cyclictest2078110-21sshd08:03:420
207533999522,19cyclictest2081225-21cron09:05:003
207533999521,18cyclictest2152097-21ssh11:59:253
207533999521,17cyclictest2079150-21sshd08:22:423
207533599529,9cyclictest30-21ksoftirqd/212:10:012
207532599521,2cyclictest0-21swapper/008:50:000
207532599521,13cyclictest2076875-21sed07:40:020
207532599521,13cyclictest2076875-21sed07:40:010
207533599518,10cyclictest30-21ksoftirqd/212:30:582
2075335995112,8cyclictest30-21ksoftirqd/210:39:302
207533999503,11cyclictest2076586-21wc07:35:013
207533999502,18cyclictest2106652-21latency_hist10:10:033
207533999502,18cyclictest2106652-21latency_hist10:10:023
2075339995021,5cyclictest2081489-21diskmemload09:32:333
2075339995016,7cyclictest2081500-21latency_hist09:10:003
2075339995016,4cyclictest2080203-21latency_hist08:45:023
207533599509,13cyclictest30-21ksoftirqd/211:47:222
207533599506,6cyclictest30-21ksoftirqd/211:00:202
2075335995035,12cyclictest1-21systemd08:05:002
207533599502,12cyclictest30-21ksoftirqd/211:16:402
207533599502,12cyclictest30-21ksoftirqd/211:16:392
2075330995035,11cyclictest275-21dbus-daemon09:25:001
207532599502,43cyclictest364-21snmpd08:28:270
207533599495,10cyclictest30-21ksoftirqd/207:45:022
2075335994940,6cyclictest291rcuc/212:00:522
2075335994910,9cyclictest30-21ksoftirqd/211:33:472
2075335994910,7cyclictest30-21ksoftirqd/210:13:132
207533099492,6cyclictest2133544-21munin-run11:15:021
2075330994916,8cyclictest131rcu_preempt09:00:001
207532599493,42cyclictest2075268-21latency_hist07:10:010
2075339994816,25cyclictest0-21swapper/307:59:593
207533599484,7cyclictest30-21ksoftirqd/210:53:332
2075335994819,7cyclictest30-21ksoftirqd/209:35:462
207533099487,7cyclictest131rcu_preempt08:20:011
207533099482,4cyclictest131rcu_preempt09:40:011
2075330994814,5cyclictest131rcu_preempt08:10:011
207533999473,10cyclictest2076826-21munin-run07:40:013
207533999473,10cyclictest2076826-21munin-run07:40:003
2075339994719,7cyclictest37-21ksoftirqd/310:54:233
2075339994719,10cyclictest37-21ksoftirqd/312:35:413
2075339994719,10cyclictest37-21ksoftirqd/312:35:413
2075339994712,7cyclictest37-21ksoftirqd/307:10:013
207533599477,5cyclictest30-21ksoftirqd/210:49:052
207533599476,9cyclictest30-21ksoftirqd/211:36:412
207533599474,10cyclictest30-21ksoftirqd/212:20:112
207533599473,10cyclictest30-21ksoftirqd/211:14:502
207533099474,4cyclictest131rcu_preempt10:35:021
2075330994734,10cyclictest23-21ksoftirqd/109:15:011
207533999461,15cyclictest2075626-21grep07:15:033
207533599466,9cyclictest30-21ksoftirqd/209:30:002
207533599466,10cyclictest30-21ksoftirqd/209:53:322
207533599465,5cyclictest30-21ksoftirqd/211:23:082
207533599465,15cyclictest30-21ksoftirqd/211:27:182
207533599465,15cyclictest30-21ksoftirqd/211:27:172
207533599464,7cyclictest30-21ksoftirqd/210:23:372
207533599462,5cyclictest30-21ksoftirqd/211:07:432
2075330994633,9cyclictest1-21systemd08:55:011
2075339994515,10cyclictest37-21ksoftirqd/308:40:003
2075339994512,9cyclictest2076146-21cut07:25:013
207533599456,8cyclictest30-21ksoftirqd/210:43:062
207533599455,8cyclictest30-21ksoftirqd/209:44:512
207533599455,6cyclictest30-21ksoftirqd/208:00:032
207533599455,12cyclictest30-21ksoftirqd/212:15:572
207533599454,7cyclictest30-21ksoftirqd/211:57:592
207533599453,16cyclictest2103079-21ssh10:01:332
2075335994526,15cyclictest2091951-21munin-run09:35:012
2075335994512,7cyclictest30-21ksoftirqd/211:51:232
207533099457,8cyclictest131rcu_preempt10:10:011
207533099457,8cyclictest131rcu_preempt10:10:001
2075330994531,10cyclictest23-21ksoftirqd/112:35:021
2075330994531,10cyclictest23-21ksoftirqd/112:35:021
2075330994530,12cyclictest3467602-21systemd-journal12:35:001
2075330994515,22cyclictest2131376-21modprobe11:10:001
207533999441,34cyclictest361rcuc/307:55:023
207533599446,6cyclictest30-21ksoftirqd/212:39:452
207533599446,6cyclictest30-21ksoftirqd/212:39:452
2075335994434,5cyclictest309-21in:imuxsock11:45:012
2075335994430,11cyclictest2106594-21sed10:10:022
2075335994430,11cyclictest2106594-21sed10:10:012
207533099447,5cyclictest131rcu_preempt10:15:021
2075330994431,10cyclictest23-21ksoftirqd/110:21:191
2075330994430,11cyclictest23-21ksoftirqd/107:20:011
2075330994421,17cyclictest275-21dbus-daemon09:05:011
2075339994331,8cyclictest1-21systemd08:55:003
2075339994325,13cyclictest275-21dbus-daemon08:30:013
2075339994324,13cyclictest275-21dbus-daemon07:50:003
2075335994332,8cyclictest1-21systemd08:20:002
2075335994330,10cyclictest3467602-21systemd-journal08:05:032
207533099439,5cyclictest131rcu_preempt12:25:011
2075330994328,9cyclictest1-21systemd12:05:011
207533599427,8cyclictest30-21ksoftirqd/207:34:312
207533599426,6cyclictest30-21ksoftirqd/210:56:282
207533599422,4cyclictest0-21swapper/209:22:492
207533599421,13cyclictest30-21ksoftirqd/212:27:332
207533099427,26cyclictest2077842-21modprobe07:59:591
2075330994230,9cyclictest1-21systemd10:45:011
2075330994228,11cyclictest3467602-21systemd-journal08:30:001
2075330994228,11cyclictest23-21ksoftirqd/109:40:401
2075330994222,12cyclictest0-21swapper/108:14:591
207533099421,8cyclictest0-21swapper/109:50:431
207533599416,5cyclictest30-21ksoftirqd/210:26:582
207533599415,6cyclictest30-21ksoftirqd/209:56:522
207533099415,4cyclictest131rcu_preempt10:50:011
207533099414,4cyclictest131rcu_preempt07:10:041
2075330994129,9cyclictest23-21ksoftirqd/111:21:131
2075330994122,13cyclictest3467602-21systemd-journal10:05:001
2075330994118,17cyclictest275-21dbus-daemon07:15:011
2075330994118,16cyclictest1-21systemd07:50:001
2075330994111,6cyclictest131rcu_preempt12:30:011
207533599409,5cyclictest131rcu_preempt07:16:112
2075335994026,10cyclictest30-21ksoftirqd/207:50:012
207533599401,35cyclictest2077563-21sshd07:50:202
2075330994030,7cyclictest23-21ksoftirqd/111:54:091
2075330994028,9cyclictest2148349-21cut11:50:031
2075330994027,10cyclictest23-21ksoftirqd/111:25:101
2075330994027,10cyclictest23-21ksoftirqd/111:25:091
2075330994026,11cyclictest23-21ksoftirqd/110:55:181
207533599396,5cyclictest30-21ksoftirqd/208:25:362
2075335993931,5cyclictest30-21ksoftirqd/208:35:022
2075335993927,8cyclictest3467602-21systemd-journal07:25:012
2075335993916,17cyclictest275-21dbus-daemon08:55:022
207533099398,22cyclictest275-21dbus-daemon07:40:011
207533099398,22cyclictest275-21dbus-daemon07:40:001
2075330993829,6cyclictest2097033-21ssh09:46:561
2075330993828,8cyclictest23-21ksoftirqd/111:41:451
2075330993825,9cyclictest2081480-21cron09:10:001
2075330993825,10cyclictest23-21ksoftirqd/112:10:131
2075330993810,5cyclictest131rcu_preempt10:18:161
2075335993729,5cyclictest2081500-21latency_hist09:10:032
2075335993726,7cyclictest30-21ksoftirqd/209:00:012
207533599371,11cyclictest30-21ksoftirqd/208:47:572
207533099376,21cyclictest3467602-21systemd-journal07:25:001
2075330993730,4cyclictest2101565-21sh09:58:071
2075330993730,4cyclictest2089178-21sh09:28:181
2075330993723,11cyclictest23-21ksoftirqd/109:34:591
2075330993723,11cyclictest23-21ksoftirqd/107:35:011
2075330993721,12cyclictest23-21ksoftirqd/110:26:161
2075339993622,10cyclictest37-21ksoftirqd/308:50:003
207533599364,8cyclictest30-21ksoftirqd/207:15:022
2075335993624,9cyclictest30-21ksoftirqd/209:03:152
2075335993624,9cyclictest30-21ksoftirqd/208:45:012
207533099363,4cyclictest131rcu_preempt11:04:591
2075330993626,8cyclictest23-21ksoftirqd/107:45:021
2075330993625,9cyclictest23-21ksoftirqd/111:32:521
2075330993623,8cyclictest2080209-21cut08:45:001
2075330993615,15cyclictest2156646-21diskmemload12:10:021
2075339993524,7cyclictest37-21ksoftirqd/307:45:003
2075335993523,8cyclictest275-21dbus-daemon08:40:012
2075330993524,7cyclictest23-21ksoftirqd/107:55:031
207533099351,3cyclictest131rcu_preempt07:25:111
2075335993425,7cyclictest30-21ksoftirqd/208:10:332
2075335993421,10cyclictest30-21ksoftirqd/208:22:182
2075335993421,10cyclictest2076447-21wc07:30:012
2075330993424,8cyclictest23-21ksoftirqd/108:50:021
2075330993422,8cyclictest23-21ksoftirqd/108:23:591
2075335993321,8cyclictest30-21ksoftirqd/207:35:232
2075335993321,8cyclictest30-21ksoftirqd/207:35:222
2075330993324,6cyclictest23-21ksoftirqd/108:40:011
207533599284,18cyclictest2075456-21latency_hist07:10:042
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional