You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-18 - 10:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Fri Sep 18, 2026 00:45:08)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
12664996540,17cyclictest35966irq/58-eth021:15:123
1264699591,47cyclictest21081-21ssh23:45:121
1265699561,3cyclictest0-21swapper/221:45:132
1265699561,3cyclictest0-21swapper/220:15:142
1265699554,42cyclictest18243-21ssh22:50:142
1265699554,42cyclictest18243-21ssh22:50:132
1265699501,43cyclictest10741-21ssh00:15:122
1265699491,2cyclictest0-21swapper/220:05:132
1265699471,2cyclictest0-21swapper/222:55:142
1264699451,20cyclictest769-21apt-get20:05:121
1265699431,3cyclictest0-21swapper/220:55:132
1264699430,35cyclictest6793-21ssh23:55:131
1265699420,2cyclictest0-21swapper/220:50:122
1265699411,3cyclictest11951-21apt-get23:40:142
1265699410,2cyclictest0-21swapper/200:05:142
1265699401,2cyclictest9173-21apt-get22:45:132
1265699400,9cyclictest29501-21ntpq21:05:252
1265699400,2cyclictest0-21swapper/220:25:122
1266499391,34cyclictest0-21swapper/322:45:153
1266499391,34cyclictest0-21swapper/321:35:123
1265699392,1cyclictest0-21swapper/200:35:132
1265699391,3cyclictest0-21swapper/220:35:142
1265699391,3cyclictest0-21swapper/200:00:142
1265699391,2cyclictest0-21swapper/223:25:112
1265699391,2cyclictest0-21swapper/222:05:132
1265699381,6cyclictest0-21swapper/219:40:122
1265699381,3cyclictest0-21swapper/221:15:122
1265699381,2cyclictest0-21swapper/220:00:112
1265699381,2cyclictest0-21swapper/200:20:142
1264699382,5cyclictest0-21swapper/123:07:581
1266499373,29cyclictest35966irq/58-eth000:15:133
1266499371,2cyclictest0-21swapper/321:40:133
1265699371,33cyclictest14547-21head22:10:292
1265699371,32cyclictest0-21swapper/221:25:132
1265699371,2cyclictest0-21swapper/223:55:122
1265699371,2cyclictest0-21swapper/222:20:132
1265699371,2cyclictest0-21swapper/219:20:122
1265699370,2cyclictest27346irq/40-dwc2_hso19:55:122
1265699370,2cyclictest0-21swapper/222:40:152
1264699371,7cyclictest28820-21sed20:00:181
1266499361,29cyclictest0-21swapper/323:35:123
1265699366,23cyclictest17003-21/usr/sbin/munin23:05:272
1265699361,3cyclictest0-21swapper/221:40:142
1265699361,31cyclictest1042-21ls22:05:012
1265699361,2cyclictest0-21swapper/219:25:132
1265699361,2cyclictest0-21swapper/219:25:122
1265699360,2cyclictest30162-21ssh23:50:152
1265699360,2cyclictest0-21swapper/223:35:102
1265699360,2cyclictest0-21swapper/223:10:122
1264699368,19cyclictest21-21ksoftirqd/123:20:131
1264699360,11cyclictest27213-21apt-get19:25:131
1264699360,11cyclictest27213-21apt-get19:25:121
1265699351,2cyclictest0-21swapper/219:10:122
1265699351,24cyclictest27927-21kthreadcore23:30:212
1265699350,6cyclictest27346irq/40-dwc2_hso20:40:132
1264699355,6cyclictest3516-21irqrtprio23:35:171
1264699351,9cyclictest32174-21kthreadcore20:35:211
1264699351,9cyclictest1358-21grep21:45:291
1264699351,8cyclictest18664-21cat22:30:331
1264699351,25cyclictest5150-21ssh22:25:111
1265699341,3cyclictest0-21swapper/222:25:102
1265699341,3cyclictest0-21swapper/220:45:142
1265699341,30cyclictest4223-21grep21:30:202
1265699341,30cyclictest0-21swapper/219:35:122
1265699341,2cyclictest0-21swapper/223:20:132
1265699341,29cyclictest32030-21/usr/sbin/munin19:30:112
1265699340,9cyclictest28153-21cat22:35:332
1264699341,9cyclictest22695-21kthreadcore22:15:241
1264699341,9cyclictest17063-21kthreadcore00:35:211
1264699341,9cyclictest13330-21kthreadcore23:40:201
1264699341,8cyclictest4540-21tr21:30:191
1264699341,8cyclictest19785-21/usr/sbin/munin00:20:271
1264699341,7cyclictest5978-21sed00:30:171
1264699341,7cyclictest13407-21kthreadcore21:35:201
1266499331,25cyclictest0-21swapper/322:55:133
1265699331,3cyclictest0-21swapper/220:10:122
1265699331,3cyclictest0-21swapper/219:45:132
1265699331,29cyclictest854-21sshd20:23:492
1265699330,7cyclictest26526-21rm22:18:082
1265699330,30cyclictest19878-21ssh22:31:162
1265699330,2cyclictest0-21swapper/200:30:272
1264699337,3cyclictest25148-21sed22:00:181
1264699331,9cyclictest25118-21sort00:05:161
1264699331,9cyclictest16765-21cut19:45:211
1264699331,8cyclictest4246-21unixbench_singl22:40:301
1264699331,8cyclictest20079-21ssh00:00:331
1264699331,7cyclictest22780-21irqrtprio23:10:171
1264699331,7cyclictest19558-21latency_hist00:20:021
1264699331,24cyclictest1707-21ssh00:10:151
1264699331,10cyclictest29122-21kthreadcore21:05:211
1264699330,9cyclictest8289-21kthreadcore21:50:201
1264699330,9cyclictest2336-21ssh23:15:221
1266499322,17cyclictest35966irq/58-eth023:30:133
1265699321,3cyclictest0-21swapper/221:50:102
1265699321,28cyclictest19686-21tr19:50:182
1265699321,22cyclictest18136-21cut19:15:192
1265699321,22cyclictest15278-21awk21:35:242
1265699320,23cyclictest16596-21kthreadcore21:55:202
1264699325,6cyclictest9583-21cat20:10:291
1264699324,5cyclictest21886-21kthreadcore21:40:201
1264699322,8cyclictest18448-21kthreadcore19:15:201
1264699321,9cyclictest9337-21fschecks_count19:40:161
1264699321,9cyclictest2749-21kthreadcore20:40:221
1264699321,9cyclictest27002-21ntp_192.168.11419:55:221
1264699321,9cyclictest20082-21switchtime20:55:261
1264699321,8cyclictest29835-21ssh23:30:241
1264699321,8cyclictest2324-21ntpq21:10:271
1264699321,7cyclictest4262-21sed23:00:171
1264699321,7cyclictest305-21cat00:25:291
1264699321,7cyclictest17941-21kthreadcore21:55:221
1266499311,24cyclictest0-21swapper/322:05:123
1266499311,20cyclictest35966irq/58-eth023:10:123
1266499310,2cyclictest0-21swapper/300:35:123
1265699315,19cyclictest6216-21usage_EthcTask00:10:332
1265699311,6cyclictest29459-21irqrtprio00:25:202
1265699311,5cyclictest16822-21ls21:20:142
1265699311,3cyclictest7618-21/usr/sbin/munin23:00:262
1265699311,26cyclictest26343-21kthreadcore20:30:192
1264699311,8cyclictest323-21kthreadcore19:30:191
1264699311,8cyclictest29617-21processes21:25:271
1264699311,8cyclictest26963-21sshd19:22:191
1264699311,7cyclictest25404-21cut20:30:181
1264699311,7cyclictest23388-21ls19:55:011
1264699311,7cyclictest10103-21latency_hist22:10:021
1264699311,14cyclictest7677-21ssh21:15:131
1264699310,9cyclictest27134-21ntp_states22:35:291
1266499301,24cyclictest0-21swapper/321:00:133
1265699301,5cyclictest27346irq/40-dwc2_hso21:00:122
1265699301,4cyclictest5282-21ssh23:17:212
1265699301,3cyclictest5379-21ssh21:12:452
1265699301,3cyclictest24693-21ntp_192.168.11423:45:222
1264699305,6cyclictest14257-21sh22:10:271
1264699301,9cyclictest382-21tr23:50:231
1264699301,9cyclictest25936-21latency_hist21:05:021
1264699301,8cyclictest11800-21grep20:50:161
1264699301,7cyclictest29787-21tr22:55:221
1264699301,7cyclictest25433-21latency_hist21:25:021
1264699301,7cyclictest10748-21tr22:45:211
1264699301,6cyclictest7027-21tr19:35:201
1264699301,11cyclictest28516-21ssh22:20:121
1264699301,10cyclictest18974-21kthreadcore23:25:211
1266499291,23cyclictest0-21swapper/321:50:113
1264699297,3cyclictest0-21swapper/122:50:061
1264699297,3cyclictest0-21swapper/122:50:061
1264699291,8cyclictest23843-21unixbench_multi20:25:271
1264699291,10cyclictest13424-21kthreadcore20:15:211
1266499281,2cyclictest0-21swapper/319:15:123
1266499281,22cyclictest0-21swapper/320:40:143
1266499281,22cyclictest0-21swapper/300:05:153
1264699286,3cyclictest12630-21cyclictest19:10:021
1264699281,9cyclictest7744-21kthreadcore20:45:191
1264699281,8cyclictest15752-21cut19:10:201
1266499275,15cyclictest35966irq/58-eth022:25:113
1266499271,22cyclictest0-21swapper/322:20:123
1266499270,2cyclictest0-21swapper/322:50:143
1266499270,2cyclictest0-21swapper/322:50:133
1266499261,22cyclictest0-21swapper/320:45:123
1266499261,22cyclictest0-21swapper/320:15:133
1266499261,21cyclictest0-21swapper/323:25:123
1266499261,21cyclictest0-21swapper/321:55:123
1266499261,19cyclictest0-21swapper/319:50:123
1266499261,16cyclictest0-21swapper/320:20:133
1266499260,2cyclictest0-21swapper/320:05:133
1265699260,5cyclictest12678-21latency_hist19:10:012
1263899262,4cyclictest131rcu_preempt19:20:120
1263899262,21cyclictest19478-21ssh22:15:150
1266499252,18cyclictest0-21swapper/323:07:573
1266499251,2cyclictest0-21swapper/322:15:323
1266499251,21cyclictest0-21swapper/322:30:153
1266499251,20cyclictest0-21swapper/323:48:193
1266499251,20cyclictest0-21swapper/321:25:113
1266499251,20cyclictest0-21swapper/319:25:133
1266499251,20cyclictest0-21swapper/319:25:123
1266499251,19cyclictest0-21swapper/323:15:143
1264699251,8cyclictest17559-21kthreadcore20:20:201
1263899253,19cyclictest1003-21ssh22:20:340
1263899253,18cyclictest16740-21ssh21:20:140
1263899252,20cyclictest23460-21ssh22:35:160
1263899252,17cyclictest18232-21apt-get22:50:140
1263899252,17cyclictest18232-21apt-get22:50:130
1266499249,9cyclictest35966irq/58-eth023:50:153
1266499241,2cyclictest0-21swapper/323:55:123
1266499241,2cyclictest0-21swapper/322:40:143
1266499241,2cyclictest0-21swapper/322:35:163
1266499241,2cyclictest0-21swapper/320:25:113
1266499241,20cyclictest0-21swapper/322:15:003
1266499241,20cyclictest0-21swapper/322:00:263
1266499241,20cyclictest0-21swapper/321:45:113
1266499241,20cyclictest0-21swapper/300:10:163
1266499241,19cyclictest0-21swapper/320:35:243
1266499241,17cyclictest0-21swapper/320:30:123
1266499240,2cyclictest0-21swapper/321:10:143
12638992419,3cyclictest14690-21ssh00:35:140
1266499231,2cyclictest0-21swapper/323:20:123
1266499231,2cyclictest0-21swapper/320:55:113
1266499231,2cyclictest0-21swapper/300:30:113
1266499231,19cyclictest0-21swapper/321:20:173
1266499231,19cyclictest0-21swapper/319:40:233
1266499231,19cyclictest0-21swapper/319:35:113
1266499231,19cyclictest0-21swapper/300:25:273
1266499231,19cyclictest0-21swapper/300:20:193
1266499231,19cyclictest0-21swapper/300:00:133
1266499231,18cyclictest0-21swapper/321:30:113
1266499231,18cyclictest0-21swapper/321:05:173
1266499231,17cyclictest0-21swapper/323:43:023
1266499231,15cyclictest0-21swapper/323:00:143
1263899239,10cyclictest6613-21cut21:50:150
1263899236,14cyclictest630-21Async09:36:310
1266499221,18cyclictest0-21swapper/320:50:293
1266499221,18cyclictest0-21swapper/320:10:283
1266499221,18cyclictest0-21swapper/319:35:013
1266499220,2cyclictest0-21swapper/319:10:123
1263899222,18cyclictest2858-21ssh23:35:130
1263899222,17cyclictest27281-21apt-get22:55:130
1263899222,16cyclictest2498-21ssh21:30:130
1263899221,9cyclictest24963-21grep22:00:170
1263899221,17cyclictest25806-21apt-get21:25:110
1263899220,18cyclictest11683-21diskmemload21:35:130
1266499211,2cyclictest0-21swapper/320:00:123
1266499211,2cyclictest0-21swapper/319:45:113
1266499211,17cyclictest0-21swapper/319:20:153
1266499211,16cyclictest0-21swapper/319:55:143
1263899219,9cyclictest2479-21ntp_kernel_pll_23:15:230
1263899219,3cyclictest12-21ksoftirqd/023:05:210
1263899213,15cyclictest19836-21ssh00:20:160
1263899211,8cyclictest10488-21ntp_192.168.11423:55:240
12638992112,7cyclictest12-21ksoftirqd/023:10:500
12638992112,6cyclictest0-21swapper/021:45:110
1263899211,17cyclictest31041-21apt-get21:10:130
12638992111,7cyclictest17869-21sed22:50:020
1263899211,16cyclictest32496-21ssh22:40:150
12638992110,8cyclictest7948-21apt-get23:20:130
1263899202,15cyclictest0-21swapper/019:55:130
1263899202,13cyclictest14385-21ssh00:15:250
1263899201,8cyclictest7722-21/usr/sbin/munin23:00:280
12638992012,5cyclictest6396-21sh23:55:020
1263899201,15cyclictest9317-21cut19:40:160
1263899201,15cyclictest15845-21fschecks_count21:55:160
1263899201,14cyclictest5528-21ssh00:30:120
1263899201,10cyclictest28925-21cpuspeed00:25:150
1263899193,11cyclictest11336-21ntpq21:15:250
1263899192,15cyclictest12077-21ssh22:27:520
1263899192,13cyclictest21208-21diskstats23:45:150
1263899192,12cyclictest10366-21apt-get22:10:120
1263899191,15cyclictest28556-21ssh00:05:230
12638991911,5cyclictest25797-21cron23:30:020
1263899191,10cyclictest32082-21timerandwakeup20:00:280
1263899191,10cyclictest0-21swapper/021:44:450
1263899187,3cyclictest131rcu_preempt20:15:010
1263899183,13cyclictest23357-21cron19:55:010
1263899182,12cyclictest1944-21perl00:10:190
1263899181,14cyclictest15859-21grep23:40:280
1263899181,13cyclictest1756-21munin-run20:40:010
1263899181,11cyclictest26220-21ssh23:30:140
12638991810,6cyclictest24734-21ntp_states21:00:270
12638991810,6cyclictest0-21swapper/019:45:290
1263899180,12cyclictest10201-21missed_timers20:45:240
1266499171,13cyclictest0-21swapper/319:10:013
1263899175,9cyclictest15462-21grep20:50:290
1263899174,11cyclictest0-21swapper/020:25:120
1263899173,12cyclictest15955-21ssh00:00:130
1263899173,11cyclictest24994-21fschecks_time20:30:150
1263899172,11cyclictest4633-21grep20:05:300
12638991710,5cyclictest0-21swapper/022:30:300
1263899167,7cyclictest16648-21fw_packets20:55:160
1263899166,8cyclictest26303-21grep21:05:160
1263899165,9cyclictest18289-21grep19:15:180
1263899163,8cyclictest0-21swapper/020:15:140
1263899162,12cyclictest3889-21kthreadcore20:40:220
1263899162,11cyclictest5060-21sed19:35:190
1263899162,11cyclictest1869-21kthreadcore19:30:200
12638991611,3cyclictest16348-21sendmail_mailqu19:10:260
1263899161,12cyclictest31839-21cat19:30:010
1263899161,12cyclictest31839-21cat19:30:000
1263899161,11cyclictest15313-21diskstats20:20:130
1263899151,9cyclictest12707-21latency_hist19:10:010
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional