You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-16 - 12:55

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot4s.osadl.org (updated Tue Jun 16, 2026 00:45:17)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
26538997829,8cyclictest21-21ksoftirqd/119:40:111
26538997622,12cyclictest21-21ksoftirqd/122:00:111
2653899532,6cyclictest131rcu_preempt23:50:131
26548994116,20cyclictest22373-21sh22:08:242
2652899398,27cyclictest16447-21ssh21:30:120
2652899392,33cyclictest29401-21ssh21:55:130
2653899383,24cyclictest21229-21ssh23:20:131
2652899388,7cyclictest131rcu_preempt00:20:120
26528993827,7cyclictest12-21ksoftirqd/020:15:130
2652899382,27cyclictest5074-21ssh00:05:130
2652899382,27cyclictest5074-21ssh00:05:120
2652899379,10cyclictest131rcu_preempt23:05:150
2652899376,26cyclictest719-21ssh22:15:130
2652899373,27cyclictest14040-21ssh00:10:120
26528993725,6cyclictest12-21ksoftirqd/021:35:140
2654899362,26cyclictest261rcuc/222:55:142
2653899361,26cyclictest17517-21ssh00:30:121
2652899361,29cyclictest22839-21ssh22:45:140
2652899361,28cyclictest20308-21sh21:50:120
2655999351,21cyclictest35966irq/58-eth023:55:123
2652899347,4cyclictest131rcu_preempt20:25:140
2652899347,4cyclictest131rcu_preempt20:25:130
26528993414,16cyclictest12-21ksoftirqd/000:25:110
2652899341,25cyclictest17576-21ssh23:00:120
2654899335,18cyclictest27346irq/40-dwc2_hso19:30:112
2652899331,4cyclictest131rcu_preempt19:55:130
2655999329,11cyclictest35966irq/58-eth023:20:123
2655999323,20cyclictest35966irq/58-eth023:10:133
2655999322,17cyclictest35966irq/58-eth021:15:133
2655999322,17cyclictest35966irq/58-eth021:15:133
2655999320,19cyclictest35966irq/58-eth023:05:143
26538993217,10cyclictest0-21swapper/119:15:121
2652899322,24cyclictest31591-21rm22:30:250
2652899313,22cyclictest12670-21ssh21:10:140
2652899312,23cyclictest28571-21ssh00:00:150
2652899312,22cyclictest23024-21ssh00:15:130
2652899312,20cyclictest15123-21ssh22:05:150
2652899311,22cyclictest7406-21rm21:25:130
2654899307,14cyclictest27-21ksoftirqd/223:15:122
2653899305,19cyclictest7399-21ssh21:25:121
2652899304,18cyclictest1549-21ssh23:45:120
2652899303,20cyclictest30820-21ssh21:20:120
26528993011,9cyclictest131rcu_preempt20:10:140
26559992914,10cyclictest35966irq/58-eth022:55:153
2654899292,20cyclictest0-21swapper/222:00:122
2653899292,20cyclictest27682-21/usr/sbin/munin22:10:241
2652899296,17cyclictest151rcuc/021:45:130
26528992919,5cyclictest0-21swapper/023:15:140
2654899284,13cyclictest27346irq/40-dwc2_hso19:15:132
2654899284,12cyclictest27346irq/40-dwc2_hso23:00:132
2654899283,7cyclictest0-21swapper/222:10:232
26528992811,9cyclictest18861-21sh22:25:140
26528992811,9cyclictest18861-21sh22:25:130
26559992718,4cyclictest35966irq/58-eth022:25:143
26559992718,4cyclictest35966irq/58-eth022:25:133
2654899275,12cyclictest27-21ksoftirqd/222:15:132
26548992713,7cyclictest261rcuc/222:35:122
2653899272,18cyclictest22374-21ssh22:08:231
2652899272,7cyclictest131rcu_preempt22:11:230
2652899272,19cyclictest15717-21ssh22:58:250
2654899264,13cyclictest27346irq/40-dwc2_hso23:55:132
2654899261,15cyclictest25426-21ssh21:15:272
2654899261,15cyclictest25426-21ssh21:15:262
26538992610,4cyclictest131rcu_preempt22:40:191
2652899261,20cyclictest8227-21ssh22:35:250
26559992518,5cyclictest0-21swapper/321:40:133
2654899259,9cyclictest0-21swapper/223:10:142
2654899258,4cyclictest0-21swapper/223:50:212
2654899255,12cyclictest27346irq/40-dwc2_hso19:10:122
2654899253,14cyclictest27346irq/40-dwc2_hso00:30:122
2654899252,20cyclictest32674-21cpu19:50:142
2653899251,16cyclictest17560-21ssh23:00:121
2652899253,16cyclictest6922-21ssh23:30:170
2652899253,16cyclictest6922-21ssh23:30:160
2652899252,16cyclictest9830-21ssh22:20:130
26528992517,4cyclictest12-21ksoftirqd/000:30:110
2652899251,18cyclictest3087-21ssh22:50:240
2655999243,14cyclictest0-21swapper/323:54:243
26559992414,6cyclictest35966irq/58-eth023:45:143
2654899246,10cyclictest25115-21pluginstate21:35:012
2653899242,18cyclictest14028-21apt-get00:10:131
26538992414,7cyclictest31588-21sshd22:30:261
26538992412,9cyclictest2779-21cron23:10:021
2655999233,14cyclictest0-21swapper/322:08:243
26559992315,5cyclictest0-21swapper/300:10:123
2654899239,12cyclictest12774-21kthreadcore21:45:212
2654899238,7cyclictest131rcu_preempt00:25:192
2654899232,16cyclictest0-21swapper/222:24:242
26548992317,3cyclictest27-21ksoftirqd/220:10:152
2654899231,6cyclictest1480566ssh21:10:222
2654899231,14cyclictest0-21swapper/200:24:432
2654899231,12cyclictest4461-21tr21:40:212
2654899230,14cyclictest18852-21ssh22:25:132
2654899230,14cyclictest18852-21ssh22:25:122
2653899231,7cyclictest32132-21/usr/sbin/munin00:00:261
26538992310,8cyclictest26518-21cyclictest21:45:121
26559992212,7cyclictest35966irq/58-eth023:35:133
26559992212,7cyclictest35966irq/58-eth023:35:133
2655999221,13cyclictest0-21swapper/322:10:233
2654899229,9cyclictest13154-21/usr/sbin/munin20:00:232
2654899229,9cyclictest13154-21/usr/sbin/munin20:00:232
2654899228,7cyclictest1551-21apt-get23:45:112
2654899226,13cyclictest27802-21cat00:15:312
2654899222,9cyclictest844-21munin-node19:25:142
2654899222,18cyclictest7697-21acpi21:05:122
26548992210,3cyclictest27-21ksoftirqd/221:55:042
26538992214,5cyclictest1469-21kthreadcore22:15:181
26538992212,5cyclictest26518-21cyclictest00:35:121
26538992211,8cyclictest21-21ksoftirqd/123:30:151
26538992211,8cyclictest21-21ksoftirqd/123:30:141
2653899221,16cyclictest3480-21ls22:50:291
2652899224,13cyclictest30330-21sh23:25:150
2652899220,18cyclictest28506-21ls23:40:210
2655999219,9cyclictest0-21swapper/321:49:083
2655999219,7cyclictest0-21swapper/323:25:553
26559992110,9cyclictest0-21swapper/321:30:233
2654899217,7cyclictest27826-1kworker/u9:222:30:252
2654899214,14cyclictest25557-21kthreadcore20:15:192
2654899214,10cyclictest27346irq/40-dwc2_hso23:40:132
2654899213,15cyclictest27346irq/40-dwc2_hso00:35:132
2654899212,10cyclictest29214-21ntp_192.168.11421:35:262
2654899211,11cyclictest15732-21rm00:10:202
2654899211,11cyclictest10878-21sh20:35:012
2654899210,4cyclictest0-21swapper/222:46:252
2653899212,15cyclictest4114-21apt-get22:35:031
2653899212,14cyclictest21759-21sh21:15:151
2653899212,14cyclictest21759-21sh21:15:141
26538992112,6cyclictest8455-21sh22:55:151
2653899211,14cyclictest21032-21ssh21:50:201
2652899212,3cyclictest131rcu_preempt00:35:130
2652899212,15cyclictest13445-21apt-get19:30:110
26528992115,2cyclictest12-21ksoftirqd/020:40:120
26528992115,2cyclictest12-21ksoftirqd/020:40:110
2652899211,15cyclictest12-21ksoftirqd/019:50:130
2652899210,2cyclictest131rcu_preempt20:00:120
2652899210,2cyclictest131rcu_preempt20:00:110
2655999208,9cyclictest0-21swapper/323:33:163
2655999208,9cyclictest0-21swapper/323:33:163
2655999208,9cyclictest0-21swapper/321:50:453
2655999208,10cyclictest0-21swapper/300:34:003
2655999202,13cyclictest35966irq/58-eth021:10:273
26559992013,5cyclictest35966irq/58-eth021:20:233
26559992011,6cyclictest35966irq/58-eth000:35:133
26559992010,8cyclictest0-21swapper/300:26:443
26559992010,7cyclictest0-21swapper/300:08:083
26559992010,7cyclictest0-21swapper/300:08:073
2654899209,4cyclictest1320-21kthreadcore23:25:242
2654899207,6cyclictest12902-21cut20:35:212
2654899207,10cyclictest3290-21cut22:50:282
2654899206,7cyclictest15841-21apt-get23:35:142
2654899206,7cyclictest15841-21apt-get23:35:132
2654899203,9cyclictest21161-21awk20:45:162
2654899203,10cyclictest6374-21kthreadcore19:55:212
2654899201,9cyclictest7480-21sort21:25:152
2654899201,9cyclictest2723-21latency_hist21:00:022
2654899201,17cyclictest25986-21irqcore20:50:162
2654899201,16cyclictest4029-21fschecks_time19:20:152
2654899201,16cyclictest22353-21latency_hist22:45:022
2654899201,15cyclictest5840-21sh00:05:202
2654899201,15cyclictest5840-21sh00:05:202
2654899201,11cyclictest3626-21tr20:25:212
2654899201,11cyclictest3626-21tr20:25:202
2654899201,11cyclictest26858-21ssh23:05:172
2654899201,11cyclictest16521-21sed20:40:182
2654899201,11cyclictest16521-21sed20:40:172
2654899201,10cyclictest31082-21kthreadcore20:20:212
2654899201,10cyclictest3092-21tune2fs21:00:162
2654899201,10cyclictest28809-21fschecks_time00:00:172
26548992010,8cyclictest0-21swapper/223:30:592
26548992010,8cyclictest0-21swapper/223:30:582
2653899202,14cyclictest25574-21apt-get21:35:121
2653899201,9cyclictest5623-21awk22:00:001
2653899201,8cyclictest19261-21awk20:10:001
2653899201,6cyclictest22438-21ntp_192.168.11422:25:241
2653899201,6cyclictest22438-21ntp_192.168.11422:25:241
26538992014,4cyclictest0-21swapper/121:10:241
26538992011,7cyclictest23198-21sshd23:38:251
26538992011,7cyclictest23198-21sshd23:38:241
2653899201,15cyclictest28991-21timerwakeupswit23:40:281
2652899208,3cyclictest131rcu_preempt23:20:300
2652899202,2cyclictest131rcu_preempt21:05:120
26528992013,5cyclictest0-21swapper/023:35:270
26528992013,5cyclictest0-21swapper/023:35:260
2652899201,15cyclictest26682-21apt-get19:10:110
2652899201,10cyclictest10684-21cpuspeed23:50:120
2652899200,17cyclictest18573-21ps19:35:170
2655999199,7cyclictest0-21swapper/323:03:303
2655999199,7cyclictest0-21swapper/321:27:323
2655999199,6cyclictest0-21swapper/322:15:263
2655999198,6cyclictest0-21swapper/321:39:423
2655999196,10cyclictest0-21swapper/323:41:113
2655999193,11cyclictest0-21swapper/322:24:253
2655999192,11cyclictest36066irq/59-eth022:00:103
2655999192,11cyclictest0-21swapper/319:15:133
2655999191,13cyclictest0-21swapper/320:55:223
2655999191,12cyclictest0-21swapper/320:20:283
26559991910,6cyclictest0-21swapper/323:18:553
26559991910,6cyclictest0-21swapper/322:49:483
26559991910,5cyclictest0-21swapper/322:40:193
2654899192,14cyclictest19938-21kthreadcore19:35:212
2654899191,9cyclictest29191-21kthreadcore19:45:192
2654899191,9cyclictest23331-21kthreadcore21:50:222
2654899191,9cyclictest2036-21ntp_kernel_pll_21:20:242
2654899191,8cyclictest15148-21grep20:05:202
2654899191,15cyclictest23191-21cut19:40:132
2654899191,10cyclictest23771-21kthreadcore23:20:212
2653899199,6cyclictest9556-21cat20:30:211
2653899193,12cyclictest0-21swapper/123:55:111
2653899192,12cyclictest0-21swapper/119:25:131
2653899191,9cyclictest21822-21kthreadcore20:10:221
26538991912,5cyclictest14026-21kworker/u8:121:40:131
2653899191,14cyclictest9719-21latency_hist20:00:021
2653899191,10cyclictest9860-21apt-get20:00:121
2653899191,10cyclictest9860-21apt-get20:00:111
2653899191,10cyclictest719-21sed19:50:171
26538991910,5cyclictest0-21swapper/122:45:151
2652899198,5cyclictest12-21ksoftirqd/020:45:120
2652899194,3cyclictest131rcu_preempt19:45:270
2652899193,12cyclictest12-21ksoftirqd/020:30:120
2652899191,9cyclictest31671-21fschecks_time19:15:160
2652899191,9cyclictest2445-21fschecks_time21:40:170
26528991913,4cyclictest14042-21interrupts22:40:180
26528991912,4cyclictest6094-21sh22:00:120
2652899191,14cyclictest13213-21latency_hist19:30:010
2655999189,7cyclictest0-21swapper/322:31:073
2655999189,7cyclictest0-21swapper/321:58:083
2655999189,7cyclictest0-21swapper/300:02:113
2655999189,6cyclictest0-21swapper/322:38:143
2655999189,6cyclictest0-21swapper/300:25:023
2655999182,10cyclictest0-21swapper/319:25:133
26559991811,4cyclictest0-21swapper/300:19:033
2655999181,13cyclictest0-21swapper/319:10:283
2655999181,12cyclictest0-21swapper/320:00:293
2655999181,12cyclictest0-21swapper/320:00:283
2653899188,7cyclictest0-21swapper/120:55:141
2653899185,10cyclictest16543-21cat23:15:301
2653899182,7cyclictest10250-21awk23:50:011
2653899181,9cyclictest16156-21fschecks_count20:40:161
2653899181,9cyclictest16156-21fschecks_count20:40:161
2653899181,9cyclictest12217-21ntp_states00:25:251
26538991811,4cyclictest0-21swapper/121:20:291
26538991810,6cyclictest18460-21munin-run22:25:011
2652899188,7cyclictest3294-21diskstats23:10:150
2652899187,8cyclictest26285-21cat21:15:320
2652899187,8cyclictest26285-21cat21:15:310
2652899187,8cyclictest19544-21apt-get23:55:130
2652899181,11cyclictest15856-21ls20:40:020
2655999178,7cyclictest0-21swapper/322:53:393
26559991711,4cyclictest0-21swapper/319:50:183
2655999171,11cyclictest0-21swapper/320:15:283
2653899179,5cyclictest25273-21kthreadcore20:15:191
2653899177,7cyclictest21-21ksoftirqd/120:45:111
2653899172,10cyclictest0-21swapper/119:10:141
2653899171,8cyclictest5367-21/usr/sbin/munin00:05:171
2653899171,8cyclictest5367-21/usr/sbin/munin00:05:161
2653899171,7cyclictest25779-21fschecks_count20:50:151
2653899171,6cyclictest23395-21/usr/sbin/munin00:15:161
2653899171,4cyclictest7478-21munin-run21:05:001
26538991711,4cyclictest5047-21sendmail_mailst20:25:271
26538991711,4cyclictest5047-21sendmail_mailst20:25:261
26538991711,4cyclictest3339-21open_inodes00:20:271
26538991711,4cyclictest31064-21kthreadcore23:25:201
2653899171,12cyclictest3180-21sh23:10:141
26538991710,4cyclictest20316-21switchtime21:30:281
2653899170,14cyclictest11968-21cut20:35:211
2652899173,11cyclictest31015-21irqrtprio20:55:170
2652899172,12cyclictest14625-21/usr/sbin/munin20:05:270
2652899172,10cyclictest0-21swapper/021:00:130
2655999161,10cyclictest0-21swapper/320:05:253
2653899169,3cyclictest20938-21kthreadcore19:35:221
2653899168,6cyclictest28355-21irqrtprio19:45:181
2653899168,5cyclictest10124-21cut21:05:211
2653899163,10cyclictest15113-21kthreadcore19:30:191
2653899161,12cyclictest29251-21fschecks_count20:20:161
26538991610,4cyclictest0-21swapper/119:20:171
2652899163,10cyclictest26914-21grep19:40:270
2652899162,10cyclictest0-21swapper/020:50:130
2652899162,10cyclictest0-21swapper/020:20:130
2655999151,11cyclictest0-21swapper/320:40:273
2655999151,11cyclictest0-21swapper/320:40:263
2655999151,10cyclictest0-21swapper/319:45:213
2653899151,11cyclictest26630-21grep19:10:011
2652899151,11cyclictest3966-21diskstats19:20:150
2655999149,3cyclictest0-21swapper/319:58:233
2655999141,8cyclictest0-21swapper/319:20:163
2655999141,7cyclictest0-21swapper/320:25:283
2655999141,7cyclictest0-21swapper/320:25:283
2655999141,10cyclictest0-21swapper/320:35:323
2655999141,10cyclictest0-21swapper/320:15:013
2652899141,10cyclictest26518-21cyclictest19:10:020
2655999131,9cyclictest0-21swapper/320:45:173
2655999131,10cyclictest0-21swapper/321:05:203
2655999131,10cyclictest0-21swapper/319:35:213
2655999122,7cyclictest0-21swapper/321:00:253
2655999122,7cyclictest0-21swapper/319:40:153
2655999121,8cyclictest0-21swapper/320:50:133
2655999121,7cyclictest0-21swapper/320:30:153
2654899124,6cyclictest26438-21latency_hist19:10:022
2655999114,5cyclictest0-21swapper/319:30:183
2655999111,7cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional