You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-09-16 - 01:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Mon Sep 15, 2025 12:45:08)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2564499775,5cyclictest131rcu_preempt09:30:130
2564499603,44cyclictest15244-21ssh09:35:160
25653995911,13cyclictest21-21ksoftirqd/108:15:151
25644995320,24cyclictest12-21ksoftirqd/008:25:150
25669995224,20cyclictest25366irq/58-eth010:35:123
2566499511,37cyclictest19370-21ssh10:45:162
25653995114,7cyclictest131rcu_preempt11:15:121
2566499501,4cyclictest843-21apt-get09:25:162
2564499493,36cyclictest4350-21ssh11:40:130
2566499481,3cyclictest0-21swapper/210:20:122
2565399483,32cyclictest19384-21ssh10:45:171
2566499472,41cyclictest0-21swapper/210:25:142
2566499471,2cyclictest0-21swapper/209:05:142
2565399471,37cyclictest8331-21ssh10:15:141
2565399471,30cyclictest847-21ssh10:10:131
2566499451,4cyclictest0-21swapper/208:15:162
2566499451,3cyclictest0-21swapper/211:25:132
2565399453,9cyclictest21-21ksoftirqd/107:55:131
2566499432,30cyclictest0-21swapper/209:00:152
2566499431,3cyclictest0-21swapper/208:30:132
2566499431,38cyclictest30594-21apt-get07:15:122
2564499433,29cyclictest4749-21ssh10:35:120
2564499431,36cyclictest16963-21ssh11:05:130
2564499431,36cyclictest16963-21ssh11:05:120
2566499423,3cyclictest0-21swapper/211:40:142
2566499422,18cyclictest31596-21sh11:15:132
2565399412,33cyclictest30073-21ssh09:45:131
2566499401,4cyclictest0-21swapper/211:10:162
2566499401,4cyclictest0-21swapper/208:35:152
2565399401,30cyclictest16979-21ssh11:05:141
2565399401,30cyclictest16979-21ssh11:05:131
25653994012,23cyclictest21-21ksoftirqd/108:05:111
2566999394,20cyclictest25366irq/58-eth010:00:153
2566499392,9cyclictest21846irq/40-dwc2_hso07:55:142
2566499391,8cyclictest8651-21apt-get12:30:132
25653993923,11cyclictest21-21ksoftirqd/110:40:131
25644993910,20cyclictest12-21ksoftirqd/007:50:150
2566499382,4cyclictest0-21swapper/210:30:142
2566499381,7cyclictest0-21swapper/208:40:142
2566499381,4cyclictest0-21swapper/212:10:152
2566499381,3cyclictest0-21swapper/208:00:132
2566499373,2cyclictest16957-21apt-get11:05:122
2566499373,2cyclictest16957-21apt-get11:05:112
2566499372,18cyclictest23844-21ssh12:39:232
2566499371,9cyclictest31848-21ssh11:56:162
2566499371,7cyclictest4734-21wc10:10:292
2566499371,6cyclictest4301-21/usr/sbin/munin08:25:372
2566499371,6cyclictest19249-21tail09:35:322
2566499371,3cyclictest0-21swapper/207:25:162
2566499371,32cyclictest30762-21irqrtprio09:45:192
2566499371,32cyclictest29457-21latency10:05:262
25653993724,7cyclictest21-21ksoftirqd/109:20:151
2565399372,28cyclictest16595-21ssh12:35:161
25644993717,16cyclictest4760-21ssh09:50:120
2566999363,20cyclictest25366irq/58-eth011:05:133
2566999363,20cyclictest25366irq/58-eth011:05:133
2566999361,21cyclictest25366irq/58-eth012:15:133
2566499362,7cyclictest23447-21grep12:15:302
2566499361,7cyclictest31711-21/usr/sbin/munin07:50:262
2566499361,7cyclictest28277-21unixbench_singl08:50:302
2566499361,6cyclictest31763-21wc08:20:282
2566499361,31cyclictest31612-21latency_hist07:50:022
2566499361,2cyclictest0-21swapper/211:30:132
2566499360,7cyclictest13788-21fschecks_count08:05:152
2566499360,32cyclictest30410-21ntp_kernel_pll_10:50:232
2566499360,12cyclictest25885-21apt-get09:20:132
25653993627,6cyclictest21-21ksoftirqd/109:35:131
2564499363,23cyclictest31597-21ssh11:15:140
2566499358,23cyclictest27336-21cut07:10:222
2566499356,26cyclictest22962-21cat09:15:312
2566499356,26cyclictest22962-21cat09:15:302
2566499351,8cyclictest8813-21sed09:30:172
2566499351,8cyclictest6287-21cut09:50:192
2566499351,8cyclictest22427-21cut08:45:202
2566499351,7cyclictest3233-21cut12:25:222
2566499351,6cyclictest305-21ssh11:35:262
2566499351,6cyclictest21187-21unixbench_singl07:35:302
2566499351,6cyclictest13694-21latency_hist11:25:032
2566499351,6cyclictest12245-21fschecks_time10:40:172
2566499351,5cyclictest4152-21cat12:05:012
2566499351,30cyclictest19475-21hwlatdetect11:50:162
2566499351,12cyclictest30338-21ntp_192.168.11412:20:262
25653993517,9cyclictest131rcu_preempt10:30:131
2566999342,19cyclictest25366irq/58-eth009:25:143
2566499341,9cyclictest21846irq/40-dwc2_hso08:55:152
2566499341,9cyclictest21846irq/40-dwc2_hso08:55:142
2566499341,9cyclictest13128-21ntpq11:00:292
2566499341,8cyclictest11347-21/usr/sbin/munin09:10:292
2566499341,30cyclictest17291-21latency_hist07:35:022
2566499340,6cyclictest15089-21munin-run10:20:022
2566499340,3cyclictest11848-21diskstats11:45:162
2566499331,6cyclictest5382-21kthreadcore07:20:212
2566499330,4cyclictest11662-21ssh12:10:012
2565399332,23cyclictest21532-21ssh11:30:151
2566499320,7cyclictest22219-21cpuspeed07:40:132
2566499320,5cyclictest6958-21kthreadcore10:35:212
2566499320,5cyclictest15745-21processes09:55:292
2565399322,23cyclictest18438-21ssh09:15:151
2565399322,23cyclictest18438-21ssh09:15:141
2565399322,22cyclictest1976-21ssh10:55:051
2565399321,24cyclictest4753-21ssh10:35:141
2564499324,21cyclictest26827-21ssh10:50:120
2564499323,17cyclictest25902-21ssh09:20:150
2564499322,22cyclictest19967-21cut12:35:240
2566499312,4cyclictest26671-21timerandwakeup09:40:302
2566499311,6cyclictest0-21swapper/210:00:152
2566499311,2cyclictest0-21swapper/208:10:112
2566499310,5cyclictest6123-21/usr/sbin/munin10:55:302
2565399312,22cyclictest26880-21ssh11:55:131
2565399308,15cyclictest201rcuc/109:40:151
2564499301,4cyclictest131rcu_preempt07:15:130
2565399293,20cyclictest21-21ksoftirqd/111:25:131
2565399292,22cyclictest29056-21ssh11:35:051
2566999283,17cyclictest25366irq/58-eth007:45:103
25669992819,4cyclictest25366irq/58-eth010:30:143
25644992812,12cyclictest12-21ksoftirqd/008:50:150
2565399277,11cyclictest21-21ksoftirqd/107:40:121
2565399273,15cyclictest627-21tcf-agent10:20:101
2564499273,16cyclictest19519-21ssh12:15:140
25644992612,8cyclictest12061-21ssh09:55:150
2566999251,17cyclictest25366irq/58-eth011:40:133
2565399259,12cyclictest21-21ksoftirqd/108:55:151
2565399259,12cyclictest21-21ksoftirqd/108:55:141
2565399252,18cyclictest8680-21ssh12:30:131
2565399252,13cyclictest21-21ksoftirqd/108:10:141
2565399251,20cyclictest863-21ssh09:25:141
2566999243,14cyclictest0-21swapper/312:37:243
2566499240,5cyclictest25750-21latency_hist07:10:022
25644992418,2cyclictest0-21swapper/010:25:150
25644992414,7cyclictest31982-21sshd12:21:230
25644992410,4cyclictest131rcu_preempt09:10:010
2564499231,6cyclictest131rcu_preempt09:40:150
2566999223,13cyclictest0-21swapper/311:15:143
25669992213,7cyclictest0-21swapper/307:50:203
25669992210,9cyclictest0-21swapper/309:43:273
25669992210,7cyclictest25366irq/58-eth012:20:133
25653992215,5cyclictest0-21swapper/111:00:161
2564499222,16cyclictest9539-21ssh11:00:170
25644992212,8cyclictest0-21swapper/009:10:140
2564499221,16cyclictest1873-21ssh12:25:160
2564499221,16cyclictest12201-21cut12:10:170
2564499221,14cyclictest4241-21cut07:55:180
2566999218,8cyclictest25366irq/58-eth010:50:123
25669992114,4cyclictest25366irq/58-eth010:15:143
25669992113,5cyclictest25366irq/58-eth010:45:163
25669992110,9cyclictest0-21swapper/309:35:173
25653992110,6cyclictest21-21ksoftirqd/112:20:121
2565399210,17cyclictest26026-21ls07:10:171
2564499215,8cyclictest12-21ksoftirqd/008:20:130
2564499212,14cyclictest8679-21sh12:30:140
2564499211,17cyclictest30364-21ls11:55:240
2564499211,14cyclictest26290-21cut10:05:190
2564499210,18cyclictest19490-21ls08:45:010
2566999208,9cyclictest0-21swapper/311:48:513
2566999207,10cyclictest25366irq/58-eth009:55:143
2566999202,11cyclictest0-21swapper/308:35:153
2566999201,15cyclictest25366irq/58-eth011:30:143
2566999201,15cyclictest0-21swapper/308:25:173
2566999201,12cyclictest0-21swapper/311:35:063
2565399209,7cyclictest21-21ksoftirqd/107:30:131
2565399202,2cyclictest131rcu_preempt12:18:001
2565399201,9cyclictest131rcu_preempt09:34:361
25653992012,3cyclictest21-21ksoftirqd/111:20:151
25653992011,6cyclictest5196-21cat12:05:151
2565399201,16cyclictest28080-21ls11:10:351
2564499204,5cyclictest12-21ksoftirqd/010:45:310
2564499202,9cyclictest6792-21kthreadcore08:30:200
2564499200,14cyclictest19237-21ssh10:00:150
2566999199,7cyclictest0-21swapper/311:13:443
2566999198,6cyclictest0-21swapper/312:26:143
2566999193,11cyclictest0-21swapper/312:30:223
2566999193,10cyclictest0-21swapper/310:25:153
2566999191,13cyclictest0-21swapper/311:20:243
2566999191,13cyclictest0-21swapper/308:10:013
25669991910,6cyclictest0-21swapper/309:10:243
2565399199,7cyclictest7972-21ntpq11:40:271
2565399192,9cyclictest131rcu_preempt09:50:521
2565399192,2cyclictest131rcu_preempt11:48:031
2565399191,8cyclictest21293-21kthreadcore10:00:221
2565399191,16cyclictest6014-21kthreadcore07:20:211
2565399191,14cyclictest14928-21ntp_states09:10:261
2564499199,7cyclictest22139-21apt-get07:40:120
2564499193,13cyclictest8862-21sed10:15:190
2564499192,14cyclictest10930-21diskmemload09:25:140
2564499191,9cyclictest18686-21grep09:15:170
2564499191,9cyclictest18686-21grep09:15:160
2564499191,15cyclictest4554-21latency_hist10:35:020
2564499191,14cyclictest4370-21ssh12:05:100
2564499191,10cyclictest7646-21ls07:25:020
2566999189,6cyclictest0-21swapper/312:00:513
2566999189,6cyclictest0-21swapper/311:58:543
2566999189,6cyclictest0-21swapper/310:59:043
2566999187,9cyclictest0-21swapper/310:15:023
2566999184,9cyclictest25366irq/58-eth011:00:173
2566999182,10cyclictest0-21swapper/308:30:143
2566999182,10cyclictest0-21swapper/307:35:143
2566999182,10cyclictest0-21swapper/307:20:143
2566999182,10cyclictest0-21swapper/307:15:143
2565399189,7cyclictest7975-21perl07:25:201
2565399186,4cyclictest21-21ksoftirqd/112:01:371
2565399183,11cyclictest9038-21grep08:30:321
2565399182,8cyclictest131rcu_preempt11:51:551
2565399182,13cyclictest12027-21ssh12:10:151
2565399181,14cyclictest26941-21fschecks_count10:50:131
2565399181,12cyclictest26083-21ssh10:05:171
25653991810,5cyclictest21-21ksoftirqd/108:25:251
25653991810,5cyclictest21-21ksoftirqd/107:15:141
2565399180,15cyclictest6484-21cut09:05:181
2564499186,9cyclictest16431-21grep07:30:310
2564499182,11cyclictest22812-21ssh11:50:240
2564499181,9cyclictest5193-21cut10:55:230
2564499181,9cyclictest17203-21sendmail_mailqu08:05:260
2564499181,9cyclictest16619-21kthreadcore10:20:180
25644991811,5cyclictest1525-21ssh09:45:290
2564499181,14cyclictest837-21munin-node11:30:120
25644991810,5cyclictest25013-21kthreadcore11:10:200
2566999179,6cyclictest0-21swapper/312:07:183
2566999179,6cyclictest0-21swapper/311:50:363
2566999179,6cyclictest0-21swapper/311:26:093
2566999179,6cyclictest0-21swapper/309:45:553
2566999179,6cyclictest0-21swapper/309:20:033
2566999179,5cyclictest25366irq/58-eth009:50:133
2566999179,3cyclictest0-21swapper/310:20:253
2566999179,3cyclictest0-21swapper/309:15:043
2566999179,3cyclictest0-21swapper/309:15:033
2566999178,6cyclictest25366irq/58-eth010:40:133
2566999172,9cyclictest0-21swapper/307:10:153
2566999172,10cyclictest0-21swapper/308:20:143
25669991711,4cyclictest0-21swapper/309:33:133
2566999171,11cyclictest0-21swapper/309:05:193
2566999171,10cyclictest0-21swapper/307:45:023
2565399178,6cyclictest25038-21uname08:50:211
2565399177,8cyclictest22633-21df10:25:171
2565399175,4cyclictest168-21systemd-network08:40:251
2565399173,12cyclictest1366-21cut07:50:221
2565399172,12cyclictest28610-21kthreadcore07:45:181
2565399171,7cyclictest30355-21kthreadcore08:20:221
2565399171,6cyclictest5562-21ps12:25:321
25653991711,3cyclictest21-21ksoftirqd/107:40:021
2565399171,13cyclictest12060-21sh09:55:161
2565399170,14cyclictest1898-21cut09:00:181
2564499179,6cyclictest25645-21cut07:10:010
2564499179,5cyclictest23427-21grep08:45:260
2564499178,7cyclictest1288-21users08:55:320
2564499178,7cyclictest1288-21users08:55:310
2564499173,8cyclictest0-21swapper/011:35:060
2564499173,5cyclictest12-21ksoftirqd/007:35:170
2564499173,11cyclictest997-21fschecks_count10:10:180
2564499173,11cyclictest11923-21fschecks_time11:45:170
2564499171,8cyclictest11528-21kthreadcore08:00:220
2564499171,7cyclictest15617-21ntp_192.168.11410:40:250
2564499171,13cyclictest1890-21ps09:00:190
2564499171,12cyclictest6873-21fschecks_count11:20:160
2566999168,6cyclictest0-21swapper/310:05:503
2566999168,5cyclictest25366irq/58-eth012:10:153
2565399169,4cyclictest10762-21cut08:35:191
2565399162,11cyclictest10551-21kthreadcore08:00:221
2565399161,9cyclictest19746-21fschecks_time08:45:131
2564499169,5cyclictest27584-21cut07:10:220
2564499167,6cyclictest4043-21cron12:05:000
2564499166,7cyclictest20072-21cut08:10:190
2564499163,7cyclictest0-21swapper/008:35:150
2564499162,11cyclictest17143-21kthreadcore11:25:240
2564499161,12cyclictest24234-21kthreadcore08:15:230
2566999151,10cyclictest0-21swapper/308:45:123
2566999151,10cyclictest0-21swapper/307:25:233
2564499152,8cyclictest0-21swapper/007:45:110
2564499151,11cyclictest9154-21kthreadcore07:25:220
2566999149,3cyclictest0-21swapper/309:00:263
2566999141,7cyclictest0-21swapper/307:30:243
2566999141,10cyclictest0-21swapper/307:55:213
2565399141,10cyclictest25549-21latency_hist07:10:031
2566999137,4cyclictest25366irq/58-eth008:15:233
2566999131,9cyclictest25366irq/58-eth008:40:133
2566999131,7cyclictest0-21swapper/308:50:223
2566999122,5cyclictest0-21swapper/308:00:163
2566999121,8cyclictest0-21swapper/308:55:233
2566999121,8cyclictest0-21swapper/308:55:223
2566999121,7cyclictest0-21swapper/308:10:203
2566999111,7cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional